Copie di sicurezza su cloud

[tito_livio]

Buongiorno a tutti,
ognuno di noi oltre a preoccuparsi di produrre un programma deve anche preoccuparsi anche di gestirne i dati e le relative copie di sicurezza.
Le copie di sicurezza spesso devono essere effettuate, per motivi di sicurezza sul cloud.
Per motivi di privacy i dati sensibili vanno salvati obbligatoriamente anche su cloud.
Scegliere il gestore del cloud può però essere una cosa difficile, nonostante sul mercato ci siano diverse possibilità.
Questi dovrebbero essere i criteri per la scelta del cloud, almeno per le mie esigenze ma penso che altri potrebbero trovarsi nela mia condizione:
1)Per motivi di privacy i dati personali comuni o sensibili devono essere memorizzati in cloud i cui server risiedono nella Comunità Europea;
Esistono delle realtà dove un normale archivio dati occupa 10-15 TB. Da qui ne deriva:
2)Certamente non si deve caricare tutto subito ma la velocità di trasfermento sul cloud (quella permessa dal gestore) deve essere accettabile almeno 10 Mb/s;
3)Il costo a TB non deve essere spropositato;
4)In caso si volesse cercare qualcosa, nello spazio cloud, per un eventuale ripristino deve essere possibile muoversi in questo mare di dati senza attese infinite;
Ho cercato, come gestori mi vengono in mente adesso Dropbox, Onedrive, Google drive, Mega, Aruba drive e Pcloud ma nessuna rispetta tutti questi requisiti.
Sicuramente ci sono altre soluzioni come quelle offerte dai produttori di Nas ma al momento ci sto ancota studiando.
Qualcuno di voi ha qualche esperienza o idea da suggerire?
Come sempre grazie per le vostra attenzione e o suggerimenti.

[DragoRosso]

Rispetto ai punti che riporti, direi che i "si deve" potrebbero essere cambiati "normalmente si fà" ... nessun regolamento obbliga a creare le copie di backup su cloud o in una qualche altra modalità predefinita.

Di certo i dispositivi di backup devono rispettare alcune regole (che la legge impone), ma sicuramente non è obbligatorio appoggiarsi a servizi cloud.

Detto questo, riparto dal tuo vecchio thread, dove parlavi delle copie locali: la logica di backup (quindi cosa, dove e come nonchè quando) deve essere definita in base agli scopi e alle condizioni sia prevedibili che storiche dell'impianto.

Se devi ripristinare un backup ogni due giorni (orribile  ) ) sono in linea con te sulle copie locali, e terrei qualcosa tipo cloud solo per conformarmi alla logica chiamiamola comune del backup.

Ma se invece il ripristino di un backup avviene una volta l'anno, e magari anche meno spesso (che dovrebbe essere la normalità), allora io andrei su un "banale" NAS più o meno locale (dipende dall'analisi dei rischi) mantenendo la regola dei backup giornalieri / settimanali / mensili per un tempo congruo, generalmente vedo che si mantengono al massimo due mesi gli archivi.

Ma è un mio parere spassionato, tra l'altro non sono espertissimo del settore: in tutta la mia vita non mi è mai capitato di effettuare un restore da un backup, mai danneggiato un archivio (forse negli anni 80 quando si usavano i DB ISAM e lo streamer TAPE era lo standard forse una volta potrebbe essere che un restore l'ho fatto).

Vedo che chi lavora con la contabilità o simili, usa soluzioni cloud più o meno proprietarie (una volta c'erano le vecchie cassette ...) ma mi pare di capire con costi decisamente importanti.

Su questo argomento sicuramente gli altri membri della comunità possono dare dei suggerimenti più incisivi.

[xinyiman]

C'è un'altra via, un po' oldschool ma funzionante per i tuoi requisiti.

Comprare un NAS metterlo fisicamente lontano dall'azienda (magari a casa dell'AD dell'azienda) con un DNS dinamico ottieni un host su cui dirottare il traffico, gli configuri il router per accettare la connessione su una determinata porta che dirotti sul servizio di backup del nas. Magari metti delle restrizioni a livello di IP accettati (per aumentare la sicurezza) e fai li sopra i salvataggi.

Se poi necessiti di recuperare i dati li sopra con una certa urgenza vai a prendere fisicamente il nas e lo porti nella rete dove devi far recuperare una mole di dati grossa.

Ribadisco, è molto raffazzonato, ma hai costi bassi, lo gestisci come vuoi e non diventi pazzo andando per tentativi nel trovare il fornitore che stai cercando.

[tito_livio]

Rispetto ai punti che riporti, direi che i "si deve" potrebbero essere cambiati "normalmente si fà" ... nessun regolamento obbliga a creare le copie di backup su cloud o in una qualche altra modalità predefinita.

Di certo i dispositivi di backup devono rispettare alcune regole (che la legge impone), ma sicuramente non è obbligatorio appoggiarsi a servizi cloud.

La legge sulla privacy impone di redarre il Disaster Recovery Plan, per certe categorie di archivi. Quindi bisogna mettere una copia in un posto fisicamente diverso da quello dove i dati vengono trattati.
Se l'azienda non ha altre sedi mi sembra allora necessario ricorrere al cloud.
A meno che non si metta un Nas a casa dell'AD come dice @xinyman e mi sa che finirò per adottare questa soluzione. Devo vedere cosa ne dice il consulente per la privacy.

Se devi ripristinare un backup ogni due giorni (orribile  ) ) sono in linea con te sulle copie locali, e terrei qualcosa tipo cloud solo per conformarmi alla logica chiamiamola comune del backup.

Ma se invece il ripristino di un backup avviene una volta l'anno, e magari anche meno spesso (che dovrebbe essere la normalità), allora io andrei su un "banale" NAS più o meno locale (dipende dall'analisi dei rischi) mantenendo la regola dei backup giornalieri / settimanali / mensili per un tempo congruo, generalmente vedo che si mantengono al massimo due mesi gli archivi.

Le copie locali servono perché gli errori sui dati possono essere "logici" anzichè essere dovuti a problemi hardware o virus.
Siamo tutti esseri umani e possiamo anche sbagliare, metti, per esempio che faccio un errore mentre faccio manutenzione o modifiche ad un database.
Sui dischi locali posso fare un backup veloce prima di cominciare a lavorare ed eventualmente lo posso ripristinare altrettanto velocemente.
Poi ci sono anche gli errori degli utenti che a volte possono combinare guai e la loro fantasia per aggirare i controlli è sconfinata.
Quindi bisogna andare a recuperare quelle informazioni erroneamente modificate e ricostruire l'accaduto per individuare le responsabilità.
Non è una cosa frequente, per fortuna, poi ci sono anche i log ma avere queste copie a portata di mano è comodo.

[nomorelogic]

Sicuramente ci sono altre soluzioni come quelle offerte dai produttori di Nas ma al momento ci sto ancota studiando.
Qualcuno di voi ha qualche esperienza o idea da suggerire?

per il cloud ti suggerisco questo https://wasabi.com/it
penso che i requisiti che hai elencato ci siano tutti
io lo utilizzo da 1 anno circa

per il NAS appena ho modo ti descrivo la mia soluzione

[nomorelogic]

Rispetto ai punti che riporti, direi che i "si deve" potrebbero essere cambiati "normalmente si fà" ... nessun regolamento obbliga a creare le copie di backup su cloud o in una qualche altra modalità predefinita.

Di certo i dispositivi di backup devono rispettare alcune regole (che la legge impone), ma sicuramente non è obbligatorio appoggiarsi a servizi cloud.

La legge sulla privacy impone di redarre il Disaster Recovery Plan, per certe categorie di archivi. Quindi bisogna mettere una copia in un posto fisicamente diverso da quello dove i dati vengono trattati.
Se l'azienda non ha altre sedi mi sembra allora necessario ricorrere al cloud.
A meno che non si metta un Nas a casa dell'AD come dice @xinyman e mi sa che finirò per adottare questa soluzione. Devo vedere cosa ne dice il consulente per la privacy.

confermo la necessità di avere copie esterne
fino ad un po' di tempo fa eravamo costretti a fornire dei sistemi di backup su DAT (se qualcuno non ricorda cosa sono, si tratta di nastri magnetici)
posi siamo passati alle slitte con HD a caldo
il problema che rimaneva è che il personale dimenticava normalmente di portarsi a casa (= fuori dall'azienda) il dispositivo delle copie

per cui il cloud oggi ci salva da tutto questo
solo che tocca stare attenti e cifrare il tutto...

[DragoRosso]

Sono d'accordo con tutti, e come ho detto molto dipende dalla valutazione dei rischi (e dal "disaster .... plan" indicato da @tito_livio).

Comunque a me risulta che un backup locale può essere effettuato e mantenuto se diverso dal locale dove i dati vengono trattati (ovviamente si intende il server). Quindi è possibile metter un NAS in un altro locale fatto salvo che sia opportunamente protetto ovviamente.

Non è detto che deve essere posto in un edificio diverso, inteso come sede lavorativa. Il tutto però dipende dalla valutazione dei rischi (incendio, alluvioni, crolli, terremoti ...  passando per furti e atti vandalici,  etc ...). Se non ci sono rischi particolari un locale attrezzato può andare ugualmente bene. Però ovviamente bisogna consultarsi con l'apposito "omino" della legge che dirà se ciò è fattibile o meno.

Se qualcuno sà per certo indicarmi eventuali info contrarie (magari con indicazioni della normativa di riferimento) Vi sarei grato. E' interessante la cosa visto che l'aspetto dati / privacy stò prendendo sempre più piede.

[DragoRosso]

per cui il cloud oggi ci salva da tutto questo
solo che tocca stare attenti e cifrare il tutto...

Non è sufficiente, devi essere sicuro che i dati stiano all'interno della UE (non c'è opzione diversa), poi devi prendere in considerazione i tempi di mancato servizio forniti dal provider e definire le contromisure.
Io, di base sono assolutamente contrario a trasferire qualsiasi cosa (ovviamente parlo di backup e blocchi di dati) tramite la rete internet, anche se con VPN proprio per la mancanza di certezza della connessione.

Avendo un server tutto mio in azienda, vedo che i downtime delle connessioni (ovviamente connessione standard, non certo dedicata con magari HDSL di backup) sono abbastanza importanti. Non si parla certo di giornate in down, ma non penso che in azienda la connessione sia durata più di 30 giorni continuamente UP. E poi si vanno a sommare tutte le problematiche legate ai DNS (i uso solo server DNS criptati, che comunque non sono immuni a malfunzionamenti).

Quando c'è stato l'attacco hacker iniziale all'Italia nei giorni scorsi, c'è stato un abbassamento dei livelli di servizio e dei down nei servizi generali (anche se non interessati dall'attacco) non da poco.
Ho un DB Prostgres in test che gira connesso ad una struttura importante (sotto VPN con doppio tunnel cryptato) e ci sono state diverse anomalie.

Se possibile meglio un NAS locale, si evitano spiacevoli inconvenienti.

[nomorelogic]

per il NAS appena ho modo ti descrivo la mia soluzione

torno sull'argomento

per la seconda copia noi abbiamo adottato una soluzione che prevede un NAS in LAN
abbiamo iniziato con FreeNas, che ora si è fuso con TrueNas, e devo dire che la soluzione è ottima tanto che ancora oggi a distanza di anni è un punto cardine

vado ad elencare i punti che ci hanno convinti ad adottare questo sistema

hardware

l'hardware minimo richiesto è tutto sommato modesto, ricordo ancora che abbiamo iniziato con dei Proliant MicroServer Gen8 della HP
al tempo 4GB di ram, oggi sotto gli 8 non scendiamo ma se la rete lo richiede anche di più
non è importante che ci siano controller costosissimi per i dischi, dovendo abbassare i prezzi si può fare anche RAID software
se poi il prezzo non è un problema...
quello che serve è avere abbastanza slitte a disposizione per poter aggiungere HD alla bisogna

sistema operativo
TrueNas (come allora FreeNas) è basato su FreeBsd e soprattutto utilizza il filesystem ZFS
per chi non lo conoscesse consiglio di andare a leggere (non il progetto per il porting in linux ma quello di originale di freebsd)

una caratteristica su tutte: sfrutta gli hard link (che non sono i link che siamo abituati a conoscere) per fare le snapshot
per cui si possono programmare snapshot ogni tot ore senza che ci sia reale occupazione di spazio per i file che non sono stati modificati
ogni snapshot può avere una durata (es: 1 giorno, 1 settimana, 1 anno o quello che volete voi o anche perpetua)

quindi: se abbiamo 10TB di copie ed abbiamo 20 snapshots mentre non è stato modificato nessun file, abbiamo sempre 10TB occupati
se in un dato momento abbiamo 100MB di file diversi, allora l'occupazione della prossima snapshot sarà 10TB + 100MB

dulcis in fundo, il tutto è completamente configurabile da web browser...


velocità di copia
TrueNas ha molti "plugin" che si possono abilitare o no.
C'è anche rsync e noi abbiamo adottato questo sistema: si tratta di un comando da capire, ma non c'è nulla di più veloce per sincronizzare dati in rete.
rsync sincronizza in modo differenziale anche sul singolo file quindi: se abbiamo 1 file da 1GB e la copia sul NAS differisce dal file da copiare per 100MB allora vengono trasferiti solo 100MB.

rsync, come è noto è nato per i sistemi *nix, tuttavia ci sono dei binari anche per windows
questo è stato lo scoglio maggiore, abbiamo dovuto fare molte prove di copie da/tra windows, ma ora ci siamo

i problemi da risolvere sono stati
(1) i caratteri usati per i nomi dei file: mentre il mondo *nix usa UTF8, windows usa iso8859 ma per fortuna c'è un'opzione di rsync che permette la conversione
(2) i permessi tra windows e linux non è che sia proprio facile mapparli... per fortuna, trattandosi di copie, abbiamo potuto ignorare i permessi


scalabilità
se serve più spazio di memorizzazione, basta aggiungere 1 HD (2 se con raid software) ed abbinarlo ad uno storage
il raid software non è performante, specie su storage compressi nativamente, ma vi posso assicurare che le prestazioni lasciano soddisfatti
una volta abbiamo sostituito 1 disco in raid software danneggiato: non vi posso dire la soddisfazione dopo che è stato solo sufficiente sostituire il disco!

opportunità
potete configurare partizioni WIN/MAC, sfruttare un FTP interno (è un plugin)
soprattutto TrueNas ha una sincronizzazione compatibile con le API di S3, per cui per fare il mirror in cloud basta studiare come fare le impostazioni


concludendo, per mettere in piedi questo sistema abbiamo dovuto lavorare un po'
ma è una soluzione che può essere tanto economica quanto spinta (in termini di prestazioni) e soprattutto l'interfaccia utente da browser fa la differenza

spero ci siano spunti utili
nomorelogic



Edit1:
nella comunicazione tra win e linux, al tempo delle prove, non avevamo il sottosistema linux su windows WSL...
magari i problemi che abbiamo avuto al tempo, passando per WSL non ci saranno
ma non abbiamo in previsione di fare prove al momento 

Edit2:
dimenticavo....
abbiamo configurato delle condivisioni samba in sola lettura sugli storage, con utente e password consegnati al cliente in busta
quando e se vogliono, possono aprire la busta ed accedere alla copie in sola lettura e ripristinarli in autonomia
poi se vogliono ci chiedono una nuova busta con una nuova password
in alternativa ci chiedono a noi di ripristinare

[tito_livio]

per il NAS appena ho modo ti descrivo la mia soluzione

torno sull'argomento

per la seconda copia noi abbiamo adottato una soluzione che prevede un NAS in LAN
abbiamo iniziato con FreeNas, che ora si è fuso con TrueNas, e devo dire che la soluzione è ottima tanto che ancora oggi a distanza di anni è un punto cardine

Grazie per la spiegazione, un mio cliente usa questo tipo di Nas. Abbiamo anche fatto un recupero di alcune cartelle dalle copie e una volta di tutto un disco, tutto da Windows. Mi sembra un buon prodotto anche se non me ne occupo direttamente.