Backup-Programm für riesige Partitionen (große Datenmengen)

[montageprofi]

Ich habe in meinem PC drei 4TB-Platten über die Datenträgerverwaltung zu einem Volume (JBOD) zusammengefügt und da das ganze keine Ausfallsicherheit bietet und auch ein Raidverbund keine Backup ersetzen würde, habe ich geplant die Daten auf der Riesenpartition natürlich zu sichern.

Mangels Überblick soll einfach alles gesichert werden und da man mit differenziellen Backups meist noch mehr Probleme hat als mit vollen, hatte ich mir folgendes gedacht:

Ich habe zwei Sharkoon Raidstations mit jeweils 4x4 TB gekauft und die beiden ebenfalls als JBOD eingerichtet. Im Wechsel sollen diese angeschlossen werden und darauf ein Full Backup laufen. Das scheint mir dann relativ sicher zu sein, zudem vom Aufwand her überschaubar, da einfach jedes Mal alles gesichert wird. Nachteilig war, dass das sehr teuer war, aber gut.

Erst wollte ich das ganze mit Traybackup sichern, da mir es sympathisch erscheint, wenn die Daten so wie sie sind kopiert werden und nicht in eigenen Dateien landen, bei denen man schwerer beurteilen kann, ob das Backup wirklich gelungen ist. Nachteil bei Traybackup ist, dass ein volles Backup 3 Tage oder so dauert und das schon extrem nervig ist. Dann kommt irgendein Absturz oder Neustart dazwischen und alles ist im Eimer.

Als nächstes hab ich mir Drive Snaphot angeguckt. Das Tool ist superklein und kommt ohne Installation aus. Es braucht nur einen Tag für ein Vollbackup und das Image lässt sich nachher leicht einbinden, um Daten zurückzusichern. Dachte ich zumindest. Das erste Vollbackup funktioniert tadellos, aber schon beim zweiten sagt er, obwohl es fehlerlos durchlief, beim Versuch es einzubinden: KEINE GÜLTIGES DRIVE SNAPSHOT IMAGE oder so ähnlich. Der Support scheint dazu auch nicht viel sagen zu können.

Meine Frage: Was verwendet ihr denn für Backuplösungen gerade bei so großen Datenmengen. Schön wäre es, wenn es keine Software wäre, die sich wie Acronis TrueImage überall dazwischenklinkt. Da sah DriveSnapshot schon so nach einer Ideallösung aus.

 

[Holt]

Wie wäre es mit Tools wie freefilesync? Ich bevorzuge eine dateiweise Sicherung, da kann man leicht prüfen ob die Sicherung gelungen ist und es gibt auch keine Probleme mit der Rücksicherung. Programme die nur das Kopieren was sich unterscheidet, sparen außerdem viel Zeit, denn es wird sich ja nicht jedesmal alles andern.

 

[schnurri]

Mangels Überblick soll einfach alles gesichert werden und da man mit differenziellen Backups meist noch mehr Probleme hat als mit vollen

Bitte unterscheiden zwischen Differenzieller und Inkrementeller Sicherung. Bei einer Differenziellen Sicherung bleiben alte Versionen von geänderten Dateien erhalten. Das benötigt mehr Speicherplatz und kann im Laufe der Zeit zu einem Überlauf führen. Bei einer Inkrementellen Sicherung bleibt nur die letzte Version erhalten. Inkrementell hat auch den Vorteil, daß man kein proprietäres Datenformat braucht und einfach die Dateien so wie sind sichern kann.

4 TB komplett sichern dauert ca. 10-20 Stunden, da nützt das beste Kopierprogramm nichts. Deshalb würde ich eine Inkrementelle Sicherung empfehlen. Ich mache das immer mit robocopy:

"robocopy Quelle Ziel /MIR /NDL /NJH /NJS /NP /XO"

Robocopy ist gerade bei großen Datenmengen relativ schnell, da es asynchron liest und schreibt. Das/die Robocopy-Kommandos schreibt man am besten in eine .bat-Datei. Bei Bedarf kann man auch die Ausgabe mit "/log:<LogFile>" in ein Logfile schreiben.

 

[Digi-Quick]

Jain

Inkrementel = Zuwachssicherung
Es werden nur die Daten gesichert, die seit der letzten Sicherung geändert wurden, das Archivbit der Daten wird zurückgesetzt
Vorteil : Datenmenge höher als bei inkrementeller Sicherung
Nachteil: keine Versionierung (Ursprungsversion des letzten Vollbackups ist natürlich vorhanden)

Differntiell = Differenzsicherung
Es werden nur die Daten gesichert, die seit der letzten VOLL-Sicherung geändert wurden, das Archivbit wird nicht zurückgesetzt.
Vorteil : Versionierung von häufig geänderten Daten
Nachteil: Datenmenge höher als bei inkrementeller Sicherung

ABER: Man kann auch bei Inkrementeller Sicherung mit Versionierung Arbeiten, dieses bieten verschiedene Programme an, z.B. mein "geliebtes" syncovery vormals Super Flexible File Synchronizer. Robocopy müsste das eigentlich auch können, ist aber reine Kommandozeile. Die GUIs für Robocopy schöpfen das Programm nicht vollständig aus, so zumindest mein bisheriger Stand
Somit kann man die Vorteile beider Sicherungsarten verbinden!!

 

[montageprofi]

Ich möchte Vollbackups machen, keine differenziellen oder inkrementellen Backups, da das beim Zurückspielen eher ein zusätzliches Durcheinander gibt oder einen erhöhten Aufwand darstellt. Zudem brauche ich keine verschiedenen Stände. Platz für zwei Vollbackups hab ich ja außerdem auch. Bei DriveSnapshot dauert ein differenzielles Backup zudem nahezu genauso lang wie ein Vollbackup, da er die Hashdatei noch mal komplett mit allen vorhandenen Daten abgleicht, demnach alle Daten noch mal liest und dafür fast genau so lang braucht, wie wenn er sie direkt alle noch mal schreiben würde. Würde es mit Archivbit auf Dateiebene arbeiten, ließe sich da sicher viel Zeit sparen. Aber dann stellen sich Fragen, was mit inzwischen gelöschten Dateien passiert, mit umbenannten oder verschobenenen Dateien usw. - damit will ich mich gar nicht erst auseinandersetzen.

Drive Snaphot braucht für 10 TB ca. einen Tag. Das finde ich akzeptabel. Nur doof, wenn sich die Images nachher nicht zuverlässig wieder einbinden lassen. Was empfehlt ihr denn nun, wenn ich in der identischen Zeit, wie es Drive Snaphot ja schafft, ein Vollbackup erstellen will - möglichst mit dateiweiser Sicherung wie in Antowort 1 auch bevorzugt wurde?

Freefilesync? Der Name klingt nach Synchronisation, er soll aber einfach nur eine Kopie aller Daten erstellen. Es wäre zudem nicht schlecht, wenn er kurz checkt, ob die Dateien auch heile am Ziel angekommen sind

 

[Enz0]

robocopy.
Backup mit Robocopy

Du musst ja nicht jedes Mal eine Vollsicherung anstarten - die ersten beiden dauern, aber danach wird ja nur noch inkrementell dazugepackt.

 

[montageprofi]

Vielleicht sollte ich einfach zwei verschiedene Backup-Programme nutzen, für jede der Raidstations ein anderes. Falls dann mit dem Backup des einen Programms was nicht stimmt, hab ich auf der anderen Station dann noch ein Backup mit dem anderen Programm. Kann ja dann vielleicht auf ein Laufwerk Robocopy testen und auf ein Laufwerk FreeFileSync, wobei meine bisherigen Erfahrungen mit Programmen, die nur etwaige Änderungen sichern wollen, eher schlecht sind. Es leidet sehr die Übersichtlichkeit. Ich will nicht hinterher im Backup irgendwelche Dateien haben, die in Wirklichkeit schon gelöscht oder umbenannt wurden. Andererseits ist mit auch unwohl dabei, wenn er automatisch im Backup irgendwas rumlöscht, weil es in der Quelle ja weg ist.

Daher wäre mir ein Vollbackup von Zeit zu Zeit sympathischer, da kann man sich drauf verlassen, dass keine komischen Fehler auftauchen. Sicherlich kann man beide Tools aber auch so einsetzen.

 

[Tzk]

Robocopy hat einen "klonen" Modus. Es werden alle von dir angegebenen Ordner eingelesen und mit der Ordnerstruktur im Ziel verglichen:
-alle Dateien die identisch sind bleiben unberührt
-alle Dateien die in der Quelle gelöscht wurden werden im Ziel ebenfalls gelöscht
-alle neuen Dateien werden kopiert

Das ganze wie schon geschrieben per Batch *.bat ausgeführt und die Kommandozeile meldet, wenn irgendwas nicht klappt. Einzige Einschränkung: muss mit Admin Rechten gestartet werden.
Ist für mich die simpelste Lösung, wenn du das Backup manuell anstoßen willst. Hier mal mein robocopy Skript:

robocopy "C:\xyz" "f:\xyz" /MIR /Z

pause

So gibst du einfach jeden Ordner an, robocopy managt den Rest für dich...
Es ist sogar möglich über Netzwerk/auf Netzlaufwerke zu sichern, wenn du das möchtest.

 

[montageprofi]

Ja, hab das schon bisschen was über Robocopy gelesen und auf Youtube geguckt. Eine Fragen hab ich noch:

Ich würde den gesamten Inhalt von Laufwerk D: spiegeln wollen. Sehe es dann auch als Vorteil, dass er nicht immer wieder alles neu schreiben wird, aber: Wenn ich jeden Ordner einzeln angeben müsste, wäre das sehr unpraktisch, dann muss ich immer das Script anpassen, wenn ich einen neuen Ordner direkt auf D: erstelle, damit dieser mitgesichert wird. Auf der anderen Seite könnte ich auch D: direkt angeben? Aber dann würde er auch wieder versuchen, das versteckte, meist unkopierbare Zeug zu kopieren, das Windows dort angelegt hat und ich nicht haben will. Oder man muss diese im Script ausschließen und hoffen, dass Windows dort keine neuen anlegt. Alternative wäre sonst nur, alle Daten noch mal in einen Unterordner zu packen, damit nur ein Ordner auf D: liegt, was im täglichen Zugriff wiederum umständlicher wäre.

 

[schnurri]

Der Befehl würde dann lauten:

robocopy d:\ Ziel /MIR /XO /XD "System Volume Information" "$RECYCLE.BIN"

Mit den genauen Parametern mußt du selber ein wenig herumprobieren und verschiedene Fälle testweise mal erzeugen, um zu sehen, ob das Kommando genau das macht, was du ursprünglich wolltest. Also testweise mal ein Verzeichnis löschen und sehen, ob es dann auch im Ziellaufwerk gelöscht wurde usw. Mit "/NDL /NJH /NJS /NP" werden weniger Infos im Konsolenfenster ausgegeben.

 

[the_pi_man]

Bei deiner Strategie immer mit JBOD zu arbeiten, schau doch mal nach was z.B. ein Q-Nap (oder ähnliches) Raid für dich tun kann. Da kann dir wenigstens mal ein Platte gefahrlos ausfallen. Das bietet dir dein JBOD leider eben nicht. Da reicht dann vielleicht auch nur eine Sicherung neben deinen Originaldaten im PC. Welchen Software du dann fürs Backup nimmst bleibt trotzdem natürlich dir überlassen.
Meine Strategie bei deinem Anwendungsfall (soweit ich das nachvollziehen kann) wäre ein Raid 5 aus 4 x 4 TB (12 TB netto) im PC und das sicherst du dann (inkrementell) auf ein NAS mit RAID 5 oder 6.

 

[montageprofi]

Bei deiner Strategie immer mit JBOD zu arbeiten, schau doch mal nach was z.B. ein Q-Nap (oder ähnliches) Raid für dich tun kann. Da kann dir wenigstens mal ein Platte gefahrlos ausfallen. Das bietet dir dein JBOD leider eben nicht. Da reicht dann vielleicht auch nur eine Sicherung neben deinen Originaldaten im PC. Welchen Software du dann fürs Backup nimmst bleibt trotzdem natürlich dir überlassen.
Meine Strategie bei deinem Anwendungsfall (soweit ich das nachvollziehen kann) wäre ein Raid 5 aus 4 x 4 TB (12 TB netto) im PC und das sicherst du dann (inkrementell) auf ein NAS mit RAID 5 oder 6.

Das ist sciherlich ein interessanter Aspekt. Dazu muss man sagen, dass die Raidstations von Sharkoon, die ich für das Backup benutze, jeweils 5 Festplattenslots haben und auch Raid 5 anbieten. Da ich für ein volles Backup momentan mit JBOD nur 3 Platten und Slots benötigen würde aber 4 Platten habe, könnte ich auch 4 Platten als Raid 5 konfigurieren und hätte immer noch genug Platz für das Backup und einen weiteren Slot frei für eine neue Platte. Daher stände einer Konfiguration beider Raidstations als Raid 5 mit je 4 Platten nichts im Wege.

Ein NAS mit 5 Slots (sind glaub ich meist nur 4) hat natürlich auch immer Raid-Optionen, ist aber schon recht teuer, wenn man so schnell wegsichern will wie über USB3 und ich brauch es einfach nicht. Ich hab ein kleines NAS mit einer Festplatte im Keller, das reicht mir.

Im PC bleibt alles auf JBOD, da Windows 7 Professional zumindest kein Software Raid 5 anbietet und ich keinen Raidcontroller einbauen will oder ähnliches. Prinzipiell find ich JBOD auch sicher genug, wenn man zwei unabhängige Backups hat. Aber da eh eine Platte für Raid 5 in den Diskstations übrig ist, werde ich das da ruhig einstellen, warum nicht.

- - - Updated - - -

Der Befehl würde dann lauten:

robocopy d:\ Ziel /MIR /XO /XD "System Volume Information" "$RECYCLE.BIN"

Mit den genauen Parametern mußt du selber ein wenig herumprobieren und verschiedene Fälle testweise mal erzeugen, um zu sehen, ob das Kommando genau das macht, was du ursprünglich wolltest. Also testweise mal ein Verzeichnis löschen und sehen, ob es dann auch im Ziellaufwerk gelöscht wurde usw. Mit "/NDL /NJH /NJS /NP" werden weniger Infos im Konsolenfenster ausgegeben.

Ja Beispielscripte sind gut, hab mir auch schon einige angesehen. Da muss ich mir dann noch das passende zurechtbasteln. Werde wohl zumindest eins der Backups mit Robocopy machen und immer nur abgleichen lassen und das zweite vielleicht dann doch mit Drive Snapshot.

 

[Digi-Quick]

Gelöschte Datein auf der Quelle muss man auf dem Ziel ja nicht zwangsweise löschen, diese lässt man von Syncovery einfach in einen Ordner für gelöschte Dateien verschieben, damit bleiben dann auch versehentlich gelöschte Dateien wiederherstellbar.

Merke: Differentielle oder inkeremnetelle Backups sind schnell mal gemacht, jedes mal ein Vollbackup zu ziehen kostet Zeit, Strom, Performance und wird daher seltener gemacht, ist aber letztendlich deine Entscheidung.
Ein Filebasiertes Backup (Robocopy, Syncover etc.) dauert i.d.R. erheblich länger als ein Imagebackup (Drive Snapshot, Acronis True Image etc).
Geht beim Imagebackup was schief, ist das gesamte Backup unbrauchbar, beim Filebasiertem Backup ist u.U. eine Datei beschädigt oder das Backup unvollständig - was bereits gesichert ist, ist aber verfügbar.

Ein weiterer Vorteil von Differntiellen oder inkrementellen Backups ist der, daß man diese relativ gut zeitlich granulieren kann, indem man mehere Jobs mit unterschiedlichen Zeitplänen fährt - macht natürlich nur Sinn bei einem "Online"Backup beidem das Backupsystem immer Online ist oder entsprechend häufiger eingeschaltet wird.

z.B. Vollbackup vom Datenlaufwerk gesamt : 1x im 1/4 Jahr
Differentielle Sicherung des Datenlaufwerks: 1x pro Woche
Differentielle Sicherung bestimmter Verzeichnisse oder Dateien: Täglich, mehrmals am Tag, stündlich, 1/4 stündlich oder mit Echtzeitüberwachung (sysncovery bietet diese, ob Robocopy das auch kann, weiss ich nicht.)
Robocopy ist in meinen Augen obsolet, da ich ALLE Backupaufgaben deutlich komfortabler mit syncovery (ja, es kostet ein wenig Geld) erledigt bekomme, ohne mich mit den Kommandozeilenoptionen auseinander setzen zu müssen! *Und jetzt dürft ihr mich steinigen* - (oder mir eine Backupaufgabe stellen, die mit Robocopy geht und mit sysncovery nicht zu erledigen ist, das dürfte sehr schwer werden!)

 

[Holt]

Ganz wichtig bei einem imagebasierten Backup: Auch mal das Recovery üben!!! Was nutzt es schön regelmäßig Backups zu erstellen, wenn man dann im Zweifel keine Wiederherstellung hinbekommt? Eben nichts! Der Vorteil filebasierter Backups ist, dass man deren Zustand jederzeit leicht prüfen kann und diese auch sehr wieder zurückgespielt bekommt. Beides hat Vor- und Nachteile und die sollte man vor der Entscheidung kennen um sie gut abwägen zu können.

 

[Tzk]

Mein Wissensstand ist, dass RoboCopy keine ganzen Laufwerke kopieren kann, nur Verzeichnisse. Falls du also neue Verzeichnisse mitklonen möchtest führt kein weg an einem powershell Skript oder alternativer Software vorbei

 

[montageprofi]

Mein Wissensstand ist, dass RoboCopy keine ganzen Laufwerke kopieren kann, nur Verzeichnisse. Falls du also neue Verzeichnisse mitklonen möchtest führt kein weg an einem powershell Skript oder alternativer Software vorbei

Mit dem DriveSnapshot Support hab ich jetzt geklärt, das das Einbinden zum Rücksichern bei einem so großen Image nur ungewöhnlich lange dauert (halbe Minute bis zu einer Minute) und er währenddessen eben "no valid image" anzeige, da er eben noch nicht mit der Prüfung fertig ist. Er bindet also auch das 10TB Image wieder ein und das Rücksichern klappt.

Jetzt bin ich aber natürlich schon von der Idee besessen, nur auf eine der Raidstations mit DriveSnapshot zu sichern und auf die andere z.B. mit robocopy filebasiert zu sichern und so, dass er nur Änderungen schreibt. Wäre schade, wenn das wirklich nicht machbar wäre. Meine Idee, alle relevanten Daten in einen Unterordner zu verschieben, würde ja dennoch funktionieren. Also z.B. auf D: einen Ordner D:\RB anlegen, da alle Daten reinschieben und für den problemloseren Zugriff den mit subst als virtuelles Laufwerk einbinden. Den Ordner RB müsste ich dann problemlos klonen können.

 

[montageprofi]

Seit gefühlten 2 Wochen sichert Robocopy jetzt auf die Raid 5 Raidstation. Sind wohl eher 1-2 Tage und er hat gut die Hälfte. Wie kann ich eigentlich überprüfen, ob er die Dateien auch vernünftig kopiert hat? Oder checkt der das beim Kopieren selbst?

Weitere Frage: Er protokolliert alles in eine Log-Datei, die schon einige MB groß ist, weil er jede gesicherte Datei dort verzeichnet. Kann man es so einstellen, dass er nur Fehler protokolliert? Oder ist es für die weiteren Backups doch besser, er protokolliert alles, was er macht, weil das ja dann nicht mehr so viel sein wird wie jetzt?

 

[p4n0]

[edit]
ups hier stand mist
[/edit]

 

[montageprofi]

Das Backup mit Robocopy hat insgesamt 60 Stunden gedauert, aber er hat ohne Fehler alles kopiert. Ein weiterer Durchgang mit nur 3 geänderten Dateien dauerte nur eine Viertelstunde. Das ist natürlich super gegenüber Drive Snapshot, der für jede Sicherung einen Tag braucht, egal ob erstes Vollbackup oder differenzielles Backup. Überlege nun das zweite Backup auch mit Robocopy zu machen.

 

[Tzk]

Freut mich, dass robocopy bei dir so gut läuft!