[Kaufberatung] Backuplösung für Bilder

[bulldogge1989]

Guten Tag,

Ich habe vor gut einem halben Jahr intensiv begonnen zu fotografieren und über die Zeit haben sich jetzt gute 575 GB Bilder angesammelt. Um diese Datenmenge einigermassen zu handeln, gibt es nun einige Probleme, wie beispielsweise Backuplösungen.. Aber der Reihe nach:

1. Bei mir zu Hause steht ein Ubuntu 10.04 x64 LTS Server mit 12 TB Speicherplatz
2. Im Desktop sind total 5 TB exkl der Systemlaufwerke verbaut

Momentan werden die Bilder in der folgenden Ordnerstruktur abgelegt: /Bilder/Jahr/Jahr.Monat/Datum_Shooting

Diese Struktur wird nach jedem Shooting auf den Server kopiert und Ende Monat ein .rar Archiv des ganzen Ordners (im Schnitt an die 180 GB) erstellt und auf eine separate Platte im Server gelegt.
Allerdings ist mir diese Lösung irgendwie zu unsicher...
Daher bin ich auf der Suche nach "professionelleren" Backups...

Die Idee ist nun:

• Bilder auf den Desktop laden und in der Ordnerstruktur ablegen
• Bilder per Allway Sync auf den Server synchronisieren
• Auf dem Server wird ein Skript ausgeführt, dass mir automatisch alle X Stunden meinen Bildbestand auf eine externe Platte kopiert
• Sobald Änderungen am Server festgestellt werden, werden diese auf ein NAS kopiert
• Am Desktop ist eine Externe Festplatte angeschlossen, auf den ebenfalls sämtliche Bilder jede Stunde synchronisiert werden.

Ich hoffe, dass die Idee als solches einigermasssen klar ist. Soweit so gut - ÄNDERUNGSVORSCHLÄGE? =)


Nun bin ich auf der Suche nach einem entsprechenden NAS (verbaut werden 4 x 2 TB WDEARS Festplatten) und bin auf folgende Geräte gestossen. Was haltet ihr davon? Gibts besseres fürs Geld usw?
digitec.ch Produktvergleich Momentan tendiere ich persönlich zum Netgear oder zum Promise...

Vielen Dank im vorab!!

Gruss

 

[upt0zer0]

Ich weiß ja net, aber aufm Desktop und aufm Server ist schon sehr sicher. Dazu dann vll noch eine 1-2 TB große externe Platte, die du aber immer abklemmst damit die nicht durch Überspannung oder so kaputt geht sollte ja locker reichen. Sehr unwahrscheinlich das noch was kaputt geht dann. Oder kauf dir halt nen BlueRay Brenner und sicher das noch auf BlueRays, DVDs machen bei der Menge ja keinen Sinn!

 

[underclocker2k4]

Backup heißt: Daten lagern überwiegend völlig losgelöst von allem im Schrank.

Ein NAS würde nur das machen, was dein Server jetzt auch macht. Daten für den Zugriff bereithalten.

up20 hat es schon gut getroffen, Daten auf externe Datenträger schaufeln und in den Schrank stellen. Datenmenge ist natürlich etwas fett, daher HDDs.

PS: NAS mit 4kb Sektoren HDDs würde ich im Moment noch nicht einsetzen, daher no EARS WDs.

 

[heiner.hemken]

Gabs nicht mal Viren, die u.a. auch Bilddateien verändert haben?

Das macht mehr Sinn auf ein geräteunabhängiges Medium zu speichern, wenn Dir die Bilder so viel wert sein sollten.

Frage, Dich was passiert, wenn Du die Bilder nicht mehr hast und gehe dann die Backuplösung einkaufen/bestellen.

 

[mr.no-name]

Da ich davon ausgehe, dass dir die Daten relativ wichtig sind, da ja auch entsprechend viel Zeit und Geld darin steckt, würde ich eine externe Backuplösung wählen.
Denn egal wie oft du es zu Hause sicherst, lagerst - wenn es brennt, eingebrochen wird, Wasserschäden auftreten, usw. ist alles weg.

 

[Gr3yh0und]

Wäre auch meine Idee gewesen: Nochmal zB 2x 2TB Scheiben und ein Sharkoon Quickport (eSata) und sich dann halt angewöhnen wöchentlich das ganze nochmal zu kopieren

Dann halt auch per automatischen Kopier-Job (ka, vielleicht ein PERL/python Script im Background, das checkt ob die Platten angesteckt wurden und dann synct?) und wieder raustun.

 

[fdsonne]

Wäre auch meine Idee gewesen: Nochmal zB 2x 2TB Scheiben und ein Sharkoon Quickport (eSata) und sich dann halt angewöhnen wöchentlich das ganze nochmal zu kopieren

Dann halt auch per automatischen Kopier-Job (ka, vielleicht ein PERL/python Script im Background, das checkt ob die Platten angesteckt wurden und dann synct?) und wieder raustun.

Wenn dann sollte man aber auch das ganze auf verschiedenen Backupmedien schreiben. Was passiert wenn gerade in dem Moment des Backups der Gau auftritt... -> Backup und Quelldaten sind hin.
Also mehrere (kleinere) Backup Medien rotierend nutzen... und ein Medium erst dann wieder anfassen, wenn mindestens ein zweites quasi mindestens den gleichen Datenbestand aufweist.

Aber hier gestaltet sich das auch in meinen Augen recht einfach. Es werden wohl idR immer nur Daten hinzukommen, sprich alte Daten werden sich idR nicht ändern. Allenfalls will mal jemand die Daten ansehen.
Das heist, man muss also nicht zwingend mit jedem Backup Vorgang das ganze Archiv Clonen. Es reicht auch die Änderungen der letzten xxx Wochen da drin festzuhalten. Und die "alten" Daten quasi auf eine Art Archiv Backup Platte (oder dessen zwei) zu syncronisieren.
Das spart extrem Zeit beim Backup Vorgang... Und ist genau so sicher... ebenso spart es Geld weil kleinere Backup Medien benötigt.

 

[bulldogge1989]

Guten Abend,

Vielen Dank für die zahlreichen Beiträge. Sorry, dass ich mich erst jetzt wieder melde - Umzug der Freundin..

Also: Inspiriert für die "komplexe" Backuplösung wurde ich durch dieses Video: YouTube - Chase Jarvis TECH: Complete Workflow for Photo and Video

Zur Wichtigkeit meiner Daten: Die Bilder (und auch andere Daten) sind mir enorm wichtig! Dazu kommt, dass ich ein Geschäft im Bereich Webdesign betreibe und dann diese Datensicherung in der gleichen Art und Weise regeln möchte.

Zur Änderung der alten Daten: Gerade bei Bildern (in dieser Menge) ist es relativ häufig der Fall, dass alte Dateien in irgend einer Weise verwendet werden. Daher müsste der gesamte Datenbestand gesichert werden.

Einige Fragen:
Was würdet ihr empfehlen? Die Daten zuerst von meinem Arbeitsrechner auf den Server zu syncen und das Backup von da zu machen oder direkt vom Arbeitsrechner aus?
Der "Vorschlag" / das "Konzept" des mehrmaligen Vorhandenseins meiner Daten (ich hoffe, ihr wisst was ich meine..^^) ist eigentlich selbstredend. Allerdings gibt's hier das Problem der Datenmenge: Wie bereits erwähnt sind bis jetzt knapp 600 GB an Daten angefallen in den letzten öhm.. 6 Monaten. Das ganze hochgerechnet... *HILFE*
Was empfehlt ihr? 2 x 2 TB als externe Festplatten für die Fotos..? Sollte für den Moment reichen... auf die Platten wird dann im abwechselnden Turnus gespeichert...


Vielen Dank für die Tipp's und Tricks!

MfG Patrick

 

[fdsonne]

Wenn du sagst in 6 Monaten 600GB heist das ja pro Monat ca. 100GB. Das heist in spätestens einem Jahr wirst du die 2TB HDDs voll haben...

Wie angesprochen würde ich an deiner Stelle hier von einem Vollbackup weggehen... Einfach weil die Datenmenge zu riesig ist um das wirklich täglich im Vollbackup zu sichern... Bedenke auch, 600GB brauchen schon seine Zeit bis diese kopiert sind.

Baut man hier auf eine externe USB2 Lösung, so brauch es bei guten 30MB/sec Durchsatz schonmal gute 5-6h an reiner Backupzeit auf die HDD. Bei ner Verdopplung der Datenmenge im nächsten halben Jahr sinds dann schon 10-12h.
Es wäre also erstmal ratsam hier was nicht USB2 mäßiges zu nehmen, beispielsweise USB3 oder eSATA. Bei großen 3,5" HDDs kommt hinzu, das du eben dedizierte Stromversorgung brauchst...


Ich würde dann lieber doch mal in mich gehen und eine Art Archiv anlegen... Man kann ja dieses so halten, das man direkten Zugriff hat und bei Bedarf Daten aus dem Archiv in die Bearbeitungsordnerstruktur schieben kann. Womit diese dann wieder täglich gesichert werden.
Also in etwa so, das du jedes erste Wochenende im Monat die kompletten Daten in das Archiv verschiebst und dann ein Vollbackup davon fährst. Wenn du Daten bearbeiten willst, holst du diese einfach aus dem Archiv auf eine andere HDD, welche du dann wöchentlich/täglich wie auch immer sicherst. So ist gewährleistet, das du die Daten die nicht bearbeitet werden auf der Archiv Sicherung hast und die (der denke ich deutlich kleinere Teil) welche bearbeitet werden, sind auf dem wochen/tages Backup drauf...

Alternativ das ganze gescriptet lösen, so nach dem Motto, du hast ne Platte in deinem Server, wo beispielsweise einmal die Nacht nur die Daten drauf kopiert werden, bei welchen der Änderungszeitstempel sagen wir kleiner 14 Tage ist und eben nur diese dann täglich sichern.

Bzw. einfach einmal die Woche oder vllt gar nur einmal den Monat ein Vollbackup fahren auf externe HDDs und dann täglich inkrementell die Änderungen auf ein drittes/viertes usw. Medium hinterher...

Wenn du das alles nicht willst, wird dir die Datenmenge irgendwann über den Kopf wachsen und du brauchst quasi mehr oder weniger eine professionelle Lösung ala Bandbackup oder ähnlichem, wo man mehrere Medien zusammen zu einem Backupdatensatz zusammen schalten kann.

Sicherheitstechnisch sollte man ein Backup nach dem Generationsprinzip anlegen... Was bei der Datenmenge aber eine ganze Menge an HDDs benötigen würde. Was wiederum eine ganze Stange Geld kostet und wo man mit beispielsweise nem Bandwechsler und LTO4 Bändern eventuell sogar günstiger/nicht viel teurer kommt, aber wo eben das 800GB LTO4 Band nur 15€ kost, pro Stück

 

[heiner.hemken]

Wenn Du das ganze dann auch noch als Bilddatenbank verwenden willst, sprich also zur Weberstellung, dann erhöht sich der Wert der Bilder nicht nur um die bereits in Zeit und Geld investierten Kosten bei der Erstellung, die es zur Wiederbeschaffung einzukalkulieren gilt, sondern es hängt auch noch die wirtschaftliche Existenz davon ab.

Da gibt es aus meiner Sicht keine Alternative zu dem schon gemachten Vorschlag zum geräteunabhängigen Medium Tape, um daraus ein Archiv zu erstellen, wie es "fdsonne" geschildert hat.

Alles andere ist nur eine Frage der Zeit, wann sich hier beim vielen Kopieren von Festplatten zu Festplatten, Fehler potenzieren, die dann unweigerlich zum Datenverlust führen.
Bei Bändern kontrollierst Du einmal, ob die geschriebenen Daten mit den hoffentlich dann noch unbeschädigten übereinstimmen und ab da werden diese nur noch lesend angefasst.

 

[bulldogge1989]

Guten Abend,

@fdsonne und heiner.hemken: Vielen Dank für die enorm ausführlichen Antworten.

@fdsonne: Eine Lösung über einen Bandwechsler kommt für mich aus mehreren hier nicht weiter erleuterten Gründen nicht in Frage - dennoch danke für den Vorschlag.
@heiner.hemken: Die Bilder werden unter anderem auch in einer Bilddatenbank (hier Lightroom) verwendet und verwaltet. Daher ist es für mich wirklich sehr wichtig, auf keinen Fall meine Bilder zu verlieren.

Ich versuche die bereits gemachten Posts einmal als "Lösungsstrategie" zusammenzufassen:

1. Sicherung der Bilder im Generationsprinzip! steht fest
2. Sicherung der Bilder in der Ordnerstruktur Jahr/Jahr.Monat/Datum_Shooting steht fest
3. Erstellung eines Archivs: Konkret werden die "aktuellen Bilder" sprich, die aus einem Jahr, auf eine jeweilige intern Verbaute Festplatte abgelegt. Der Import und die erste Bearbeitung der Bilder erfolgt auf eine SSD (Intel X25M-G2 80GB) und danach wird das Material auf die Archiv HD verschoben. Somit gibt's für jedes Jahr eine Platte (was bei 2 TB und grösser werdenden Medien eigentlich ausreichen sollte) steht fest / wird jetzt schon so gelöst
4. Backup: Einmal alle zwei Wochen (bspw) wird ein Vollbackup vom Server auf eine externe Festplatte geschrieben. Ich denke, dass hier mindestens zwei Festplatten benötigt werden, um das Generationsprinzip aufrecht zu erhalten, oder?
   Zusätzlich wird die "tägliche Arbeit" bzw das aktuelle Jahresarchiv vom Arbeitsrechner täglich inkrementel auf eine externe Platte geschrieben.
5. Zusammenfassung: Speicherung lokal auf dem Arbeitsrechner, täglicher Sync zum Server und zur externen Festplatte und last but not least das Vollbackup alle zwei Wochen.

Was haltet ihr von der Lösung?

Somit müsste ich 3 x 2 TB an externen Festplatten beschaffen, oder? Einwände?


Vielen Dank für die Hilfe!

 

[fdsonne]

So richtig verstehe ich nicht, was du jetzt mit der Arbeitsstation willst...

Ich würde es als äußerst mühsam ansehen mit zwei Datenbeständen zu arbeiten...
Also entweder du arbeitest auf dem Server oder auf dem Client. Aber auf beiden ist irgendwie schwierig.

Das was du jetzt geschrieben hast, ist quasi immernoch das gleiche von ganz am Anfang, nur das du jetzt nicht mehr täglich ein Vollbackup vom Server fährst, sondern nur noch alle zwei Wochen...
Das mag jetzt gehen, aber du bekommst in nem Jahr ein Problem, oder aber, wenn du viele Daten bearbeitest. Einfach weil auf eine 2TB HDD nur 2TB drauf passen. Und das muss das Vollbackup schaffen.

Wie gesagt, mach es doch einfach so, das du auf dem Server deinen Datenbestand hast... Das ganze wie du oben erwähnt hast im Jahres Ordner mit Unterordnern für den Monat und das Shooting.
Dieser Datenbestand gilt als Archiv und wird auch so gehandelt... Sprich Vollbackup dann, wenn Daten bearbeitet/hinzugefügt werden.
Wenn du nun sagen wir einmal im Monat den Bearbeitungsdatenbestand in Richtung Server schiebst, ziehst du davon ein neues Vollbackup. Das ganze mindestens auf zwei Medien mmer im Wechsel, falls beim Sicherungsvorgang was aussteigt.

Somit brauchst du dich für das tägliche Backup nur mit dem Datenbestand rumärgern, welcher auch wirklich in Bearbeitung ist. Es bringt irgendwie nix hier ein komplettes Jahr vorzuenthalten... Was immerhin laut deinen Angaben am Ende des Jahres gute 1,2TB groß sein wird. Vor allem bei Projekten, wo einmal die Bearbeitung durch ist.
Du kannst diese beispielsweise täglich auf eine HDD/ein Raid im Server syncronisieren um die Verfügbarkeit zu erhöhen und/oder diese Daten halt inkrementel täglich sichern.

Wie gesagt, du musst aufpassen, das dir dein Datenbestand fürs Vollbackup nicht zu riesig wird, sonst nutzen dir auch nicht näher genannte Gründe nichts mehr, du wirst mit HDDs nicht mehr hinkommen...


Zum Thema Anzahl... Also fürs Vollbackup vom Server mindestens zwei... Und für die tägliche Sicherung... Neja schwierig zu sagen. Kommt drauf an, wie hoch die Wachstumsrate ist.
Ich würde hier aber klar die Finger von zu vielen inkrementellen Sicherungen lassen, bedenke, inkrementelle Sicherungen benötigen das erste Vollbackup der Daten sowie alle inkr. Sicherungen dazwischen. Dann lieber differenziell. Somit brauchst du nur das erste Vollbackup.


PS: mit Generationsprinzip hat das aber alles noch nix zu tun... Generationsprinzip sagt, das du mehrere verschiedene Datenbestände beispielsweise täglich oder wöchentlich der letzten xxx wochen/tage/monate usw. wiederherstellen kannst.
Da du aber immer deine vorhandenen Daten überschreibst, ist dir das so nicht möglich.

Willst du beispielsweise ein nach Generationsprinzip erstelltes Backup aufziehen, wo du die ersten vier Wochen jeweils zum Stand Wochenende sowie alle weiteren 11 Monate zum letzten Wochenende im Monat wiederherstellen kannst, so brauchst du schonmal 11 HDDs für die 11 Monate, sowie 4 HDDs für die vier Wochenenden des ersten Monats + die HDDs, auf dehnen du täglich sicherst...

Und das ist noch wenig... Dreh das mal auf täglich hoch
Das ganze bei dem Datenbestand inkl. der einkalkulierten Wachstumsrate von ca. 100GB/Monat so wird es mit HDDs schon eng. Nach einem Jahr musst du dein Konzept komplett ändern, weil die HDDs zu klein werden um alle Daten zu fassen usw.
Und hier kommen wieder Bänder ins Spiel... Vor allem ist die Bandgeschichte dann günstiger und einfacher zu händeln.

Das mit dem Generationsprinzip mag in erster Linie erstmal bisschen unsinnig erscheinen. Aber nur mal den Fall, du ziehst das Backup, stellst es in den Schrank, bearbeitest Bilder und machst irgend nen Fehler, oder wie auch immer, auf jedenfall werden Daten geändert und du merkst es nicht gleich... So kann es dir schnell passieren, das du diese auf der nächsten Sicherung mit drauf hast und somit diese dann unwiederuflich weg sind. Weil du ja immer den zum Sicherungszeitpunkt aktuellen Stand sicherst...
Oder du willst was wiederherstellen aus welchen Gründen auch immer und das Sicherungsmedium gibt beim Rücksichern den Geist auf usw. Generationsprinzip sollte also schon Betrachtung finden nur geht das eben in meinen Augen auf HDDs bei der Menge an Daten nicht!! Daher der Gedanke mit dem Archiv wirklich als Archiv (von mir aus Online Archiv mit direktem Lesezugriff) um den Datenbestand für das Backup nach Generationsprinzip möglichst klein zu halten.

EDIT:
hier so in der Art:

Also nochmal zusammengefasst.
- Du hast die Daten direkt auf der Workstation, welche bearbeitet werden sollen. Täglich syncronisiert diese sich mit einem eigenen Datenstapel auf dem Server, welcher nicht weiter gesichert ist um die Verfügbarkeit bei Ausfall der Workstation hoch zu halten.
- Die Workstation wird wöchentlich beispielsweise Voll gesichert (Generationsprinzip, vier Vollsicherungen pro Monat jeweils Sonntags) sowie täglich am besten differenziell auf ein weiteres Medium bzw. besser zwei immer im Wechsel (somit ist auch bei Aufall eines der zwei tages Medien die Wiederherstellung jeglicher Daten in der Woche sicher)
- Lesend ist es möglich Daten vom Archiv in die Bearbeitungsordnerstruktur zu holen, welche dann ebenso nach dem Kopiervorgang durch die Syncronisation/das Backup erfasst werden (inkl. deren Änderungen)
- Monatlich wird der syncronisierte Ordner auf dem Server in das Archiv kopiert und danach wird dieses Archiv Vollständig gesichert (zwei Medien, immer im Wechsel, kein Generationsprinzip aufgrund des Datenbestandes)
- Nach der Sicherung wird der Ordner der Workstation leer gemacht und das Spiel beginnt von neuen... Also Daten aus dem Archiv holen/neue Daten von der Cam einspielen -> bearbeiten -> syncronisieren/sichern usw.

Somit hättest du in meinen Augen den möglichst geringsten Aufwand des täglichen Backups mit einem Generationsprinzip für einen Monat... Soll dies länger sein, so müssen die Wochen/Tagessicherungen länger aufbewahrt werden -> mehr Medien benötigt.

Du musst halt nach wie vor schauen, das dir das Archiv hinten am Server nicht zu riesig wird, eventuell alte Daten von vor einem Jahr (also dann später wenn es so alte Daten mal gibt) gänzlich aus dem System nehmen oder gar einen dritten Datenstapel im Server anlegen, wo dann sagen wir jährlich der Datenbestand aus dem Monatsarchiv ins Jahresarchiv kopiert wird und wo es dann eine Kopie von im Schrank gibt (wie auch immer die aussehen soll, eventuell aufgeteilt auf mehrere HDDs)

 

[Grunpfnul]

Ich habe bisher kein einziges Wort betreffend Datenintegrität, bzw. Checksummen gelesen Wenn ihm seine Daten wirklich derart wichtig sind, wäre dann nicht auch ZFS für ihn interessant, oder zumindestens ein md5 Index seiner Files? - bevor hier Bandlaufwerke im Wert von >3000 Eur geordert werden...

 

[fdsonne]

Derartiges war ja hier bis jetzt nicht Thema... Es ging ausschließlich ums Backup. Wie die Daten überhaupt vorgehalten werden, ist ein ganz anderes Thema in meinen Augen.

 

[bulldogge1989]

Soo - gestern traf die erste WD Studio Mac 2 TB ein. Darauf wird erstmals das aktuelle Bildarchiv gespeichert. Dazu kommen dann noch die zwei 2 TB Platten für das tägliche Backup..


MfG und danke für die Hilfe!

PS: Wie meint ihr zwei das konkret mit der Prüfsumme? Was es ist, ist mir klar, aber leider nich wie ich das anwende....

 

[fdsonne]

Es geht um die Integrietät der Daten ansich...

Nur mal blöd angenommen, dein PC oder Server wird von einem Wurm/Trojaner/Virus oder ähnlichem befallen, welcher sich an den Bilddateien vergreift und dort Bits negiert.
Für dich als Anwender sind die Datei so aus wie immer, selbst die Größe stimmt, und wenn das Teil clever ist, so stimmen auch die Zeitstempel weiterhin.
Aber aufgrund der veränderten Bits ist das Bild ansich unbrauchbar, weil unlesbar...

Prüft man Checksummen oder ähnliches der Daten erkennt man Veränderungen und kann darauf reagieren.

Das ganze sollte aber im Einklang mit dem Backup stehen... Da du dich aber gegen die Generationsprinzip Methode entschieden hast, wirst du spätestens nach dem nächsten Backup Vorgang, welcher die alten Daten auf dem Backupmedium ersetzt, den Fehler so auch aufs Backupmedium pressen. Im schlimmsten Fall ists dann um den ganzen Datenbestand geschehen

Ich wünsche dir aber in jedem Fall erstmal Glück, das du nicht auf die Schnauze fällst... Gerade wenn der Problemfaktor Mensch (bewusst oder unbewusst) schuld am Verlust von Daten ist lässt sich ohne Generationsprinzip nix machen... --> sollte man mit einkalkulieren bei der Einstufung der Wichtigkeit der Daten.

 

[dole]

Ich möchte hier das Programm rsyncbackup (lupinho) erwähnen, welches ich vor kurzem entdeckt habe. Dieses synchronisiert z.B. einen Ordner und legt zeitbasierte differentielle Backups an,wobei nicht veränderte Dateien als Hardlinks gespeichert werden. Am besten mal kurz darüber informieren.
Mich würde interessieren, ob jemand hier schon Erfahrungen damit gemacht hat. Ich habe es kurz eingesetzt und war überrascht von der einfachen und übersichtlichen Bedienung.

Gruß

 

[bulldogge1989]

Okey - überzeugt... Hab mich in das Generationsprinzip eingelesen - und so kompliziert scheint das gar nicht zu sein... Hoffe ich zumindest.

Doch wie setze ich das jetzt nun geschickt bei mir um?
Was benötige ich dazu?

Wenn ich es richtig verstanden habe, gehts folgendermassen vorsich:
1. Tägliches Backup auf ein Medium (sprich.. es werden 5 bis 7 Medien benötigt)
2. Wöchentliches Backup auf ein Medium (sprich.. es werden erneut 4 Medien benötigt)
3. Monatliches Backup auf ein Medium (sprich.. es wird wieder ein Medium benötigt)

stimmt das soweit?

richtig überlegt, kann man das evtl auf kürzen auf folgendes
1. Tägl. Backup auf Medium für Mo bis Sa > 6 Medien
2. Wöchent. Backup auf Medium für Woche 1 bis 3 > 3 Medien
3. Monatli. Backup auf Medium > Wie viel bräuchte es hier?

Wird bei der täglichen Sicherung jedesmal eine komplette Kopie der Daten erstellt?
Habe für die Kopie der Daten auf die neue Festplatte gestern über 8 Stunden benötigt....

Vielen Dank für die zahlreichen Hilfestellungen!!


Freundliche Grüsse, Patrick Lehmann

 

[fdsonne]

Täglich kannst du inkrementell/differenziell sichern. Das ganze kannst du sofern der Platz reicht auf zwei Mediensätze machen...
Sprich ein Mediensatz bestehend aus x HDDs immer im Wechsel Mo./Mi./Fr. für Satz eins sowie Di./Do./Sa. für Satz zwei.
Sofern dir keins der Backupmedien um die Ohren fliegt, kannst du so jeden Tagesstand der kompletten letzten Woche wiederherstellen. Fällt dir eins davon aus, so gehts halt nur für jeden zweiten Tag -> um das zu umgehen müsstest du für jeden Tag ein eigenes Medium nehmen...
Diese Medien werden dann am jeweils gleichen Tag der nächsten Woche wieder überschrieben.

Am Sonntag schiebst du dann ein Vollbackup an. Das ganze wird dann mindestens vier Wochen aufgehoben um einen kompletten Wochenendsstand der letzten vier Wochen wiederherstellen zu können. Sprich du brauchst hier vier dieser Mediensätze. Theoretisch könnte man das ganze auch wieder einkürzen indem man eben anstatt vier Mediensätze nur deren zwei nimmt und diese im Wechsel differenziell beschreibt. -> Mit den gleichen Einschränkungen wie gerade erwähnt beim Ausfall eines Mediums. (nur jede zweite Woche wiederherstellbar)

Am jeweils letzten Sonntag eines Monats schiebst du anstatt der Wochensicherung ein Monatsmediensatz mit einem Vollbackup rein. Dies lässt dich den Datenbestand des letzten Sonntags pro Monat wiederherstellen. Willst du hier ein viertel Jahr vorenthalten, so brauch es drei Mediensätze, bei nem halben Jahr eben sechs und bei nem ganzen Jahr die vollen 12. Aber auch hier gilt das gleiche wie oben, theoretisch kann man kürzen indem man differenziell sichert und eben nur zwei Medien verwendet. --> Bei Ausfall des Mediums, jeder zweiter Monat wiederherstellbar.

Willst du nun noch eine Generation weiter draufpacken, packst du am letzten Sonntag eines Jahres ein Jahresmediensatz rein, anstatt des normalen Monatsmediensatzes... Diese kannst du dann nach gewünschter Anzahl der Jahre weiter nach oben skallieren.


Letzteres halte ich aber vllt für etwas übertrieben. Die Monatsmediensätze würde ich wohl erstmal auf ein viertel bis halbes Jahr anpeilen.



Für die Sparversion mit der Differenz Sicherung heist das also:
2xTagesmediensatz...
2xWochenmediensatz...
2xMonatsmediensatz...
eben mit genannten Einschränkungen beim Ausfall des Mediums.

Für die "bessere" weil sicherere Version heist das:
6xTagesmediensatz...
4xWochenmediensatz...
3-12xMonatsmediensatz...



PS: Ich spreche hier immer von Mediensätzen, weil bei deiner Datenmenge nicht ganz klar ist, ob du das ganze auf eine HDD drauf bekommst... Im Moment scheint das noch zu klappen, aber bei wachsendem Datenvolumen in den nächsten 6-12 Monaten wird das mit einer Platte nicht reichen, gerade bei der Sparversion.

 

[dole]

Nur so ein Gedanke (weil ich mich zur Zeit auch mit dem Backup beschäftige):

Ich benutze zur Zeit den Windows Home Server. Vorteil: Er kann automatisch Client Backups machen und stellt einen Speicherpool zur Verfügung. D.h. du stöpselst bei Bedarf einfach neue Platten nach und hast somit ein großes Laufwerk.

Jetzt gibt es 2 Möglichkeiten:

erste:

Du baust einen Homeserver, der deinen PC (Client Backup) sichert. Dies erfordert Client- und Serverseitig viel Speicher. Du arbeitest am PC und dein Server backupped diesen nach Wunsch (inkrementell). Du hast so die Möglichkeit bei versehentlich gelöschten Sachen, einen früheren Zustand herzustellen (kein direkten Zugriff auf Dateien, daher etwas umständlich und für deine Arbeit evtl. nicht so praktisch)

zweite:

Du lagerst die Daten auf dem Homeserver (zentral) und fertigst mit z.B. rsync deine Backups an. Nur musst du dann entscheiden wo diese Backups landen (externe Festplatten, interne Festplatte ... usw.)

Dies ist nur ein Gedankengang und ich will hier keinesfalls Werbung machen. Vielleicht ist es für den TE eine Option, die man in Betracht ziehen könnte.

Mit freundlichen Grüßen

 

[fdsonne]

Option 1 kannst du gleich wieder vergessen, weil eine Kopie der Daten auf dem gleichen System/einem System welches im gleichen Haus/gleichen Netz usw. hängt sowie immer an ist, kein Backup ist... Sondern lediglich die Verfügbarkeit erhöht... Nur mal blöd angenommen, es kommt der Blitz durch die Leitung. Oder der Virus durch die INet Strecke usw. --> Resultat, u. U. alles weg.

Methode zwei dann schon eher, aber auch nur bei einer Sicherung auf externe Medien, welche dann weggepackt werden.
Das ganze Skriptbasiert zu lösen ist sicher machbar, aber soweit war die Überlegung hier ncoh gar nicht, es geht nach wie vor um die theoretische Anlegung der Backup Strategie. Erst wenn diese klar definiert ist, kann man sich an die Umsetzung machen...

 

[dole]

Option 1 kannst du gleich wieder vergessen, weil eine Kopie der Daten auf dem gleichen System/einem System welches im gleichen Haus/gleichen Netz usw. hängt sowie immer an ist, kein Backup ist... Sondern lediglich die Verfügbarkeit erhöht... Nur mal blöd angenommen, es kommt der Blitz durch die Leitung. Oder der Virus durch die INet Strecke usw. --> Resultat, u. U. alles weg.

Grundsätzlich stimme ich dir zu. Jetzt ist nur die Frage wie viel Aufwand will man betreiben? Leidet die Regelmäßigkeit der Backups darunter, dass ich einen erhöhten Aufwand habe?
Worst Case Szenarios kann man sich viele überlegen:
Mein Haus brennt ab, da werden sich die externen Platten im Schrank aber freuen...

Aber um beim Thema zu bleiben, es muss eine Relation zwischen Aufwand / Sicherheit gefunden werden.

Gruß

 

[bulldogge1989]

Vielen Dank für die erneut sehr ausführliche Antwort. Also meine Grundüberlegung für die Arbeit an dem Bildmaterial:
- Bilder werden lokal auf meinem Arbeitsrechner geladen. Sobald Änderungen von AllwaySync bemerkt werden, werden diese auf den Server geschrieben.
- Vom Server aus, werden die Änderungen gemäss der obigen Strategie, welche es noch genauer zu definieren gilt, gesichert.

Soviel zum Arbeitsablauf...


Nun zur Sicherung:
- Ich denke, dass in nächster Zeit, die Datenmenge / Monat abnehmen wird, da ich von 50% Arbeit + Uni auf 80% Arbeit + Uni wechsle und somit sehr ausgelastet bin. Dennoch sinds immer noch grosse Datenmengen....
- Grundsätzlich denke ich, dass es Sinnvoll ist, das Generationsprinzip bis zu einem Jahr aufrecht zu erhalten. Sprich, die Generation "Jährlich" als oberste zu handeln. Daher denke ich, dass es sinnvoll ist, für jedes neu ankommende Jahr, eine eigene Platte zu besorgen (sowohl intern für die Arbeitsdatenbank als auch extern für s speichern / backup).
- Da die Datenmenge in einem Jahr auch bei den "schlimmsten" Hochrechnungen" die 2 TB Grenze nicht überschreiten wird, und die Änderungen an älteren Dateien als ein Jahr zurückliegend vernachlässigbar sind, sollte folgende Möglichkeit funktionieren:

1. Für die täglichen Backups reicht zum Jahresbeginn eine eigene 2 TB Platte, auf der in verschiedenen Ordnern das ganze abgespeichert wird. Sprich 7 Ordner für alle Wochentage und dann zyklisch überschreiben.
2. Für das wöchentliche Backup wird zum Jahresbeginn auch eine weitere 2 TB Platte reichen.
3. Ebenfalls für s monatliche Backup reicht eine 2 TB Platte aus. Somit müssten 3 x 2 TB Platten organisiert werden.
4. Sobald eine dieser Platten nicht mehr im Stande ist, die 7 Kopien (tägl) / 4 Kopien (wöchent) / 12 Kopien (Monat) aufzunehmen, wird einfach eine weitere Platte ins System eingeschoben und die Datenmenge darauf "reduziert"?

Bis hierhin grobe Überlegungsfehler? Mir ist bewusst, dass ich so besonders im täglichen Backup zu Beginn (nur eine Platte für tägliches Backup vorhanden) die Daten bis zu einer Woche verlieren könnte. Allerdings sind die Daten sowohl auf dem Server, als auch auf der Workstation vorhanden.


Vielen Dank für die Hilfe - ich schein ja hier mit der fdsonne an einen Backup-Profi geraten zu sein - speziell an dich danke ,


MfG Patrick

 

[fdsonne]

Grundsätzlich stimme ich dir zu. Jetzt ist nur die Frage wie viel Aufwand will man betreiben? Leidet die Regelmäßigkeit der Backups darunter, dass ich einen erhöhten Aufwand habe?
Worst Case Szenarios kann man sich viele überlegen:
Mein Haus brennt ab, da werden sich die externen Platten im Schrank aber freuen...

Aber um beim Thema zu bleiben, es muss eine Relation zwischen Aufwand / Sicherheit gefunden werden.

Gruß

Das ist alles eine Frage der Wichtigkeit der Daten. Bzw. wie man diese selbst als wichtig einschätzt...
Um so wichtiger die Daten sind, desto unwichtiger wird der Preis für die Backuplösung inkl. aller konsequenzen und dem Aufwand sein
Und wie ich mitbekommen habe, sind persönlich private Daten (gerade Fotos/Videos) so ziemlich das wichtigste, was Menschen im privatbereich haben... und oft sogar deutlich wichtiger eingestuft, als es Firmen mit ihren Daten handhaben.

...sollte folgende Möglichkeit funktionieren:

1. Für die täglichen Backups reicht zum Jahresbeginn eine eigene 2 TB Platte, auf der in verschiedenen Ordnern das ganze abgespeichert wird. Sprich 7 Ordner für alle Wochentage und dann zyklisch überschreiben.
2. Für das wöchentliche Backup wird zum Jahresbeginn auch eine weitere 2 TB Platte reichen.
3. Ebenfalls für s monatliche Backup reicht eine 2 TB Platte aus. Somit müssten 3 x 2 TB Platten organisiert werden.
4. Sobald eine dieser Platten nicht mehr im Stande ist, die 7 Kopien (tägl) / 4 Kopien (wöchent) / 12 Kopien (Monat) aufzunehmen, wird einfach eine weitere Platte ins System eingeschoben und die Datenmenge darauf "reduziert"?

Bis hierhin grobe Überlegungsfehler?

Das könnte man so machen... Sofern der Platz reicht, was nur du selbst hochrechnen kannst...

Das kleinste Problem ist hier wohl die Wochenplatte... Bei der Tagesplatte könnte es gehen, bei der Monatsplatte könnte es schon eng werden

ca. 1,8TB nutzbarer Platz auf der HDD, 600GB Grunddaten jetzt vorhanden. Heist 1,2TB Platz für die nächsten 12 Monate. Im Schnitt also darf die durchschnittliche Datenmenge, die Pro Monat geändert wird 100GB betragen. Inkl. aller Änderungen und Einspielung neuer Daten.
Es würde sich Platztechnisch anbieten hier dann doch nur inkrementell zu sichern (also nur die letzten Änderungen zur letzten Sicherung - Voll- oder inkrementell)

Mir ist bewusst, dass ich so besonders im täglichen Backup zu Beginn (nur eine Platte für tägliches Backup vorhanden) die Daten bis zu einer Woche verlieren könnte. Allerdings sind die Daten sowohl auf dem Server, als auch auf der Workstation vorhanden.

Das ist dann leider so...
Aufpassen würde ich mit so automatisierten Kopierscripten, die bügeln dir teils gnadenlos den aktuellen Stand inkl. der eventuell gelöschten/verlorenen Daten auch auf deinen Server... Du solltest also möglichst auf Trapp sein und die Daten, welche du wiederherstellen willst, möglichst zeitig erkennen


Was ich dir noch empfehlen kann ist eventuell eine Art Volumeshadowcopy auf dem Server einzurichten, welcher täglich inkr. die Änderungen lokal auf der HDD nochmals mitschneidet und so die Verfügbarkeit der Daten ebenso erhöht. Gerade wenn du fürs Backup schlussendlich auch noch eine Software einstetzt, welche die Files schön in einen Container verpackt musst du nicht erst umständlich das ganze erst zurück spielen im Fehlerfall. Und sofern sich das ganze Platztechnisch einrichten lässt, so kann man das bis zu ich glaube mehreren Wochen vorenthalten.
Denn in meinen Augen ist wie gesagt nicht der Hardwaredefekt die größte Fehlerquelle, sondern viel eher die Person Mensch durch bewuste/unbewuste Einflusse

 

[bulldogge1989]

Bezgl des Platzproblemes ist mir klar, dass nach spätestens 5 Monaten (Monat 1: 100 GB, Monat 2: 200 GB, Monat 3: 300 GB, Monat 4: 400 GB, Monat 5: 500 GB) --> 1.5 TB der Platz auf der monatlichen nicht mehr reicht, und ich somit eine weitere Platte benötige. Aber die Idee ist, nicht gleich 10 Platten auf s Mal kaufen zu müssen xD

Ebenfalls könnte es bereits ab dem 2 Monat auf der Tages-Platte eng werden, da hier dann bereits 7 x 200 GB liegen. Somit wird auch hier eine nächste Platte zum Einsatz kommen müssen. Das gleiche gilt für die Wochen-Platte (hier wirds ab Monat 4 eng, 4 x 400 GB an Daten)

Idee soweit richtig?


Somit brauch ich zu Beginn: 1 x Tagesplatte, 1 x Wochenplatte und 1 x Monatsplatte.

Wie sieht es bezüglich der Umsetzung aus? Sprich... Kannst du was empfehlen? Soll ich jedesmal ein Vollbackup machen oder ein inkrementelles / differentielles (wobei mir hier nicht wirklich klar ist, wie ich das praktisch anstellen soll....)


Vielen Dank erneut, mfg

 

[fdsonne]

Zum ersten, das kommt auf die eingesetzte Methode an... Wenn du 600GB Daten hast und inkrementell sicherst, so ist der Erste Sicherungsjob 600GB groß. Der zweite beträgt nur die Änderungen seit der ersten Sicherung. Die dritte Sicherung beinhaltet nur die Änderungen zur zweiten Sicherung usw.

Das heist, mit den 1,8TB kommst du bei inkr. Sicherung schon sowohl fürs Tages, und Wochenbackup mit einer HDD hin. Sofern du natürlich den Spaß beim erreichen der nächsten Woche/des nächsten Monats wieder runter putzt.
Also Mo.-Sa. täglich inkr. und dann am nachfolgenden Mo. vorher die alte Montagssicherung runter putzen. Das gleiche für die Wochensicherung 1-4. Und vor der einser Wochensicherung Sicherung die alte eins entfernen.

Sicherst du hingegen differenziell gibts das Problem, das du jegliche Änderungen seit dem letzten Vollbackup mitschreibst.
Sprich erste Sicherung am Montag beispielsweise beinhaltet 600GB Istdaten. Die am Dienststag die Änderungen seit Montag. Die Am Mittwoch schon die Änderungen von Montag und Dienstag. Am Donnerstag schon Mo.-Mi. usw.

es steigt also schneller an als bei der inkr. Sicherung... Da du aber nur auf ein Medium sicherst, sollte das zu vernachlässigen sein, denn du hast sowieso beim Rückspielen von diesem Medium direkten Zugriff auf alle Vorstände. Es entsteht so kein Nachteil. Blöd wirds nur, wenn es aus welchem Gründen auch immer eine der inkr. Sicherungen zerkloppt, alles was danach gesichert wurde ist dann unbrauchbar...



Zum Thema Durchführung... Also ein Vollbackup lässt sich über Tools scripten. Also direkte 1:1 Kopie der Daten. Ein inkr./differ. Backup ist da schon schwieriger... Ich weis nicht ob es dafür Tools gibt, die das können...
Man könnte aber vllt per Robocopy oder ähnlichem sich was zusammenbasteln...

Eventuell etwas einfacher gehts vllt mit der NT Backup Funktion von Windows. Bzw. anderen Fertig Backup Softwarelösungen. Nero hat da was mit im Paket usw.
Nachteil an derartiger Software ist eben, das diese die Daten idR in Containerfiles packen, das heist, du kommst so ohne weiteres da nicht mehr ran...
Brauchst also zum entpacken zwingend die Software...
Hast aber halt den Vorteil alles in einer Datei (oder in mehreren aufgesplitteten Dateien) zu haben. Was die Übersicht wart. Eventuell lässt sich auch was komprimieren... Was dir Platz einspart.

 

[dole]

Zum Thema Durchführung... Also ein Vollbackup lässt sich über Tools scripten. Also direkte 1:1 Kopie der Daten. Ein inkr./differ. Backup ist da schon schwieriger... Ich weis nicht ob es dafür Tools gibt, die das können...
Man könnte aber vllt per Robocopy oder ähnlichem sich was zusammenbasteln...

Stichwort rsync backup:

- differentiell, inkrementell, direkter Zugriff auf Dateien, kostenlos, einfach (Lupinho)

Habe es seit kurzem im Einsatz --> mein Fazit: unbedingt ausprobieren!

Gruß

 

[bulldogge1989]

Guten Abend,

Bitte entschuldigt die lange Abstinenz..^^
@dole: ich habe mir rsync backup mal heruntergeladen und werde es die Tage genauer anschauen...

Ich denke, ich muss mir ein genaues Konzept nochmals durch den Kopf gehen lassen...


Vielen Dank - ich meld mich bald wieder!

Gruss