Backup von > 15 TB

[willijan9393]

Hallo Leute,

Ich mache mir nun seit längerem Gedanken, wie man ab effizientesten Datenmengen von 15TB und mehr Sichern könnte. Vielleicht habt ihr noch die ein oder andere Idee dazu?

Ausgangssituation:
unRaid-Server mit ~15 TB Daten (erweiterbar auf ~ 50 TB)
Anbindung an ein Gigabit-Netzwerk

Durch das unRaid-Betriebssystem (Lime-Technology) und dessen Dateisystem, kann nun EINE Festplatte ausfallen, ohne das Daten verloren gehen. Sollten jedoch 2 oder mehr Festplatten ausfallen, resultiert daraus ein Datenverlust. Also muss ein regelmäßiges Backup erfolgen.

Meines Wissens nach bestünden folgende Möglichkeiten eines Backups:

1. Zweiter, identischer unRaid-Dateiserver
+ schnelle Übertragung
+ einfacher Zugriff
- zusätzliche Stromkosten
- Anschaffungskosten von ~ 2000 €

2. Einsatz eines Bandlaufwerks
+ Zuverlässigkeit
- teuer
- nicht mehr zeitgemäß
- mehrere Bänder

3. Cloud Backup mit z.B. Crashplan
+ unterschiedlicher Ort von Ziel und Quelle
+ günstig (3 Dollar/Monat)
- Backup der Daten dauert Monate und Jahre (16.000er/1000er Leitung)


Jede Lösung hat scheinbar seine Vor- und Nachteile.
Ich würde nun gerne von Euch wissen, welche Methode ihr am geeignetsten findet und ob es eventuell noch andere Möglichkeiten gibt.

Ich bedanke mich schon jetzt recht herzlich bei Euch

Liebe Grüße,

Jan

 

[hotzen]

Durch das unRaid-Betriebssystem (Lime-Technology) und dessen Dateisystem, kann nun EINE Festplatte ausfallen, ohne das Daten verloren gehen. Sollten jedoch 2 oder mehr Festplatten ausfallen, resultiert daraus ein Datenverlust. Also muss ein regelmäßiges Backup erfolgen.

Mal ne janz gefährliche Argumentation.
Dein unRAID bringt dir nur nen großes Volume und ein klein wenig Redundanz. Ein Backup wäre selbst bei einem RAID mit 2365236 Paritäts-Platten und Triple-Double-Whopper-Mirroring nötig.

4. Einfach Daten wie sie kommen auf die günstigsten zu beschaffenden Platten kloppen und die in den Schrank legen. Nennt sich dann auch geilerweise Offsite-Backup, hast dann also ganz was feines

 

[screama]

Wieso sind Bandlaufwerke nicht mehr zeitgemäß?

Seit 2010 gibt es LTO-5 Bänder mit 1,5TB Kapazität (3,0TB mit Kompression) welche ne Übertragungsrate von ~150MB/s schaffen (~250MB/s mit Kompression).

 

[TCM]

Wieso sind Bandlaufwerke nicht mehr zeitgemäß?

Seit 2010 gibt es LTO-5 Bänder mit 1,5TB Kapazität (3,0TB mit Kompression) welche ne Übertragungsrate von ~150MB/s schaffen (~250MB/s mit Kompression).

Preis? Siehste.

 

[Steggi]

Naja, dass mit dem Preis ist halt so ne Sache...

Dafür sind die Bänder aber weitaus unempfindlicher und besser automatisierbar als USB Platten oder der gleichen.
Und spätestens bei größeren Datenmengen werden die Bänder preislich deutlich günstiger als Platten

 

[DocSilly]

*hust* ZFS mit doppel (tripple) parity und es können bis zu 2/3 Festplatten zeitgleich ausfallen *hust*

OK, btt

2. Tape:
Der Preis wurde ja gerade angesprochen - bei Preisen ab 1600€ aufwärts für das Laufwerk selbst sehen die 2000€ für ein zweites NAS schon weniger übel aus. Zudem muss man bedenken das man die Daten erst mal bei einem Daten-GAU sequentiell wieder zurückschreiben muss. Auch ein Zugriff auf bestimmte Dateien (aus versehen gelöscht) ist da eher mühselig wenn sich diese Dateien auf verschiedenen Bändern befinden.
Bandlaufwerke sind von daher vielleicht eher der letzte Schritt in einer mehrstufigen Backupstrategie und sind ideal zur Archivierung.
Für den Preis des Laufwerks bekommt man zehn 3TB Festplatten - und erst danach kommen die Medienpreise langsam zum tragen.

3. Cloud:
Für den Homenutzer im unteren Gigabytebereich sicher eine Option aber sicher nicht wenn es in den TB-Bereich geht.

1. Backup-NAS:
Die Anschaffungskosten im Vergleich zu einem Bandlaufwerk sind nicht so krass wie es anfangs scheint.
Stromkosten sind ein kleiner Nachteil aber das Backup-NAS muss ja nicht dauerhaft laufen sondern nur während der/des Backups. Und im Normalfall sichert man ja nur die geänderten Daten nach dem ersten multi-TB Komplettbackup.
Als Vorteil kannst du bei einem Daten-GAU einfach das Backup-NAS anwerfen und im Idealfall direkt weiterarbeiten. Zudem kannst du auch direkt auf einzelne Dateien zugreifen ohne lange Bänder zu wechseln/spulen wie beim Bandlaufwerk.

Vielleicht solltest du auch mal überlegen ob ein Wechsel von unRaid auf ein ZFS System eine Option ist, hat aber mit deiner Backupstrategie direkt nichts zu tun

 

[Capfu]

15 TB OK - aber ganz ehrlich: werden alle Daten wirklich vor jeder Sicherung geändert ?

Macht es nicht eher Sinn eine Komplettsicherung extern zu machen und dann nur die Änderungen (Differentiell) zu sichern ?

Das spart Platz, Zeit und vor allem Geld

Wenn ja - eine große NAS, danach auf DVD welche professionell aufbewahrt werden (gibt Notare die sich auf sowas spezialisiert haben)

 

[Steggi]

*hust* ZFS mit doppel (tripple) parity und es können bis zu 2/3 Festplatten zeitgleich ausfallen *hust*

Das mag zwar sein, aber wie so oft, ersetzt du auch damit kein Backup!

Der Preis wurde ja gerade angesprochen - bei Preisen ab 1600€ aufwärts für das Laufwerk selbst sehen die 2000€ für ein zweites NAS schon weniger übel aus.

Es kommt aber auch immer drauf an, welche LTO Generation du verwendest. Die etwas älteren Laufwerke gibts ja auch schon günstiger, auch wenn dass dann immer noch recht teuer ist Kannst ja mal Debauer fragen, wie viel der für sein LTO blechen musste

Zudem muss man bedenken das man die Daten erst mal bei einem Daten-GAU sequentiell wieder zurückschreiben muss.

Diesbezüglich können die Bänder problemlos mit den Platten mithalten bzw überholen diese sogar. Beim sichern hast du dann eher das Problem, dass des Bandlaufwerk bremsen muss, wenn die Platten nicht schnell genug für Datennachschub sorgen...

Bandlaufwerke sind von daher vielleicht eher der letzte Schritt in einer mehrstufigen Backupstrategie und sind ideal zur Archivierung.

Da geb ich dir recht. Bei uns in der Firma werden nachts z.B alle Daten auf einem zentralen Storage gesichert und anschließend auf Band archiviert. In meiner eigenen Umgebung läuft das auch nicht viel anders, außer dass mir bis jetzt auch das nötige "kleingeld" für ein LTO fehlt... Dafür wird alles wirklich wichtige nochmal über VPN auf ein NAS an einem anderen Standort kopiert.

Was sonst noch gut zu wissen währe, währe die Zusammensetzung der 15 TB. Wenn das nur die komplette DVD und Blueray Sammlung ist, dann reicht da auch ne einfache Kopie auf ner externen Platte.

 

[DocSilly]

Ja gut, ein LTO-4 (800/1600GB) gibt es für schlappe 1200€ und ein LTO-3 (400/800GB) schon für knapp unter 1000€

 

[bluesunset]

Der Preis für LTO3 mit ~ 900 Euro ist seit 2008 unverändert. LTO4 lag damals bei 1400-1600 Euro. Da die LTO4 Bänder inzwischen auch bei 25 Euro herum angekommen sind, ist LTO3 bei einer Neuanschaffung nicht mehr sinnvoll.
Das einzige was bei 15TB helfen würde, wäre aktuell LTO5 mit 1500GB pro Band. Er bräuchte also nur 10 Bänder für eine komplette Sicherung. Macht bei angenommenen 1600 Euro fürs Laufwerk einen Preis von 40 Euro pro Band, um bei den max. 2k Euro zu bleiben. Sobald sich der Speicherbedarf beim Raidsystem erhöht, spart man also schon. Bis es 1,5TB HDDs für 30-40 Euro incl. Controller, Netzteil usw. gibt wird es noch etwas dauern

Die Kosten für einen SAS Controller (keine Raidcontroller!) sind mal nicht mitgerechnet. Ein vernünftiges Mainboard hat 8 SAS Ports onboard

Sofern du wirklich 50TB auf günstigen HDDs nur per Raid5 geschützt (so hört sich deine Redundanz nunmal an) haben willst, ist ein Backup mehr als dringends angeraten.
Ggf. wartest du auch ab bis es LTO6 Laufwerke gibt. Wikipedia hat darüber auch Infos.

 

[debauer]

Ja gut, ein LTO-4 (800/1600GB) gibt es für schlappe 1200€ und ein LTO-3 (400/800GB) schon für knapp unter 1000€

Man muss ja nicht das erst beste angebot nehmen.
Mit etwas geduld bekommt man ~10TB für 400euro auf LTO4 Bänder. Wer nicht ganz so gute Kontakte hat zahlt vllt das doppelte. Dafür dann vllt mit SAS.

 

[willijan9393]

1. Backup-NAS:
Die Anschaffungskosten im Vergleich zu einem Bandlaufwerk sind nicht so krass wie es anfangs scheint.
Stromkosten sind ein kleiner Nachteil aber das Backup-NAS muss ja nicht dauerhaft laufen sondern nur während der/des Backups. Und im Normalfall sichert man ja nur die geänderten Daten nach dem ersten multi-TB Komplettbackup.
Als Vorteil kannst du bei einem Daten-GAU einfach das Backup-NAS anwerfen und im Idealfall direkt weiterarbeiten. Zudem kannst du auch direkt auf einzelne Dateien zugreifen ohne lange Bänder zu wechseln/spulen wie beim Bandlaufwerk.

Ich denke so werde ich es dann machen.
Vielen Dank an Euch alle für die hilfreichen Antworten!

 

[JojoTheMaster]

Das Backup NAS muss aber nach dem Backup komplett vom Netz. Abschalten reicht da nicht.

 

[daheym]

Ich kann mir den Vorrednern nur anschließen.

Aber den Cloud Backup Gedanken möchte ich noch einmal aufnehmen:
Such dir doch einen Provider, bei dem du via 1GBit ein Fullbackup auf den Cloudspeicher machen kannst (sollte einmalig nicht die Welt kosten) und mache anschließend nur differenzielle Backups über dein DSL. (Oder reicht der 1MBit uplink selbst für diese Datenmenge nicht?)

Gruß

 

[willijan9393]

Ich kann mir den Vorrednern nur anschließen.

Aber den Cloud Backup Gedanken möchte ich noch einmal aufnehmen:
Such dir doch einen Provider, bei dem du via 1GBit ein Fullbackup auf den Cloudspeicher machen kannst (sollte einmalig nicht die Welt kosten) und mache anschließend nur differenzielle Backups über dein DSL. (Oder reicht der 1MBit uplink selbst für diese Datenmenge nicht?)

Gruß

Wie funktioniert denn ein 1 GBit Fullbackup? Es ist doch immer noch die selbe Leitung oder nicht?
Nach meinen Recherchen ist Crashplan+ allerdings der einzige Anbieter der unbegrenzt Speicherplatz und unlimitierte Dateigröße anbietet...

 

[DocSilly]

Von daheim geht das sicher nicht ... da müsste man wohl mal kurz das NAS zum Provider fahren um es dort in dessen Rechenzentrum zum ersten Fullbackup zu bringen? Das ist der einzige Weg den ich mir vorstellen kann - falls es denn so einfach machbar wäre.