Darüber würde ich gerne hier diskutieren was die beste Lösung wäre. Gedacht habe ich dabei an :
-Ein eigener kleiner Server
-Bandlaufwerk Sicherung
-Sicherung auf Externe Festplatte
Dabei greift der kleine Server auf den Cluster zu, koppiert den aktuellen Datenstand auf Bandlaufwerke. Diese Bandlaufwerke werden dann verschlossen und Redundant gelagert. Auf eine Externe Festplatte die per USB angeschlossen ist wird dann auch jeweils der Datenstand koppiert, um im Extremfall auch schnell per USB an die Daten zu kommen.
Was haltet ihr davon, bzw was für dinge (Laufwerk, Bänder) könnt ihr empfehlen?
Da es sich anscheinend um rund 1,5TByte Produktive Daten handelt, würde ich zu einem LTO5 Laufwerk tendieren (1500GByte netto Kapazität ohne Laufwerkskomprimierung).
Du musst nur noch wissen wie viele Sicherungen du auf Bändern vorhalten willst/musst. Bei 2x5 tägliche Sicherungen, 5x wöchentliche Sicherung und 6x Monatliche Sicherung bist du incl. einem Reinigungsband schon bei 22 Bändern.
Eine Platzsparende Lösung wäre z.B. eine HP MSL2024 bzw. IBM TS3100 mit 2HE, 1x Volle Höhe 5,25" LTO5 SAS oder FC Laufwerk mit 24 Slots.
Das nächst größere wäre dann z.B. HP MSL4048 bzw. IBM TS3200 mit 4HE, 2x Höhe 5,25" LTO5 SAS oder FC Laufwerk mit 48 Slots.
Im Falle einer MSL2024
HP MSL2024 1 LTO-5 Ultrium 3000 SAS-Bandbibliothek (BL537A) mit der Herstellernummer BL537A wärst du im günstigsten falle bei 4200 Euro:
HP StorageWorks MSL2024 LTO-Ultrium 5 3000, 1U Rack, 3000GB, SAS (BL537A) in Band-/Wechsellaufwerke: Laufwerke extern | heise online Preisvergleich
Der Listenpreis hierfür wäre übrigens 10.323,25 €
HP MSL Bandbibliotheken
Bandtechnologie - LTO-5 und Kapazität - 72 TB Auswählen.
Du solltest dich an das Systemhaus deines Vertrauens mit einem entsprechenden Service-Level wenden.
Privat würde ich bei den Bandlaufwerken schauen, dass es welche sind, die die volle 5,25" Höhe benötigen. Also im TS3100 nur ein Laufwerk und im TS3200 max. zwei Laufwerke verbaut sind und keines mehr hinzu gefügt werden kann. In der Vergangenheit waren dies die zuverlässigeren Laufwerke mit höherer Datenübertragungsrate - welche oft auch mehr Cache hatten.
HP bietet so schöne Kunststoffkoffer inkl 20 Bänder an. Hier dann ein oder auch zwei davon mit bestellen wobei die Labels (Barcode Etiketten) schon mit dabei sein sollten! Die wasserdichte (schwimmende) Variante des Koffers mit RFID Etiketten von Imation wirst du wohl nicht brauchen!?
Lagere die Bänder am besten stehend in einem feuersicheren (Daten-)Tresor (2h max. 30°C innen Temperatur) vor Ort und an einem anderen Standort. Sofern es die Firma her gibt, bietet sich ggf. auch ein remote Backup über FC an. Da du ja was von Redundanter Lagerung gesprochen hast.
Deine externe Festplatte (2-3 Stück) eSATA (6Gbit/sec) sollte ggf. auch in der Lage sein den Backupserver wieder neu einzurichten. Sprich, wenn alles nieder gebrannt sein sollte, auch eine Wiederherstellung auf einem neuen System ohne viele Umstände zu lassen. Man spricht hier von Bare Metal Backup.
Im Backupserver selbst sollten die letzten 2-3 Sicherungsläufe platz haben. Also bei 2TB dann 4-5x 2TB = 10TB netto drauf passen. Bedenke, ein einzelnes LTO5 Laufwerk will mit ~ 130-160MByte/sec (ohne Komprimierung!) konstant gefüttert werden.
Zum Beispiel 6x3TByte Hitachi Ultrastar SAS 7200 rpm Laufwerke im Raid6. Wobei bei der Partitionierung (LVM oder ähnliches einplanen!) die ersten 4TByte des Raids für das Band "Image" vorgesehen sind. 2x147 bzw. 300 GByte 2.5" 10k rpm SAS im Raid1 dann für das Betriebssystem und die Infos vom Backup. Wobei diese Daten zusätzlich mit aufs Raid6 und auf die Bänder gehören bzw. eben die externen eSATA HDDs. Um später zu wissen wo was drauf ist bzw. wann gesichert wurde.
Ich hoffe mal, dass dein Chef auf Grund des Umfangs des Systems und ggf. der Kosten nicht aus den Wolken fliegt. Die Systeme in meiner Signatur und andere sind Privat!
Da du nicht sagtest um was es sich für Daten in deinen Ordnern handelt:
Auch wenn zip/tar usw. für einen Datenaustausch recht praktisch sind. Für eine längere sichere Archivierung sind sie nicht geeignet. Am besten wäre ein dump (xfs, jfs, zfs snapshot?) des Dateisystems.
Sofern du die Zeit aufbringen kannst, ist
http://www.net-tex.de/netbsd/backup.html hierfür eine recht gute Zusammenfassung, warum man auf tar und co verzichten sollte.