Kaufberatung: Band Backup für ca. 40+ HDDs - oder alternative Lösung?

[drnoodle]

Hallo Zusammen,

ich habe mittlerweile ca. 40 HDDs voll mit Backups (500GB - 2TB). Nun verabschieden sich ab und an Festplatten, war irgendwie klar. Überlebenswichtig sind eigentlich nur die aktuellen Projekte und die sind gesichert. Jedoch möchte ich eine Lösung für alle alten Festplatten. Die Festplatten kommen immer mal wieder in Benutzung und wenn dann eine ausfällt, hole ich das Projekt von Band. Ein Band sollte jeweils die aktuelle HDD spiegeln. 500 GB, 1TB, 1,5TB, 2TB. So wäre meine Idealvorstellung.

Gibt es eine Alternative Lösung oder ist das Band immer noch aktuell? Was sollte ich für Geräte kaufen die auf Mac Basis (Lion 10.7.5) laufen? Welche Bänder dazu? Ich hab noch garkeine Ahnung von dieser Art Backup und Peripherie, es wäre toll, wenn ihr mir helfen könntet.

Wenn hier ein User Lösungen anbietet, bin ich auch für Angebote offen.

Danke schonmal!

 

[Backbone]

Irgendwie ist mir unklar was du eigentlich möchtest.
Du hast viele viele Festplatten und willst praktisch zu jeder Festplatte ein Band gesellen, quasi eine 1:1 Beziehung?
Ich fürchte das macht keinen rechten Sinn.

Du solltest vielleicht über eine generelle Backup-Strategie und eine Konsolidierung nachdenken.

Damit man das halbwegs einschätzen kann ist es wichtig zu wissen von wieviel Bestandsdaten man denn nun redet. Wieviel davon muss aktives Backup sein, wieviel Archiv. Ist dir auch bewußt, was richtige Bandlösungen kosten?

Backbone

 

[drnoodle]

Ich gehe von ca. 2000 Euro für ein LTO-6 Laufwerk aus und dann brauche ich eben noch Bänder. LTO-4/5 kann ich ja nehmen, da passt dann mehr drauf. Ich möchte die nicht mehr genutzten Daten weglegen und diese sicher aufbewahren. Bänder mit ca. 1TB gibt es ja... die kosten doch dann nicht mehr soviel oder? Hab was von um die 30-50 Euro je nach Größe gelesen.

 

[Backbone]

Jup, LTO 5 Bänder kannst du in einem LTO 6 Laufwerk verwenden. Ein LTO5-Medium wird etwa 30-35€ kosten, ein LTO6 etwa 80€.

Aber in der Praxis ist da noch mehr zu beachten. Ich sprach ja schon davon, dass du bei diesen Datenmengen ein Backupkonzept brauchst. Einfach ein LTO-Laufwerk irgendwo anstöpseln (mit welchem Interface eigentlich) wird vermutlich schief gehen. Ein LTO6 Laufwerk will eine konstante Datenrate von mindestens 120Mbyte/s haben, damit es im streaming mode läuft. Selbst LTO5 braucht Minimum 50-60Mbyte/s. Wenn du ein internes Laufwerk verwendest sollte das an einen extra Controller und keinesfalls am selben hängen wie die Platte von der die Daten kommen, das geht gern mal schief.

WIE willst du aber sichern? Immer ein Band rein, vollschreiben und dann in den Schrank?
Wie stellst du sicher, dass das Backup sauber funktioniert hat?
Wie findest du bestimmte, länger zurückliegende Projekte/Daten auf den 20 Bändern die du dann hast?
Wie merkst du wenn ein Band im Laufe der Zeit beschädigt wird und es zu Datenverlusten kommt?

Backbone

 

[drnoodle]

Danke für die Infos. Also ich dachte mir folgendes:

Bandlaufwerk in den Mac einbauen, externe Festplatte per USB dranhängen und dann kopieren. Auf die Bänder schreiben wir eine Nummer. Diese Nummer steht in einer Excel Tabelle und dort sind dann alle Projekte aufgelistet, die auf dem Band zu finden sind. Nach deiner Ausführung wird das wohl schwierig. Aber genau deswegen frag ich ja hier, weil ich mich damit garnicht auskenne. Wenn ein Band irgendwann den Geist aufgibt ist das ok. Wir haben dann HDD und Band. Und wenn beides kaputt geht ist das eben so. Wir können nicht mehrfach redundant speichern, das übersteigt unser Budget und die Kapazitäten.

Ich bekomme Morgen ein Agebot einer Firma die uns eine komplette LTO-6 Lösung für den Mac anbieten möchte. Ich bin gespannt.

 

[Backbone]

Das Angebot fände ich auch spannend. Vor allem würde mich interessieren, wer sowas allen ernstes anbietet.

Die externen Platten werden in aller Regeln USB 2.0 haben und sind damit viel zu langsam für LTO5. Damit fällt das Laufwerk in den Start--Modus und das willst du nicht wirklich. Wenn der Puffer leer ist, stoppt das Band, fährt ein wenig zurück, startet wieder, schreibt ein paar Megabyte, stoppt wieder und fährt wieder ein wenig zurück. "Schuhputzer"-Effekt nannte das mal einer meiner Techniker, weil das Band über den Lesekopf wie das Poliertuch eines Schuputzers gezerrt wird.

Interessant wäre auch zusehen wie das LTO Laufwerk an den Mac (was überhaupt für einen) angebunden wird.

Und mal ehrlich, dann hast du ein ziemlich umständliches Handling mit Bändern statt Platten. Viel gewonnen ist damit eigentlich nicht.


In einem Backup-Konzept werden Bänder heutzutage meist als zweite Stufe eingesetzt. Die Daten fließen also zunächst auf einem Backupserver mit entsprechendem Plattenplatz und werden dann von dort auf Bänder weggeschrieben.
Ich würde an deiner Stelle über ein größeres NAS nachdenken. Für rund 1000€ bekommt man Modelle in die 8 oder gar Platten passen. Damit lässt sich schon eine Menge anfangen.

Backbone

 

[H_M_Murdock]

Du darfst ein Band vor allem nicht mit einer Art externen Festplatte oder Diskette verwechseln.
Um ein Bandlaufwerk zu verwenden benötigst du zwingend eine Backupsoftware, da hast du dann idr. (vereinfacht gesprochen) eine Datenträgerverwaltung und Sicherungsjobs über die gearbeitet wird. Wie im Windows Explorer "Kopier mir Datei X auf Band Y" klicken und 5 Minuten warten geht da nicht.

40 HDDs voll Backups klingt wirklich wild. Ich würde mir an deiner Stelle grundlegende Gedanken über die Datenhaltung machen und darauf basierend dann auch über ein Backupkonzept nachdenken, ob mit oder ohne Band sei mal dahin gestellt.

 

[underclocker2k4]

Würde ich auch sagen. Bevor man versucht eine Backupstrategie zu fahren, sollte man erstmal zusehen, dass man auch die Daten richtig aufbereitet.

Solche externen HDDs Lösungen mögen bei 5 Stück noch OK sein, aber was ihr da habt ist der Alptraum für Datenverarbeitung. Kauft euch ein NAS oder Storageserver, organisiert die Daten richtig, haut die USB HDDs raus und dann könnt ihr nochmal mit dem Band anfangen. Alles andere wird euch früher oder später auf die Füße fallen, inkl. defekter Backups, die bei einer solchen Grundlagen quasi schon fix eingekauft sind.

 

[-INU-]

Prinzipiell würde ich auch erstmal alles Daten in einen großen Pool packen, aber ob Server/NAS bzw welches und ob und welches RAID hängt doch auch davon ab wie man das ganze nun sichern will.

Und was ist mit Tape Libraries, die gibts doch bei Ebay auch oft für unter 2000€, wäre sowas nicht deutlich besser geeignet, da man sich hier ja nicht mehr selbst um die Bänder kümmern muss.

 

[drnoodle]

Danke für eure Antworten. Ich erkläre das Ganze am besten etwas ausführlicher:

Wir arbeiten in einer kompletten Mac Umgebung mit 2x 2007er 8-Core Macs, 1x 2012er 12-core und 2x Hackintosh (HP Z800 und ein komplett selbst gebauten). Ein alter 4-Core Powermac in dem ein Highpoint Rocketraid 2320 Controller mit 8x2TB verbaut ist. Bei diesem Raid darf eine Platte ausfallen (Raid-5). Da sind die wichtigen aktuellen Sachen drauf und wenn wir mit einem Projekt fertig sind, schieben wir es über eine USB Docking Station auf eine Festplatte. Wie gesagt bieten wir den Kunden kein Backup an, wenn es mal kaputt sein sollte, dann ist das "eigentlich" nicht unser Problem. Natürlich möchten wir Projekte weiter verarbeiten können und keinen Kunden verärgern. Daher sichern wir alles.

Über ein NAS habe ich auch schon nachgedacht, jedoch müssen wir an den Grossteil der Daten nicht mehr ran. Bei ca. 5% der Projekte gibt es ein Update des Bestehenden. Sonst machen wir immer neue Filme/Trailer. Ich dachte eben es geht mit Bändern einfacher. Band rein, Software aufrufen, Festplatte rein, Ordner auswählen, auf Band sichern, Band in trockenen Schrank legen und 30 Jahre verstauben lassen. Wenn ein Kunde ein Update möchte, Festplatte raussuchen. Wenn die Festplatte kaputt sein sollte, Band raussuchen.

Irgendwie so dachte ich mir das, schade das es doch wieder komplizierter wird. Ich hätte gerne eine Lösung die lange hält und da sind Bänder eben noch die besten. Festplatten weglegen und 10 Jahre nicht benutzen ist glaube ich tödlich für die Mechanik.

Was denkt ihr was ich am besten machen soll?

 

[underclocker2k4]

Dennoch ist das eine eher ungünstige Lösung. Auch wenn das nur ein reines Archiv ist, ist das schwer zu handeln.

Ich würde folgendes machen.

1. NAS/(besser) Storageserver, what ever.
1.1. Enthält alle Projekte die man so braucht
1.2. Beinhaltet aber auch einen Ordner für das Archiv
1.3. Nehmen wir mal die 2TB vom LTO als Richtgröße, hier wird ein multiples Backup auf min. 2 Bänder gemacht
1.4. Nach erfolgreicher Prüfung kann der Archivordner gelöscht werden

Eure USB HDDs würde ich dahingehend auch optimieren. USB HDDs haben immer das Problem, dass die Schnittstelle nich gerade die beste ist, insbesondere für "wichtige" Daten.

2. Wenn man dann also diese Technik hat. Dann kopiert man die Bestandsdaten in das Archivverzeichnis, und verfährt dann nach dem bekannten Schema. Ich nehme mal nicht an, dass die aktuellen Datenbestände in irgendeiner Art nach Kunde sortiert sind.

3. Bei eurem aktuellen Storage wird mir auch etwas schlecht. Highpoint hin oder her. Das ist nicht gerade ein Hersteller der für 100% Servertechnik steht. Da ihr da eure aktuellen Projekte drauf speichert, würde mich mal interessieren, was passiert, wenn euch heute Abend der Kontroller stirbt und ihr am Montag Morgen ins Büro kommt. (Das RAID selbst hat er dann direkt mal mitgefressen, so dass kein Neuaufbau möglich ist.)

4. Ihr hantiert zu 100% mit digitalen Medien, eure Betrieb ist davon abhängig, ich sehe aber in keinster Art und Weise wie ihr euren Prozess und damit euer Überleben gegen die Unwegbarkeiten der digitalen Datenhaltung härtet.

5. Ihr solltet dazu übergehen und von den aktuell laufenden Projekten ein Wochenbackup vom aktuellen Stand machen. Das rotiert ihr im Monatsrythmus. Ein Bandlaufwerk bietet euch die Möglichkeit einer aktuellen Backupstrategie als auch einer Archivierung.

 

[fdsonne]

Um was für Datenmengen sprechen wir denn überhaupt hier?

Ich lese zwar immer von 40 HDDs und 500-2000GB Größe, aber wie groß sind denn die Datenmengen überhaupt?

 

[drnoodle]

Ich denke so 40TB.

Hab eben folgendes angebot bekommen:

1. Bandwechsler -> ca. 3600 Euro
* ca. 16TB im direkten Zugriff
* ausgelagerte Bänder werden zentral verwaltet und
nach Aufforderung eingelegt
59129 1 Stück
actidata actiLib AutoLoader LTO-5 SAS,
AutoLoader 1 HE (Rackmount), 8 Cartridge Slots in 2 herausnehmbaren Magazinen, 1 Mailslot, Barcode
Leser, Rackmount-Kit, Remote Management
Konsole, 3 Jahre Garantie
57340 8 Stück
SONY LTX1500GN DATA CARTRIDGE LTO5
ULTRIUM 1.5TB / 3TB
1 Stück SONY LTXCLN LTO Media Cleaning Cartridge
319m bis zu 50 Reinigungsdurchlaeufe abhaengig vom Laufwerk

2. Software P5 Archive -> 3700 Euro
PresSTORE P5 Archive ist eine professionelle Archiv Software zur Langzeitsicherung von Daten. Sie ermöglicht es, Daten offline auf Disk oder Tape zu migrieren. P5 kann innerhalb von Minuten eingerichtet werden und funktioniert plattformunabhängig auf Mac, Linux, Windows und Solaris. Dateien können auf jede Plattform restauriert werden, da P5 sie in einem plattformneutralen
Format speichert.
58046 1 Stück
PresSTORE Archive
Enthält Archive-Lizenz für 1 Server mit 1 Laufwerk und 1 zusätzliche
Server Agent-Lizenz für eine unterstützte Plattform.

3. Anschlußkarte für MacPro -> 345 Euro
60612 1 Stück
ATTO ExpressSAS Host Karte 8-Port ext.
• x8 PCIe 2.0 host interface
• 8 external ports in a low-profile form factor
• Outstanding performance with up to 6-Gb/sec per port
• SAS,SATA,SATA II connectivity
• Exclusive Advanced Data Streaming (ADS) Technology
• Support for up 256 end devices
• User-friendly GUI based configuration utility
• Driver support for Windows , Linux and Mac OS X • RoHS Compliant
• Herstellergarantie: 3-year standard product warranty

4. Dienstleistung -> 800 Euro

• Installation


-> Insgesamt: 10.400 Euro inkl Bänder... die hab ich nicht mit aufgeführt. Das ist teilweise bisschen viel des Guten. Ich brauch ja keinen autoloader, das kann ich ja selbst machen.

 

[konfetti]

Wenn Du die Zeit, die Du damit beschäftigt bist Bänder zu wechseln in Geld aufwiegst, hat sich der Autoloader recht schnell rentiert - glaub mir.
Es ist ja auch die Idee nicht nur einmal im Monat oder nach dem Projekt ein Backup zu machen, sondern wie oben schon von underclocker2k4 geschrieben auch Tages/Wochenbackups zu machen - und wenn denn Nachts am Wochenende das Band voll ist, willst Du dann wechseln? - Backup lässt man i.d.R. außerhalb der Geschäftszeiten, einfach weil sich da die Daten nicht ändern und auch sonst keine Last vorhanden ist.

Einfach nur auf Tape und weg ist halt nicht - zumindest nicht Sinnvoll, wenn man damit sein Brot verdient.

 

[fdsonne]

mhhh
also ich würde schon fast mittlerweile in der heutigen Zeit weg von den Bändern gehen, einfach aus dem Grund, der Preis pro GB ist mittlerweile nicht mehr soo deutlich viel günstiger zu HDD Online Speicherplatz, wie er es noch vor Jahren war.

Man bekommt mittlerweile 3TB HDDs für ~100€ das Stück.
40TB wären grob 14 HDDs.

Für den Anfang würde ich wohl mit 24 HDDs zu 3TB tendieren.
Das wären ~2400€ für ~72TB Rohkapazität.

Mal gegenübergestellt.
LTO-5 Bänder mit 1,5TB ohne Kompression (wobei unklar ist, ob es viel oder wenig bringt, diese zu nutzen) heist ~48 Bänder zu 1,5TB = 1680€ rein für den Platz.
Dazu benötigt man zwingend das Bandlaufwerk, besser nen Autoloader bzw. ne Tapelibrary... Kostet nochmal mindestens 2000€ dazu, wenn nicht gar mehr, je nach Modell und Größe/Features.
Das lohnt imho wohl so nicht mehr ganz...
Denn auch das System, was die Daten liefert, muss wie oben schon angesprochen, performant sein. Um so neuer die Bandstandards, desto mehr Bumms muss das Quellmedium bringen. Bei LTO-6 teilweise gut über 160MB/sec sequenziell.



Mal mein Gedankengang etwas konkreter: Ich würde klar zu einem Online Archiv tendieren. Einfach weil das Preis pro GB Verhältnis besser ist. Und vor allem, weil man es eben im Zugriff hat, sowie Nutzbarkeit und Handhabung deutliche Vorteile bieten.
Heist konkret:
- kleines Serversystem (Xeon E3 Quad, 16-32GB RAM, SAS Controllerkarte mit genügend Anschlüssen) gepaart mit nem Storage-Rackmount Case ala Chenbro mit minimum 24 Einschüben, besser deutlich mehr.
- OS wäre hier klar ein Unix Ableger mit ZFS als Filesystem. Dazu die Nutzung der "Storagepools" mit allen Vorteilen von ZFS wie Dedublizierung, Checksummprüfung, Konsistenzcheck usw.
- besagte 24x3TB HDDs für den Anfang.
- WICHTIG: ein paar, ich denke minimum 2 HDDs, als Reserve in den Schrank packen!!!
- Evaluieren, ob ggf. von den vorhandenen 2TB HDDs ein paar weitergenutzt werden könnten im System.
- Kostenpunkt je nach Gehäuse und Größe dessen wohl um die 4-6k EUR.

So würde ich das warscheinlich aufziehen. Nachteil dabei ist leider, dass der Aufwand zur Einrichtung irgendjemand abdecken müsste, der davon Ahnung hat. Sprich jenand externes, oder jemand von euch...
Und, ihr solltet euch natürlich noch Gedanken über ein "Backup" System machen... Denn diese Kiste sollte dann schon für die Archivierung herhalten.



Thema Autoloader, doch, den wirst du benötigen
Denn es ist quasi ein Unding, wenn du alle Nase lang die Bänder wechseln musst. Das geht für den Anfang vllt, aber nicht auf Dauer.
Mal fix gerechnet. 1,5TB bei LTO-5 und 140MB/sec heist grob über den Daumen 3h reine Schreibzeit. + Spulen + Überprüfung usw. Da geht schnell mal ein halber Tag oder mehr rum.

Auch ist es ja nicht damit getan, die Daten einmal aufs Band zu drücken, und dann nie wieder anzufassen.
Das ist übrigens mein größtes Bedenken bei der Sache... je nachdem, ob die Daten wirklich so "unwichtig" sind, wie du schreibst...
So ein Band gerät schnell mal in Vergessenheit, speziell, wenn man über Jahre der Aufbewahrung spricht. Du läufst also so oder so die Gefahr, dass du zwar ein Backup im Schrank hast, was du aber ggf. nach 5 oder 10 Jahren gar nicht mehr lesen kannst...
Ein nächstes Problem an Bändern ist (leider immernoch), dass sich der Spaß durchaus extrem zickig haben kann, wenn man versucht Bänder von einem Laufwerk in einem anderen zu nutzen. Das sollte definitiv mit bedacht werden. So ein Bandlaufwerk kann dir auch mal sterben... Im Extremfall können deine Archivbänder dann alle samt mehr oder weniger unbrauchbar sein. (KÖNNEN, nicht müssen )
Dann stehst du da Und erst recht, wenn dir dann schon das Quellsystem bereinigt habt.

 

[drnoodle]

Versteht mich bitte nicht falsch, ich möchte NUR die vorhandenen Daten sichern. Nichts aus dem laufenden Betrieb... lasst das meine Sorge sein. Ich möchte es so einfach wie möglich.

 

[underclocker2k4]

Das "einfachste" wäre einen kleinen Backupserver zu bauen. Parallel zum aktuellen Storageserver.

Dieser Server hat die Aufgabe ein Backup/Archiv zu erzeugen. Dazu holt er sich (oder bekommt) alle benötigten Daten.

Bleiben wir erstmal bei den aktuellen ArchivHDDs.
Da muß sich dann halt einer hinstellen, die Daten auf das Backup-/Archivierungslaufwerk ablegen. Ggf. mehrere HDDs zusammenfassen, falls das notwendig ist.
Anschließend nimmt man das Band, und legt das Archiv "1" an. Wichtig ist die Möglichkeit der Archivverwaltung. Es muß irgendwie ersichtlich sein, was wo drauf liegt.
Passend dazu würde ich das Archiv dann auch direkt 2x erzeugen und es an 2 getrennten Orten lagern. (zb bei Chef zu Hause im Tresor)

Damit kopierst du alles aktuellen USB HDDs um und arbeitest darauf hin eine saubere Lösung zu erstellen, welche auch längerfristig Bestand haben wird.

Und genau dieses System kannst du auch dazu benutzen ein Backup zu erzeugen. Beim Backup wird es dann interessant, ob du mit einem Band auskommst, oder eben nicht mehr.


Einen Autoloader oder Libary sehe ich für den Fall der Archivierung nicht, sofern die Archivierungsintervalle nicht zu kurz sind. (also nicht 3x am Tag oder sowas)

Dieser Server müßte dann auch nicht viel können. Kleiner DC Xeon, passendes MB, 8GB RAM, aber eine schnelle HDD, die min. ein Band fässt. Besser wäre hier ein RAID5 aus zB 4x3TB HDDs mittels aktuellen LSI Controller. Damit hast du genug Storage für ~4 Bandfüllungen und auch Speed um das Band konstant zu befeuern.
Das bekommt man für relativ wenig Geld.

@Angebot
Es ist ein reines Angebot für die Bandsicherung, es wird aber kein System bereitgestellt, was diese Aufgabe übernimmt. (wie eben der Server)
Das kommt noch hinzu, bzw muß ein System freigeschaufelt werden, was diese Aufgabe übernehmen kann. Das sollte nach Möglichkeit keins sein, an/auf dem noch anderweitig gearbeitet wird.

Die Lösung von fdsonne ist auch ganz nett, allerdings ist das Archiv dann ständig unter Strom, was der Langzeitfähigkeit nicht sonderlich zuträglich ist. So nen Server kann auch mal die Füße hochreißen. Beim Band hat man den Vorteil, dass es das Archiv trotzdem noch gibt.

Hat alles Vor- und Nachteile.....

 

[Patric_]

Was ich evtl. noch in den Raum werfen würde, ist ein NAS mit RDX-Laufwerk. Gibts von Tandberg und Imation.
Nachteil: RDX-Medien sind teuer, momentan bis 1.5 TB erhältlich.
Weiss aber nicht, wie sich das mit der Langzeitarchivierung schlägt, kann auch als WORM-Datenträger genutzt werden, Haltbarkeit laut Hersteller 10 Jahre

Vorteil: die Dinger lassen sich wie normale HDDs ansprechen -> Vorteil Geschwindigkeit & Flexibilität


E: Huch, gerade mal nachgesehen: sehr sehr teuer (1.5 TB >200 EUR, 10er Pack 1TB 1640,00 EUR)
fällt also eher weg

 

[-INU-]

Und was ist mit Glacier, würde bei 40TB knappe 3600€ im Jahr machen, sicher nicht die günstigste Lösung, dafür aber die flexibelste und man muss sich um nichts kümmern.

Dazu den aktuellen Server auf RAID6 umstellen und so einstellen das automatisch die alten Projekte in Glacier gepumpt werden.

 

[fdsonne]

Bei Onlinelösungen wäre ich äußerst vorsichtig... Speziell was Kundendaten angeht.
Es weis niemand, wie sicher unsere aktuellen Verschlüsslungsmethoden wirklich sind. Das kann morgen schon vorbei sein mit "sicher"... Und dann steht man da wie Max in der Sonne. Denn kein Mensch weis, wie oft die Daten dort in der "Cloud" noch vorhanden sind, bzw. wer da überhaupt Zugriff hat.

Mir wäre das deutlich zu heiß muss ich sagen. Auch wenn das Angebot durchaus verlockend klingt, wenn sich ein dritter um alles kümmert.

 

[drnoodle]

Ich bin hier leider immer noch nicht weiter... ich gehe am 20. Juni auf eine Veranstaltung wo Archivsysteme gezeigt werden. Vielleicht ist da was für mich dabei. Am liebsten wäre mir halt die Bandlösung. HDDs aeinfach irgendwie auf die Bänder kopieren. Vielleicht muss ich da ja in den nächsten Jahren garnicht mehr ran. Daher eben so einfach wie möglich. 4000 Euro wäre so das was ich mir da vorstelle auszugeben...

 

[gea]

Ich würde das so angehen:

Eine 19" Web-appliance mit ZFS und Web-UI nehmen. Darauf den aktuellen Datenstand per robocopy/rsync/TimeMachine womit auch immer sichern. Dann stündlich/ täglich/ wöchentlich/ monatlich/ jahrlich read-only Snapshots für die Versionierung machen. Die Daten auf ein Raid legen, das den Ausfall von zwei oder drei Festplatten gleichzeitig verkraftet.

Da die Daten sich statistisch verändern (Datenrost, auf Platten und Bändern), regelmäßig die ZFS Prüfsummen verifizieren und Fehler beheben. Der Vorgang heißt scrubbing und läuft online im Hintergrund. Dieses System ist das aktuelle Backup der aktuellen und archivierten Daten. Dank der ZFS Prüfsummen ist das langzeitsicher. Alle Daten sind direkt im Zugriff (z.B. Windows vorherige Version, zur Not TimeMachine, das ist aber Murks)

Kostenpunkt: ca ab 1500 Euro für Gehäuse, Mainboard zuzgl. Platten

Davon regelmäßig eine Kopie mit eigener Snap-Historie ziehen (z.B. aktuell + monatlich) und die Platten dieser Kopie (ein ZFS Raid Pool) dann in den Safe legen. Eventuell einen zweiten Pool an anderer Stelle wenns wirklich wichtige Daten sind.

Im einfachsten Fall diesen Backup-pool im gleichen System anlegen und dann Platten ziehen und wegschließen. Alternativ ein kleines Backupsystem im Keller benutzen (Stichwort HP Microserver). Bei einer kleineren Datenmenge gleich mehrere Microserver nehmen.

Mit 4000 Euro geht da recht viel. Platten sind ohnehin viel schneller und einfacher im Handling. Mit ZFS sogar erheblich sicherer. Als Richtschnur ca 4-5 Platten und 1000 Euro je 10 TB (bei 4 TB Platten) rechnen


oder alternativ richtig viel Geld ausgeben und ich bin richtig froh, keine Bänder mehr zu haben. Immer wenn ich die gebraucht hatte, gings nicht.

 

[drnoodle]

Danke... aber dann lege ich doch wieder nur Festplatten weg, die irgendwann aufgrund ihres Alters ausfallen?

 

[gea]

Danke... aber dann lege ich doch wieder nur Festplatten weg, die irgendwann aufgrund ihres Alters ausfallen?

Bei einem ZFS Raid-Z Pool dürfen Platten ausfallen oder Daten sich verändern.
(Je nach Raid-Z Level bis zu 3 Platten). Einzelne Datenfehler aufgrund der Lagerung sind eh kein Problem.

Bänder sehe ich als extrem problematisch an, da keine Prüfsummen + Redundanz => keine Reparatur. Ich habe bei mir sämtliche Bandsicherungsoptionen bereits vor Jahren entsorgt und mache alles auf Platte (2 x interne ZFS Systeme, 1 x externes ZFS System) mit regelmäßigem Scrubbing umd Fehler zu finden und zu reparieren.


Außerdem: Ruhig mal nach Lebensdauer Platte vs Band googeln.
http://de.wikipedia.org/wiki/Langzeitarchivierung

Band vs Platte ist eher ähnlich. Wichtiger ist Redundanz und Prüfsummen:
Es muss etwas ausfallen dürfen, ohne dass Daten weg sind! Und man sollte davon rechtzeitig erfahren.

 

[drnoodle]

Ok danke, das ist eine gute Erläuterung. Nur sind halt 40 TB (und jeden Monat +1TB) relativ viel was dann auch redundant sein muss. Lege ich dann mehrere Raids an oder nur ein grosses? Weil es muss ja nach und nach wie gesagt mehr werden... Und wo soll ich denn soviele HDDs reinpflanzen Es soll eben nur bei Bedarf online sein. Das hiesse: ich baue einen neuen Rechner mit einem Raid System, bei dem 3 Platten ausfallen dürfen. Wir haben alles auf MacOSX Journaled und so sollte es "eigentlich" auch bleiben. Bzw. das Dateisystem, von dem du sprichst ist ja ein anderes. Wie komme ich da an die Daten ran? Was muss ich für ein System aufsetzen oder ist das schon "fertig" bei

Und ganz wichtig: ich möchte das System offline haben, es soll keinen Strom verbrauchen. Eben nur bei Bedarf. Und manchmal ist das für HDDs eben auch schädlich nur einbmal im Monat anzulaufen oder?

 

[gea]

Apple TimeMachine und das Dateisystem HFS+ sind ja relativ aktuelle Techniken.
Verglichen mit ZFS mutet das aber wie frühes Erdmittelalter an, besonders bei großem, schnellem langzeitstabilen Speicher. Apple hat das mit OSX 10.4 erkannt und begonnen ZFS in OSX zu integrieren.

Der Transfer der Technik von Solaris war aber nicht so einfach, so war anfangs Booten von ZFS nicht möglich. Gravierender war, dass Apple den professionellen Storagebereich aufgegeben hat (kennt noch jemand Apple Xserve?) und mehr auf i-Gedöns gesetzt hat und ZFS aufgegeben hat (Braucht man nicht für Macbook und iPad). Immerhin bin ich dadurch zu ZFS gekommen und habe beschlossen alles andere rauszuwerfen.

ZFS Storage für Macs geht am Besten mit einer Solaris oder auch FreeBSD Appliance (Bedienung per Web-UI). Der Zugriff erfolgt per AFP, AFP+TimeMachine, NFS, SMB oder iSCSI (lokaler Storage übers Netz).

Fertig für viel Geld gibts sowas z.B. von Nexenta. Es gibt aber kostenlose oder günstige Alternativen, am Besten auf Basis eines Solaris Derivats, einem HP Microserver mit 4 Platten oder eines 19" Gehäuses mit 8-50 Platten, (man kann mehrere Bündeln) und zumeist SuperMicro Mainboards und LSI HBA Plattencontroller. Das reicht dann bis Multi-Petabytes.

Man kann damit entweder ein kleines System (HP Microserver, 4 Platten, ca 200 Euro) bis max 16 TB Raw aufbauen oder eben größere Systeme mit mehr Platten und mehr Platz. Daraus kann man entweder einen Plattenpool herausziehen und in den Safe legen oder den Server komplett betreiben und bei Bedarf hochfahren.

Ich selber habe ein aktuelles schnelles System als Storage für aktuelle Daten sowie zwei Großsystems für Backups mit Archivcharakter. Eines davon in einem anderen Gebäude. Es gibt extrem viele Optionen.

Einfach mal in ZFS grob einlesen/googeln, eventuell folgendes mal lesen
OpenSolaris derived ZFS NAS/ SAN (Nexenta*, OpenIndiana, Solaris Express) - [H]ard|Forum
Solaris, Nexenta, OpenIndiana, and napp-it
http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052.html

 

[Loopman]

Also einige Vorschläge gehen doch weit über das Ziel hinaus. Es geht doch nur um die reine Archivierung, kein komplettes (und komplexes) Backupkonzept.

Und da ist ein LTO Laufwerk eigentlich immer noch eine recht gute (robuste), wenn auch nicht die billigste Lösung - auch im Vergleich zu Festplatten.

Ich würde es so machen, normaler Rechner/Workstation, mit LTO Laufwerk und Raid-0 (entweder dedizierter Rechner oder einen der bestehenden dazu auf-/umrüsten). Dann würde ich anfangen die Daten von den externen Platten da drauf zu kopieren und von dort dann auf das LTO zu schieben. Ich weiss nicht wie es am Mac ist, aber zumindest unter Windows (Server) brauche ich dafür auch keine komplexe und ultra-teure Software für mehrere tausend €. Wenn der Datenbestand überschaubar und die einzelnen Projekte in einer Liste gepflegt werden, dann ist eine günstige Lösung mehr als ausreichen. Man beachte weiterhin: Das ist eine reine Archivierung, kein Backup!

Dann packt man die Bänder an einen kühlen, dunklen, sicheren Platz und fertig ist die ganze Sauce. Haltbarkeit von LTO Bändern liegt auch heute noch bei einer ausreichend langen Zeit. Und ich vermute mal, nach 10 oder mehr Jahren werden diese Projektdaten eh nicht mehr benötigt.

Komplexe NAS Systeme mit ZFS usw. mag alles super sein, wenn man ständig Zugriff auf die Daten benötigt, aber es ist komplex, fehleranfällig und zieht die ganze Zeit Strom. Als Backuplösung kann man so etwas in Betracht ziehen, aber für eine reine Archivierung ist das meiner Meinung nach sinnfrei.

Was das Angebot betrifft: Wenn es wirklich nur bei der gelegentlichen Archivierung bleibt, dann braucht man auch keine teure Tape-Library, sondern es reicht ein normales internes Single-LTO Laufwerk. Bei komplexen Backupstrategien, wo täglich (teilweise auch mehrfach) Daten weggesichert werden müssen, ist eine Library dagegen sicherlich sinnvoll.

Das gleiche gilt auch für die Software.... Es reicht eine simple Software, die das LTO ansprechen kann und Daten draufschiebt (und auch prüfen kann (wichtig), etc. - z.B. die Basic Variante von Backup Exec (Windows)). Man zahlt aber bei der hier angebotenen Software wohl auch für Features, die eigentlich bei einer reinen Archivierung nicht benötigt werden (3700€ ist schon ordentlich viel). Klar, wenn man sich die Excelliste sparen will, dann kann man z.B. auch auf Barcodes und die ganzen anderen Features setzen, aber wie ich hier herausgelesen habe, ist das alles immer noch sehr übersichtlich. Zumindest wenn einer die entsprechenden Projekte dann ab und zu wegsichert und auch die Liste entsprechend pflegt. Ist das eine tägliche Aufgabe, dann kann das allerdings nervig und zeitintensiv werden - und damit auch kostenintensiv. Hier könnte man dann die angebotenen Dinge wieder in Betracht ziehen.

Im Endeffekt kommt es darauf an, wie oft Daten archiviert und wieder benötigt werden. Ist dies nur von Zeit zu Zeit der Fall, dann nimm eine günstige, unkomplizierte Lösung. Ist es (fast) täglich, dann sollte es schon etwas komplexer werden, damit nicht sinnlos Arbeitszeit verschwendet wird.

 

[fdsonne]

Und ganz wichtig: ich möchte das System offline haben, es soll keinen Strom verbrauchen. Eben nur bei Bedarf. Und manchmal ist das für HDDs eben auch schädlich nur einbmal im Monat anzulaufen oder?

Nicht zwingend...
Das Problem bei HDDs ist eher, das diese "sich daran gewöhnen", wie sie betrieben werden.
Ne HDD, die Jahrelang unter Dauerlast läuft, stirbt dir wohl statistisch gesehen deutlich warscheinlicher bei einem geplanten Wartungsfenster und erfolgtem Ab/Ausschalten dieser weg, als ne HDD, die es nicht anders kennt immer an und ausgeschalten zu werden. Das deckt sich auch mit meinen Erfahrungen bei genau solchen Wartungsfenstern bei Stromanschaltung oder ähnlichem.
Ob nun einmal im Monat, einmal die Woche, täglich oder wann auch immer, ist dabei eher unkritisch.
Man sollte halt möglichst vermeiden, Situationen zu erzeugen, die den eingelaufenen Rhythmus der HDDs entgegenwirken. Das gilt übrigens auch für die Betriebslage! Sprich waagerecht und senkrecht, überkopf usw. Hat sich die HDD einmal eingelaufen, tunlichst vermeiden, daran was zu ändern!



@Loopman
ich denke eher, der TE muss abwegen, in welche Richtung er gehen möchte. Ob nun Band oder HDD. Beides machbar...
Unterm Strich zählt wohl viel eher das Geld, als irgend ne persöliche Meinung für/gegen eins der beiden.
Und auch wenn die Bandgeschichte wenn man es simpel überblickt sehr einfach klingt, ists mit einfach in den Schrank packen eben nicht unbedingt getan. Speziell bei der Datenmenge und dem Datenzuwachs pro Monat nicht.
Die Bänder wollen genau so "gewartet" werden, wie HDDs oder andere Medien. Denn das ganze Vorhaben verfehlt sein Ziel deutlich, wenn zwar Medien aufgehoben wurden, diese aber am Ende unbrauchbar sind. -> und hier hat das Single Band leider einen schlechteren Standpunkt als ne HDD Lösung, wie gea schon schrieb sind hier Techniken wie Checksummenprüfung usw. Gold wert um den Inhalt zu verifizieren.

 

[Loopman]

Gut, ein Backup aufs Band lässt man natürlich auch komplett noch mal überprüfen, das ist schon mehr oder weniger Pflicht. Aber Festplatten, je nachdem wie viel die hin und her getragen werden, das tut denen auch nicht wirklich gut. Vor allem, mal was unvorsichtig gewesen, das Ding an ne Tisch-/Schrankkante geknallt und schon ist sie hin. Oder nur mal ein wenig unsanft in den Schrank gelegt. Und Bänder, ich habe hier teilweise noch alte LTO-2 Bänder im Einsatz, da haben wir auch schon mal nach 5 Jahren noch einzelne Dateien runtergezogen - so etwas geht normalerweise ohne Probleme, auch noch viel größere Zeiträume.

Es kommt halt drauf an, wieviel und in welchem Zeitraum archiviert wird. Und wieviel Geld man nachher locker machen will/kann.

 

[fdsonne]

Solange die Platte nicht läuft, ist diese schon recht "robust" Irgendwo mal angeeckt, macht da weniger aus. Solange man nicht die Elektronik unten abreißt...
Da sehe ich weniger ein Problem...

Und wie schon gesagt, die Überprüfung nach dem Beschreiben selbst ist ja nicht das Problem. Sondern viel eher die periodische Überprüfung der Daten auf den Bändern, die archiviert sind.
Denn hier könnte es eben passieren, das diese ihre Daten verlieren. Das Band "schlecht" wird oder sonstwede Sachen.
Bänder sind sehr sehr anfällig, was das angeht. Speziell weil es immer eine mechanische Belastung ist, diese einzulegen. Das kann ewig gut gehen, oder aber, im Bedarfsfall halt auch schief

Bei Bändern bin ich halt persönlich etwas vorsichtig, da ich seinerzeit mit größeren HP Tapelibrarys zu tun hatte. Und dort ist uns leider mehrfach passiert, das beim Tausch des Laufwerkes selbst eben alte Bänder teils unbrauchbar waren. -> was der Tod in so einer Strategie ist.
Ich war mal bei einem Workshop zum Thema Datensicherung allgemein. Der Dozent frage dort die Anwesenden, nach ein paar allgemeinen Sachen. Also wer macht Datensicherung, wer überprüft Medien usw.
Die letzte Frage war, wer hat schonmal versucht, alte Bänder in einem anderen/neuen Laufwerk auszulesen. Da meldeten sich nur noch ein paar Einzelne Und alle mit dem selben Feedback -> das es zu Problemen kommt.