Backup Server

[NiclasM]

Hey Leute,

ich benötige einen Backup Server, bzw eine Backuplösung für Wichtige Dateien. Ich werde in ein paar Monaten einen Cluster hochziehen, der im Endeffekt aus zwei Nodes mit je 15TB-20TB besteht. Dabei möchte ich GlusterFS einsetzen im Mirror verbund. Es gibt allerdings auf dem Cluster, bzw auf dem Datapool momentan schon Daten (1,3-2TB) die Definitiv sicher seien müssen.

Darüber würde ich gerne hier diskutieren was die beste Lösung wäre. Gedacht habe ich dabei an :

-Ein eigener kleiner Server
-Bandlaufwerk Sicherung
-Sicherung auf Externe Festplatte


Dabei greift der kleine Server auf den Cluster zu, koppiert den aktuellen Datenstand auf Bandlaufwerke. Diese Bandlaufwerke werden dann verschlossen und Redundant gelagert. Auf eine Externe Festplatte die per USB angeschlossen ist wird dann auch jeweils der Datenstand koppiert, um im Extremfall auch schnell per USB an die Daten zu kommen.

Was haltet ihr davon, bzw was für dinge (Laufwerk, Bänder) könnt ihr empfehlen?

 

[fdsonne]

Du willst Nutzspeicher von bis 20TB auf externe USB HDDs sichern!?

Irgendwie wirkt mir das reichlich unüberlegt...


Die Idee mit den Bändern ist gut.
Schau dich im LTO Bereich um. Ein Autoloader mit 8 Slots und neuestem LTO Standard sollte vorher ausreichend sein. Wird die Datenmenge irgendwann mal größer, kann auch ein zweiter Autoloader dazu. Oder Alternativ gleich ne Library mit ordentlich Bänderplatz. Aber das wäre wohl für den Anfang zuviel des guten.


Übrigens mit reinem Datenkopieren kommst du in den Größenregionen schnell an die Grenzen. Bei sowas bietet es sich an, via Snapshotverfahren Istzustände abzulegen und diese dann wegzusichern.
Ob das deine Bastellösung da kann, keine Ahnung...

 

[NiclasM]

Sorry, nicht der Cluster soll gesichert werden sondern nur 3-4 Ordner, die momentan ingmt 1,3 TB groß sind

 

[scimob]

Nun ja, für 1,3 TB gibts Bandlösungen an jeder Ecke.
Oder vielleicht doch auf Platten?
Was für ein Dateisystem?
Müssen Berechtigungen mit gesichert werden? Wohl schon, oder?
Zeitrahmen für die Sicherung?
Müssen offene Dateien gesichert werden?
Datenbanken?

 

[NiclasM]

Nein, keine Datenbank. Zeitrahmen ist relativ egal, bzw eine Nacht ~5 Stunden ?

Ich bin gerade etwas verunsichert was Bandlösungen angeht. Natürlich will ich das machen doch die Preise gehen da ins Extreme. Also eine Aufsplittung wäre ja auch kein Problem auf 3 Dateien a 400-500 GB.
Rechte sind egal. FS ist momentan noch EXT4, später GlusterFS also UNIX. Eine Externe Platte kostet ja nicht viel. Ein kleiner Server auch nicht viel, doch bin ich am gucken was Bänder und das dazuhörige Laufwerk kostet. Könntet ihr mir da was zeigen was man verwenden kann ? Hab alleine das Laufwerk für 1100 Euro (billigste) gesehen und war übelst überrascht. Hoffe mal dass wir da doch was billiger weggkommen. ?

 

[fdsonne]

Günstiger wirds nicht viel werden... Bandsicherung lohnt sich bei Masse. Aber mit 1,3TB bist du da lange noch nicht dran.
Würde es darum gehen, die 15-20TB zu sichern, wäre es eher von Vorteil.

Der Vorteil der Bänder ist, so ein Band fasst gut und gerne seine 800GB, mit neuestem Standard glaube gar 1,6TB pro Band. Und kost dich keine 30-40€ pro Stück. Geht eins kaputt, kaufst einfach das nächste und gut ist.
Das Laufwerk selbst ist an der Geschichte halt das teure Übel Kommt man aber mit herkömmlichen Mitteln nicht mehr weiter, weil die Daten nicht mehr weggesichert werden kann, bleiben nur Bänder Sonst würden die Kosten explodieren...
Ne verzenfachung der Datenbenke kostet ca. anstatt jenen 30-40€ nur 300-400€ Speicherplatzkosten in Form der Bänder. Rechne mal wie viele externe HDDs beispielsweise du kaufen müsstest, wenn du anstatt 1,3 auf einmal 13TB sichern willst Das wären wohl deutlich über 1000€...

 

[NiclasM]

D.h. was würdest du konkret Vorschlagen ?

 

[fdsonne]

Wenn du den Preis ausgeben willst, dann würd ich ein LTO4 oder 5 SingleDrive nutzen.
Sprich ein Laufwerk mit einem Schacht. Und einen Satz Bänder dazu... Vorteil ist, du kannst eben kostengünstig nach Generationsprinzip sichern, weil die Sicherungsmedien nicht wirklich was kosten.

Nachteil, das kost dich locker 2000€... Also Laufwerk + Bänder.
Bei LTO4 wirds schon schwerer, einfach weil nur ca. 800GB Daten auf eine Kasette passen. Du müsstest also welchseln. Dafür ist LTO4 aufgrund der Tatsache, das es ausläuft, etwas günstiger. Da dürftest du mit ca. 1400-1500€ wegkommen.

Eventuell lässt sich aber was über nen anständigen Distri machen. Vllt hast du da irgendwelche Connections


Wenn dir das alles zu teuer ist, dann nimm halt USB HDDs. Wobei ich es für deutlich zu umständlich halten würde, 1,5-2TB 3,5" HDDs zu nutzen. Einfach weil man dort externen Strom braucht und ich glaube 2,5" aktuell nur bis ~1TB geht.

 

[bluesunset]

Darüber würde ich gerne hier diskutieren was die beste Lösung wäre. Gedacht habe ich dabei an :

-Ein eigener kleiner Server
-Bandlaufwerk Sicherung
-Sicherung auf Externe Festplatte


Dabei greift der kleine Server auf den Cluster zu, koppiert den aktuellen Datenstand auf Bandlaufwerke. Diese Bandlaufwerke werden dann verschlossen und Redundant gelagert. Auf eine Externe Festplatte die per USB angeschlossen ist wird dann auch jeweils der Datenstand koppiert, um im Extremfall auch schnell per USB an die Daten zu kommen.

Was haltet ihr davon, bzw was für dinge (Laufwerk, Bänder) könnt ihr empfehlen?

Da es sich anscheinend um rund 1,5TByte Produktive Daten handelt, würde ich zu einem LTO5 Laufwerk tendieren (1500GByte netto Kapazität ohne Laufwerkskomprimierung).
Du musst nur noch wissen wie viele Sicherungen du auf Bändern vorhalten willst/musst. Bei 2x5 tägliche Sicherungen, 5x wöchentliche Sicherung und 6x Monatliche Sicherung bist du incl. einem Reinigungsband schon bei 22 Bändern.
Eine Platzsparende Lösung wäre z.B. eine HP MSL2024 bzw. IBM TS3100 mit 2HE, 1x Volle Höhe 5,25" LTO5 SAS oder FC Laufwerk mit 24 Slots.
Das nächst größere wäre dann z.B. HP MSL4048 bzw. IBM TS3200 mit 4HE, 2x Höhe 5,25" LTO5 SAS oder FC Laufwerk mit 48 Slots.

Im Falle einer MSL2024 HP MSL2024 1 LTO-5 Ultrium 3000 SAS-Bandbibliothek (BL537A) mit der Herstellernummer BL537A wärst du im günstigsten falle bei 4200 Euro: HP StorageWorks MSL2024 LTO-Ultrium 5 3000, 1U Rack, 3000GB, SAS (BL537A) in Band-/Wechsellaufwerke: Laufwerke extern | heise online Preisvergleich
Der Listenpreis hierfür wäre übrigens 10.323,25 €
HP MSL Bandbibliotheken
Bandtechnologie - LTO-5 und Kapazität - 72 TB Auswählen.
Du solltest dich an das Systemhaus deines Vertrauens mit einem entsprechenden Service-Level wenden.

Privat würde ich bei den Bandlaufwerken schauen, dass es welche sind, die die volle 5,25" Höhe benötigen. Also im TS3100 nur ein Laufwerk und im TS3200 max. zwei Laufwerke verbaut sind und keines mehr hinzu gefügt werden kann. In der Vergangenheit waren dies die zuverlässigeren Laufwerke mit höherer Datenübertragungsrate - welche oft auch mehr Cache hatten.

HP bietet so schöne Kunststoffkoffer inkl 20 Bänder an. Hier dann ein oder auch zwei davon mit bestellen wobei die Labels (Barcode Etiketten) schon mit dabei sein sollten! Die wasserdichte (schwimmende) Variante des Koffers mit RFID Etiketten von Imation wirst du wohl nicht brauchen!?
Lagere die Bänder am besten stehend in einem feuersicheren (Daten-)Tresor (2h max. 30°C innen Temperatur) vor Ort und an einem anderen Standort. Sofern es die Firma her gibt, bietet sich ggf. auch ein remote Backup über FC an. Da du ja was von Redundanter Lagerung gesprochen hast.

Deine externe Festplatte (2-3 Stück) eSATA (6Gbit/sec) sollte ggf. auch in der Lage sein den Backupserver wieder neu einzurichten. Sprich, wenn alles nieder gebrannt sein sollte, auch eine Wiederherstellung auf einem neuen System ohne viele Umstände zu lassen. Man spricht hier von Bare Metal Backup.

Im Backupserver selbst sollten die letzten 2-3 Sicherungsläufe platz haben. Also bei 2TB dann 4-5x 2TB = 10TB netto drauf passen. Bedenke, ein einzelnes LTO5 Laufwerk will mit ~ 130-160MByte/sec (ohne Komprimierung!) konstant gefüttert werden.

Zum Beispiel 6x3TByte Hitachi Ultrastar SAS 7200 rpm Laufwerke im Raid6. Wobei bei der Partitionierung (LVM oder ähnliches einplanen!) die ersten 4TByte des Raids für das Band "Image" vorgesehen sind. 2x147 bzw. 300 GByte 2.5" 10k rpm SAS im Raid1 dann für das Betriebssystem und die Infos vom Backup. Wobei diese Daten zusätzlich mit aufs Raid6 und auf die Bänder gehören bzw. eben die externen eSATA HDDs. Um später zu wissen wo was drauf ist bzw. wann gesichert wurde.

Ich hoffe mal, dass dein Chef auf Grund des Umfangs des Systems und ggf. der Kosten nicht aus den Wolken fliegt. Die Systeme in meiner Signatur und andere sind Privat!

Da du nicht sagtest um was es sich für Daten in deinen Ordnern handelt:
Auch wenn zip/tar usw. für einen Datenaustausch recht praktisch sind. Für eine längere sichere Archivierung sind sie nicht geeignet. Am besten wäre ein dump (xfs, jfs, zfs snapshot?) des Dateisystems.
Sofern du die Zeit aufbringen kannst, ist http://www.net-tex.de/netbsd/backup.html hierfür eine recht gute Zusammenfassung, warum man auf tar und co verzichten sollte.

 

[Colttt]

Backupsoftware

Hast du dir schonmal über die backupsoftware gedanken gemacht?

Da kann ich dir Bacula empfehlen. Hat alles was man braucht und ist nach der einstiegshürde relativ leicht zu handhaben..

Bacula
Bacula,die einsatzbereite Open Source Netzwerk-Backup-Lösung für Linux, Unix, Mac und Windows
Bacula
Backup mittels Bacula unter Debian GNU/Linux 5.0 "Lenny" Howto — Asconix Systems - IT Management, Web & Mobile Development
Bweb als Web-Interface für Bacula unter Debian 5.0 "Lenny" Howto — Asconix Systems - IT Management, Web & Mobile Development

 

[NiclasM]

Diese Sache mit den Tapes, werde ich ansprechen, aber find ich doch schon ziemlich Krass teuer. Da halte ich es soweit schlauer mit Festplatten Wechselrahmen zu arbeiten und immer 3-4 verschiedene Snapshots auf den Platten zu lagern, langt ja auch oder... ? Ich möchte hier erstmal ein Konzept aufbauen, um damit diese Wichtigen Ordner zu sichern. Werde gleich mal etwas zusammenstellen und dann posten

---------- Post added at 16:26 ---------- Previous post was at 15:55 ----------

Ich werfe mal die Konfiguration in die Runde :

http://mueller-solutions.de/lol/Backup-System.ods

Mir stellt sich momentan die Frage, ob die SATA Anschlüsse auf dem Mainboard Hotplug fähig sind, sonst könnte man sagen das 32GB RAM zu viel sind,allerdings kostet RAM momentan einfach kaum etwas...

 

[bluesunset]

Bei Festplatten hat man eher irgendwann Probleme mit der Elektronik oder dem Motor. Deswegen trennt man bei Bändern die Laufwerke vom Speichermedium.
Wenn für euch nur die letzten 3-4 Tage als Sicherung ausreichend sind, ok. Meistens will man sich aber auch vor Datenkorruption oder Viren schützen. Wenn man das zu spät merkt - wie meistens der Fall, dann hat man halt keine alte saubere Sicherung mehr. Deswegen die Wochen und Monatsbänder. Ggf. wird auch mal wieder ein älterer Stand einer Datei gebraucht.

Auf das vorhanden sein einer Person vor Ort verzichtet man gerne. Da es nicht sichergestellt ist, dass diese nicht mal im Urlaub oder krank ist und der/die Vertreter(in) sich in der Reihenfolge der Wechselfestplatten mal vertut. Desweiteren sind die gängigen Systeme auf dem Markt nicht für viele Steckvorgänge ausgelegt. Sie dienen eher nur dem schnellen Austausch im Fehlerfall. Die Firma die sich auf häufigen Wechsel spezialisiert hatte - Storcase, auch mit passenden wasserdichten Transportkoffern für die Wechselrahmen incl. HDD - wurde von Kingston wieder verkauft.

Hängt halt sehr viel davon ab was Ihr mit den Daten anstellt und welchen Wert diese haben.
Stellt euch vielleicht auch mal die Frage, wie viel Geld Ihr einem Datenretter zahlen würdet, falls euer Backup nicht wiederherstellbar ist um die Daten wieder zu bekommen bzw. wie lange die Firma ohne diese Daten weiterarbeiten kann. Erst wenn man den Wert der Daten für die Firma bestimmt hat, kann man vernünftig über ein Sicherungskonzept diskutieren. Dann relativert sich oft auch sehr schnell der Faktor kosten. Seis weil die Daten deutlichst mehr Wert sind, oder man doch nur einen deutlich kleineren Anteil an Daten oft genug sichern muss.

Ein direkter download link für wget wäre nett.

 

[NiclasM]

Der Teil der essential wichtig für die Firma sind, sind unter ein GB groß. Dafür könnte ich noch andere Methoden verwenden, wie bsp diese jede Woche Uploaden auf einen Server von mir. Die Daten sind eher Sachen wie Private Bilder etc, die nicht wegkommen dürfen. Die Backup Interfalle können auch ruhig etwas länger seien, bsp Jede Woche, Jeden Monat.

 

[bluesunset]

Sichere die wichtigen Firmendaten ( <4GByte) auf eine DVD-Ram, eine Verbatim Archival Grade DVD-R und ggf. noch eine M-Disc (neuerer Blue-Ray/DVD-Brenner nötig). Private Bilder = Kundenbilder (Fotostudio) oder eher nicht?

 

[NiclasM]

@bluesunset, dass ist natürlich auch eine spitzen Idee ! Einen guten Brenner und jede Woche einfach ein Snapshot brennen, zusätzlich natürlich.


HW : http://mueller-solutions.de/lol/Backup-System.ods

 

[bluesunset]

Die DVD-RAMs mit UDF als Dateisystem (standard) sind ähnlich wie USB-Sticks beschreibbar. Also relativ einfach auch für inkrementelles Backup wenn du ein/zwei extra Laufwerke hast.

Seagate Barracuda 7200 2000GB, SATA 6Gb/s (ST2000DM001) finger weg von diesem Modell! Hab nicht umsonst http://www.hardwareluxx.de/communit...1tbyte-plattern-und-64mbyte-cache-874154.html geschrieben.
Vielleicht willst du dir auch einmal http://www.hardwareluxx.de/communit...ormalen-und-enterprise-grade-hdds-874465.html durchlesen.
Bei den Kingston SSDs achte darauf, das diese auch noch ohne Probleme funktionieren wenn du Sie mal im laufenden Betrieb entfernst und wieder anschließt.
Sofern es der Platz im Rack her gibt, nimm lieber ein Gehäuse mit 3 oder 4 HE.
Ab 3HE passen in alle Slots normal hohe Erweiterungskarten rein.

Und ja, ein vernünftiges Storage kostet schnell mal 2000 Euro und mehr. Deine Arbeitszeit nicht mit gerechnet. Wichtig ist auch die Dokumentation vom System und der vorgehensweise, dass auch jemand fremdes mit dem System umgehen kann.

 

[NiclasM]

Ja bei den Festplatten hab ich mir sowas schon gedacht. Die Platten werden ja im Grunde immer rein und rausgeschoben, weshalb ich ungerne 24/7 Platten genommen jäütte. Bei 24/7 Platten hab ich den Gedanken, dass wenn diese dann oft ein und ausgeschlatet werden diese schneller kapput gehen als Normale Consumer Platten. (!?)

Ist die Frage warum was für Erweiterungskarten brauche sollte. Zwei GBit LAN Karten sind ja direkt Onboard und ein RAID Controller soll auch nicht rein. Ein Software LInux RAID reicht da für das RAID1 der SSDs. Arbeitszeit muss nicht groß Einberechnet werden in das Modell.

Welche Festplatte würdest du denn vorschlagen ? 2 TB Platten würde ich schon gerne nehmen, da ich dann einfach immer pro Platte ein komplettes Backup drauf bekomme, sonst muss ich da wieder Splitten etc... Nur 250€ pro Platte da Enterprise (muss sein) ??

 

[bluesunset]

Festplatten sind nicht gerade dafür gedacht, eingeschaltet zu werden und dann einmal komplette voll geschrieben zu werden und dann einfach wieder ausgeschaltet zu werden. Neuere HDDs zeichnen neben der Betriebsdauer, Ein- und Ausschaltvorgängen auch die geschriebenen und gelesen Datenmengen mit auf. Wegen der Betriebsstunden und Start-Stop Zyklen wird dir kein Hersteller Probleme bereiten. Aber im Garantiefall siehts etwas schlechter aus wegen dem Nutzungsprofil. Quasi 80%+ Auslastung während der Betriebszeit. Wofür die sehr günstigen Modelle nicht wirklich geeignet sind. Es wird eher mit 10-100Gbyte an neuen Daten/Tag gerechnet.

Die zuverlässigeren Modelle sind oft auch für mehr Start-Stop Zyklen ausgelegt, man muss Sie nicht zwingend 24/7 betreiben. Das hatte eher ein anderes Problem. Das SCSI Platten frühers quasi auf Betriebstemperatur durch den jahrelangen Dauerbetrieb waren und die Lager quasi eingelaufen sind. Es sind damals wohl einige Platten nicht mehr richtig neu angelaufen wenn Sie nach Jahren des Betriebes ausgeschaltet wurden.

Vergiss nicht jedesmal einen kurzen und lange S.M.A.R.T. Test der HDDs zu machen. Hardware Raidcontroller machen z.B. wöchentlich einen kompletten Scan der HDDs. SAS Platten (10 und 15k rpm) haben einen eingebauten Timer für einen periodischen Selbsttest.

In einem Chenbro Micom Co., Ltd. RM31400 kann man z.B. einen 4 oder 5x3.5" HDD in 3x5,25" Schacht einbauen. In den anderen drei 5,25" Schächten dann z.B. drei DVD-Brenner. Zwei mit eingelegten DVD-RAMs und einen mit der Archival Grade - hier reicht auch das 5er Jewel Pack (9 Euro) - für wöchentliche bzw. monatliche Sicherungen. Die Spindel mit 25 Stück (40 Euro) sollte man innerhalb eines Jahres verbrauchen und die DVDs nach dem Brennen auch einzeln stehend in einer Hülle lagern! In den mittigen 3x3,5" kannst du deine SSDs verbauen. Das Gehäuse mit einem Wechselrahmen kostet nicht viel mehr als deine veranschlagten 400 Euro. Nen Netzteil kommt halt noch mit dazu. Hier sollte es eines mit ~ 400-600Watt (weniger ist besser) sein und 80+ (Bronze, Silber, Gold, Platin) "edler" = höherer Wirkungsgrad.

 

[NiclasM]

Bei dem Chenbro RM31300 müsste ich nur ein Netzteil noch kaufen oder sehe ich das falsch ? Backplane ist nicht von nöten und diese 5 Platten einschübe sind Standartmäßig drin oder nicht ?

 

[bluesunset]

Wieso sollte die Backplane nicht nötig sein? EPS Netzteile haben normalerweise so gut wie keinen SATA Stromstecker sondern die normalen Molex - welcher auch an jeder Backplane dran ist. Nein, der 5fach Wechselrahmen ist nicht incl. Dieser oder der normale 4fach dürften bei etwa 200 Euro (100 Euro allein die Backplane!) liegen.

 

[NiclasM]

Achsoo ok, weil ich den nicht unter Backplane gesehen hatte, würde also auf so 400 + NT kommen