Backup & Restore von RAID6

[Macer89]

Hallo!

Ich weis, das Thema Backup wurde mittlerweile schon hunderte Male durchgekaut und es gibt sehr viele Threads zu diesem Thema. Ich lese und suche auch schon wochenlang nach "der Antwort".
Leider konnte ich weder hier im Forum noch in der Google-Suche einen konkrete Antwort auf meine Frage finden.

Kleine Vorgeschichte:
Momentan läuft auf meinem Fileserver noch ein Windows-OS, allerdings spiele ich mit dem Gedanken dieses durch Linux zu ersetzen, was mich zur wohl wichtigsten Frage dem Backup der Daten führt.

Eigentliches Problem:
An sich ist Linux ja super, es gibt jede Menge Boardmittel (rsync, dd, ...) die einfach zu handhaben und doch so mächtig sind, dass man damit die unterschiedlichsten Anforderungen mittels Scripten lösen kann.

Mein Problem liegt allerdings darin, dass ich gerne sämtliche Daten von meinem Fileserver (2x RAID6 mit einer Nettokapazität von je 12TB) vollständig backupen möchte.
Als Backup-Medien besitze ich jedoch keinen weiteren Rechner, sondern mir stehen nur jede Menge alter HDDs mit unterschiedlichster Kapazität zur Verfügung (z.B.: 1,5TB, 750GB, ...). Ich kann also nur die Backup-HDD anhängen, einen Teil draufspielen und dann diese wieder abhängen und nächste dran, usw.
Man sieht also meine Quelle ist um ein Vielfaches größer (selbst bei optimalster Komprimierung der Daten) als das Ziel.

Das wohl schnellste wäre per dd das ganze RAID-Volume zu klonen, sprich den Input-Stream von dd direkt komprimieren und per split-Befehl in entsprechende Chunks aufteilen (z.B. 10GB). Auf diese Weise entsteht keine temporäre Datei und die Daten können direkt geschrieben werden. Wie erfolgt jedoch die Wiederherstellung? Ich habe nur Skripte/Befehle gefunden wo mittels cat-Befehl eine temporäre Datei erstellt wird und diese dann zurückgespielt wird. Inakzeptabel in meinem Fall, da ich dann nochmals 12TB Speicherplatz benötigen würde...
Würde das eventuell mit dem tar-Befehl und dem "-M" Schalter funktionieren? Vermutlich funktioniert das nur bei CD-/DVD-/Disketten-/Bandlaufwerken.

So jetzt zu meiner Frage, gibt es eine Möglichkeit ein Backup der Daten zu erstellen, ohne beim Sichern und Wiederherstellen temporäre Daten anlegen zu müssen und ich die Möglichkeit habe, das ganze auf mehrere (externe) HDDs aufzuteilen?

Ich wäre euch sehr verbunden wenn mir hier jemand weiterhelfen könnte.
Hoffe es gibt ein paar Gurus die hier eine Lösung parat haben

P.S.:
Für manche stellt sich hier die Sinnhaftigkeit solche riesigen Datenmengen vollständig zu backupen, das möchte ich hier jedoch nicht diskutieren. Ich suche einfach nur eine Lösung^^.

 

[Ebie400]

[...]Das wohl schnellste wäre per dd das ganze RAID-Volume zu klonen, sprich den Input-Stream von dd direkt komprimieren und per split-Befehl in entsprechende Chunks aufteilen (z.B. 10GB).[...]

Hi!

Was soll es dir denn bringen das ganze Volume zu klonen?
Wieso machst du's nicht mit tar auf Dateiebene?

 

[Macer89]

Hi!

Was soll es dir denn bringen das ganze Volume zu klonen?
Wieso machst du's nicht mit tar auf Dateiebene?

Es spricht nichts gegen tar, auf Dateiebene klingt sogar besser.
Wie würden die Befehle aussehen, damit das Backup auf eine HDD geschrieben wird, bis diese voll ist und dann auf die nächste bzw. beim Restore?

 

[jraf]

Ich würde das Sammelsurium alter Platten verkaufen und mir stattdessen z.B. ein NAS-System mit ausreichend Platz fürs Backup zulegen.

 

[Macer89]

Ich würde das Sammelsurium alter Platten verkaufen und mir stattdessen z.B. ein NAS-System mit ausreichend Platz fürs Backup zulegen.

Ich gebe dir absolut recht, diese Lösung wäre definitiv die Beste.
Allerdings habe ich zurzeit leider eine gewisse Einschränkung was den Platz für einen zusätzlichen Rechner betrifft.

 

[jraf]

Ich gebe dir absolut recht, diese Lösung wäre definitiv die Beste.
Allerdings habe ich zurzeit leider eine gewisse Einschränkung was den Platz für einen zusätzlichen Rechner betrifft.

Ich hatte in dem Fall auch nicht an einen Rechner gedacht, sondern ein NAS Gerät z.B. von Synology oder Qnap. Die sind an sich recht kompakt, gibt es auch besonders platzsparend mit 2,5" Platten. Allerdings ist so ein Gerät natürlich nicht unbedingt ganz billig.

 

[Macer89]

Ich hatte in dem Fall auch nicht an einen Rechner gedacht, sondern ein NAS Gerät z.B. von Synology oder Qnap. Die sind an sich recht kompakt, gibt es auch besonders platzsparend mit 2,5" Platten. Allerdings ist so ein Gerät natürlich nicht unbedingt ganz billig.

Kann dir nur zustimmen, aber wie von dir schon gesagt ist es nicht wirklich billig, und die Möglichkeiten sind bei einem NAS auch nicht so umwerfend, deshalb möchte ich gerne den anderen Weg gehen.

 

[foxxx]

Nach den ganzen diskutierten Möglichkeiten komme ich eigentlich zu dem Schluss, dass der erforderliche Aufwand den Nutzen nicht Wert ist.

Wenn du nur mal etwas mit Linux experimentieren willst, würde ich dir eine VM ans Herz legen, da kannst du auch ganz einfach mehrere Distributionen durchtesten.

Außerdem bringen Linux-Systeme dank des Samba-Daemons über SMB (Windows Standard Netzwerkprotokoll) nie die gleiche Leistung wie ein Windows-System, sie sind immer etwas langsamer.

Da es ja scheinbar weder eine kostengünstige noch eine einfache Lösung für ein Backup gibt, würde ich das Vorhaben sein lassen

mfg
foxxx

 

[Macer89]

Schade, ich habe ehrlich gesagt nicht damit gerechnet, dass so ein Projekt an der Machbarkeit scheitert. Sieht so aus als hätte ich die Flexibilität/Mächtigkeit der Linux-Tools doch ein bisschen überschätzt.

Das mit dem Experimentieren in den VMs habe ich schon seit längerem am Laufen.

Das Vorhaben an sich einzustampfen wird aber nicht funktionieren, da ich von diesen Daten unbedingt ein Backup benötige (für den Ernstfall).
RAID ist zwar super und toll, aber es ersetzt leider kein Backup.

 

[foxxx]

Die Umsetzung scheitert ja nicht an den Linux-Tools, sondern an den von dir eingeschränkten Möglichkeiten.

Entweder kaufst du genug Festplatten, um alle Daten darauf backuppen zu können oder das Ganze wird nichts. Sowas kostet natürlich Geld und erfordert etwas Aufwand.
Du kannst dann wie bereits kurz angesprochen, die Daten auf Dateisystemebene backuppen und direkt als Archive sichern. Dazu wäre es am sinnvollsten, die Archive alle 50gb (oder 100gb) zu splitten, damit du den Platz auf den neuen Festplatten nutzen kannst. Dann musst du natürlich, wie du richtig erkannt hast, die Platten nacheinander durchwechseln

 

[Macer89]

Naja am Speicherplatz für das Backup scheitert es ja nicht, da habe ich mehr als genug.

Mein Problem ist das Aufteilen auf die einzelnen HDDs und das nacheinander durchwechseln (wie du schon sagtest).

Wie mache ich das, ohne dass ich 12TB temporären Speicher belege wegen den Split-Archiven?

 

[sun-man]

Nimms mir nicht übel. Aber die Wahrscheinlichkeit das Dir eine der Sammelsuriumplatten ausfällt ist durchaus höher als das ein Raid6 kracht. Ein Bit-Kipper auf einer der alten Disks zerstört das gesamte Backup. Die MBF ist dabei u.U. weniger wichtig als die Bit-Error-Rate einzelner Disks.

Man könnte auch z.B. mit Acronis rumspielen. Mit der Start-CD kann man ja Sicherungen machen und diese vermutlich auch splitten.

Zudem ? Man kann hier sicherlich über die "Unflexibilität" von Linux meckern. Auf der anderen Seite sieht es doch aber so aus das kein Unternehmen seine Daten auf zig alte Festplatten unterschiedlicher Größer verteilt und sichert. Sowas braucht fast keiner, und deswegen wird es kaum einer programmieren.

Tar kann Multivolumes - aber die sollten auch wieder gleich groß sein (IMHO) und nicht so ein Mischmasch.