[Kaufberatung] Backup/NAS mit 5xRaid1

[Morpheus2200]

Moinsen Community,

ich suche eine Lösung für folgenden Anwendungsbereich:

ein Backupserver/Nas mit folgenden Ansprüchen:

• 10x 3,5 Hotswap
• 5x Raid1 (Jede redundante Platte soll herausnehmbar, lagerbar und als einzelne Platte lauffähig sein)

Drauf sollen dann:

1x Time Machine Backup vom Mac

1x Windowsrechner Backup

3x Allerlei Datenbackup, vor allem Terabyte über Terabyte an Bildern

Als Betriebssystem kommt ein Linux zum Einsatz, welches auf der m2-ssd via PCIe-Adapter läuft.

Bisherige Zusammenstellung:

1. Variante: https://www.mindfactory.de/shopping...221b805d8d67fa71695766f56eacd1492e53559f1b104

2. Variante:

https://www.mindfactory.de/shopping...2216deef260f3a59f38bc58f5c49703bb17ada60029fc

Wobei ich bei der zweiten nicht genau weiß, ob das mit dem Gigabyte-Brett und EEC was wird

Jetzt seid ihr gefragt:

geht das besser/günstiger?

Grüße

 

[Digi-Quick]

du hast das Prinzip Raid nicht verstanden, da "(Jede redundante Platte soll herausnehmbar, lagerbar und als einzelne Platte lauffähig sein)" kein Betriebsszenario von Raid ist.

"3x Allerlei Datenbackup, vor allem Terabyte über Terabyte an Bildern"
Ist das wirklich Backup oder nur ausgelagert?

Für wirkliches Backup würde ich dann auch Raid 5 oder 6 nehmen > mehr Speicherkapazität bei weniger finanziellem Einsatz.

 

[Morpheus2200]

bin ich jetzt dusselig?

raid1 ist doch mirroring, righty?

sprich auf beiden Platten liegt exakt der gleiche Datensatz vor. Ist imho die einzige Variante, bei der ich eine Platte auch dem Raidverbund nehmen kann, und als einzelne Platte verwenden kann, ohne das dort unleserlicher Blödsinn draufsteht?

 

[besterino]

Ja, aber wenn Du eine Platte rausnimmst memmt das System ewig rum. Das RAID1 ist darauf ausgelegt, dass alle Platten eigentlich permanent da und funktionsfähig sind. Dass es auch jeweils ohne den Partner weiter geht ist halt vorübergehender "Ausnahmezustand", der umgehend durch Tausch der defekten Platte beseitigt werden soll (damit man eben möglichst nicht wegen einem völlig üblichen Hardware-Defekt aus dem Backup wiederherstellen muss sondern ununterbrochen ohne Zeit- und Datenverlust einfach weiter arbeiten kann). Darum: mit RAID baut man kein Backup-Konzept. Dafür gibt es andere Tools.

 

[Sightus]

Sorry für die Zwischenfrage:

Gibt es denn einen RAID-Modus, der eine Erweiterung des Mirroring zulässt? Also z.B. ein RAID1 aus zwei Platten steht. Dann, ohne das System in den Notstand zu versetzen, packt man eine dritte Platte dazu, welche dann ebenfalls die Inhalte des RAID1 übernimmt. Dann nach dem Prozess eine der Platten abziehen. Gibts sowas?

 

[Morpheus2200]

naja, genau das wollte ich ja ausnutzen

alle paar wochen werden dem System die redundanten Platten geklaut und und im feuerfesten Koffer gelagert. Stattdessen gehen leere Platten rein und es wird rebuilded. Macht 15 HDDs, wovon 10 im System sind und 5 immer cyclen.

Beim nächsten Turnus werden die alten eingelagerten Platten gelöscht und wieder gegen die redundanten getauscht.


Aber ich bin gerne für andere Vorschläge offen

Also nochmal ausführlich, wofür das Ding gedacht ist:

1x Time Machine Backup vom Mac (Festplatte als hfs+ formatiert)

1x Backup vom Windowsrechner (Festplatten als exFAT formatiert, oder ist der ntfs-support von Linux inzwischen besser?)

die restlichen 3 respektive 6 Platten als NAS, welches allerlei Daten beinhaltet (98% Bilder) (ebenso hfs+)

Dazu die Funktionalität, jeweils die redundanten Platten (feuerfest) einlagern zu können. Im Wurst-Käse Szenario müssen diese Platten einzeln auslesbar sein.

Bisher wird das ganze mittels drei Raidboxen und einer externen Festplatte gelöst. Stattdessen soll nun aber eine Lösung übers Netzwerk her, bei der man nur alle paar Wochen 'Hand anlegen' muss.

Grüße

 

[besterino]

@sightus: kommt auf das OS an.

Bei Solarish mit dem Napp-it webUI kannst Du zum Beispiel eine freie Platte einschieben, und einfach per click auf "replace" eine beliebe Platte ersetzen. Nach Abschluss des Ganzen kannst Du die ersetzte Platte natürlich auch abziehen.

Oder noch bequemer: du ordnest einfach beliebig viele Ersatz-Platten einem "Platten-Pool" zu und das System ersetzt dann sogar automatisch eine defekte Platte, natürlich nur solange freie Ersatzplatten verfügbar sind. Mal als Beispiel: Wenn Du einem Mirror-Pool aus 5x2 Platten zusätzlich 2 freie Ersatz-Platten gibst, dürftest man ziemlich elegant und lange "Ausfallfrei" unterwegs sein.

Nachteil: Du kannst so eine Solaris-ZFS-Platte nicht einfach in Deine Windows-Box schieben und auf Deine Daten zugreifen...

 

[Eye-Q]

alle paar wochen werden dem System die redundanten Platten geklaut und und im feuerfesten Koffer gelagert. Stattdessen gehen leere Platten rein und es wird rebuilded. Macht 15 HDDs, wovon 10 im System sind und 5 immer cyclen.

Das wird eine enorme Belastung für die Platten sein, so werden ja bei jedem Zyklus komplett alle Daten synchronisiert, was je nach Menge der Daten auch ziemlich lange dauern kann.

Ein anderer Vorschlag: ein inkrementelles (oder differenzielles) Backup einer Platte wird gestartet, wenn eine bestimmte USB-Platte angeschlossen wird. So kann man es z.B. mit Veeam Endpoint Backup (für Windows, allerdings gibt es da nur eine Sicherungsdefinition, d.h. man kann nicht sagen "Wenn USB-Platte 1 angeschlossen wird, sichere interne Platte 1; wenn USB-Platte 2 angeschlossen wird, sichere interne Platte 2") machen.
Ich weiß nicht, ob es so eine Lösung für Linux gibt, aber wenn es so eine Lösung gibt, ist die sicherlich besser als jede Woche alle Daten synchronisieren zu lassen.

 

[gea]

Das Datenkonzept sieht ja wohl so aus

- Arbeitsdaten liegen auf dem Desktop
- Sicherungen liegen auf dem NAS (wie oft?)
- Kopien der Sicherungen sollen regelmäßig extern verwahrt werden

Alternativkonzept
- Arbeitsdaten liegen auf dem NAS
Ein gutes NAS zumal mit neueren Dateisystemen und Raid ist ERHEBLICH sicherer als Desktops da man hier crashsichere CopyOnWrite Dateisysteme mit readonly Versionierung nutzen kann. Das nimmt sogar den aktuellen Verschlüssellungstrojanern einer Großteil ihres Schreckens. Für mehrere Desktops lohnen auch schnelle Platten. Das kann mit schnellem Netz so schnell oder sogar schneller als eine lokale Platte werden.

- Das NAS syncronisiert sich automatisch mit einem anderen NAS im Keller z.B. per zfs send oder rsync.
Dazu oder alternativ macht man Sicherungen auf Einzelplatten zum Wegschließen - zur Not per USB Platte am Desktop

 

[Morpheus2200]

@Eye-Q:

auch wieder richtig.... sollte eine halbwegs ordentlich Platte doch aber mit klarkommen?

Als andere Backuplösung käme wohl folgendes ein Frage:

6 Platten als Raid5 mit 5 Networkshares begrenzt auf die Größe der Platten, auf welche sie zu sichern sind. Dazu 5 Platten, auf die via rsync, sobald sie eingeschoben werden ein differenzielles Backup der 5 Shares auf dem Raidverbund erstellt wird.

Nach Abschluss können diese dann wieder herausgenommen und eingelagert werden bis zum nächsten mal.

Bin für optimalere Lösungsvorschläge aber immer offen


@gea:

Naja, das heimnetzwerk ist auf Gigabit begrenzt. Die ganzen Bilder können direkt auf dem Nas liegen, das geht denke ich klar. Aber spätestens für die windowskiste ist das Essig.. Das ist nen Notebook verbunden via WiFi

Eben der Schritt des manuellen sicherns via USBPlatte am Desktop soll ja vermieden werden. Und nen zweites NAS im Keller bringt bei nem Brand halt auch nicht viel. Sicherung zu einem externen Server is mit ner nem knappen MB/s Upload auch nicht drin

 

[Luckysh0t]

Als "Alternative" zur klassischen HDD als Laufwerk zur sicherung könnte man ein RDX Laufwerk in betracht ziehen - könnte aber etwas teurer werden.

https://geizhals.de/?cat=dat&sort=p&xf=1202_RDX#xf_top
https://geizhals.de/?cat=zip&xf=1204_RDX#xf_top

Sollte die Wechselzyklen aushalten.

 

[Morpheus2200]

in so nem RDX-Laufwerk steckt doch auch nur ne Festplatte, oder bin ich jetzt blöde?

Zumal hier die maximale Größe pre Laufwerk bei 3TB liegt, für 365€ die Platte. Das ist etwas wenig. Dazu kommt, dass die bereits vorhanden HDDs dann überflüssig wären und eine Neuanschaffung im mittleren 4-stelligen Bereich fällig wäre. Ich schließe diese Variante also mal aus :P

 

[Digi-Quick]

... im feuerfesten Koffer gelagert.

Du meinst, wenn es richtig brennt, dann hilft Das?
Ich würde dir dazu empfehlen dich mal mit den Feuerschutzklassen für Datenträger zu befassen, da reicht ein "feuerfester Koffer" nicht
https://www.safeshop24.de/de/sicherheitsstufen.

Also nochmal ausführlich, wofür das Ding gedacht ist:

1x Time Machine Backup vom Mac (Festplatte als hfs+ formatiert)

1x Backup vom Windowsrechner (Festplatten als exFAT formatiert, oder ist der ntfs-support von Linux inzwischen besser?)

Wozu HFS/exFat/NTFS?

ein NAS ist ein NAS ist ein NAS = Netzwerkspeicher, da braucht man keine unterschiedlichen Dateisysteme, nur entsprechende Freigaben/Targets (SMB, AFP, NFS, iSCSi)

die restlichen 3 respektive 6 Platten als NAS, welches allerlei Daten beinhaltet (98% Bilder) (ebenso hfs+)

Das sind also ausgelagerte Daten, die wiederum Gesichert werden müssen (sofern sie wichtig sind)>> einfach zu realisieren mit einem 2. NAS, auf dem via Rsync oder ZFSsend automatisch gesichert wird. das 2. NAS wird automatich zur Sicherungszeit gestartet und anschlessend wieder runtergefahhren. Funktioniert bei mir seit über einem Jahr.

Achja zum Thema regelmässig erforderliches Rebuild: Die meisten Raids sterben beim Rebuild!
Ist bei Raid 1 eigentlich nicht ganz so tragisch, denkt man.
Aber dazu müsste der Raidcontroller die entfernte Platte wieder als Memberdisk eines failed Raids akzeptieren - was richtige Raidcontroller nicht tun, da das Raid damit inkonsitent wäre (Metadaten gehören zum Dateisystem und ändern sich schon bei Lesezugriff).

Belastung durch Rebuild:
nehmen wir 2TB Platten und ein Rebuild pro Woche (bei einem Hardware Raid ist es unerheblich wie hoch der Füllgrad ist, es wird die gesamte Platte rekonstruiert)
2TB*52 Wochen/Jahr = 104 TB/Jahr Workload nur durch den regelmässigen Rebuild. Das schaffen aktuelle Raid Platten eigentlich problemlos, da diese i.d.R eine workload von 180 TB/Jahr haben
Bei 3 TB Platten sind es dann schon 156 TB/Jahr, bei 4 TB Platten 208TB/Jahr und somit ausserhalb der Spezifikation

 

[Morpheus2200]

Du meinst, wenn es richtig brennt, dann hilft Das?

Das Ding war wohl Schweineteuer und ist genau dafür gedacht, Festplatten vor Wasser/Brand zu schützen

ein NAS ist ein NAS ist ein NAS = Netzwerkspeicher, da braucht man keine unterschiedlichen Dateisysteme, nur entsprechende Freigaben/Targets (SMB, AFP, NFS, iSCSi)

Ganz blöde bin ich ja nicht, nur sollen die Platten (sei es die redundante Platte des RAID oder das via rsync überspielte networkshare) im Fall der Fälle auch einzeln an den entsprechenden System funktionieren können... Daher die Formatierung in Dateisystemen, die die Systeme auch verstehen.

Das isnd also ausgelagerte Daten, die wiederum Gesichert werden müssen >> einfach zu realisieren mit einem 2. NAS, auf dem via Rsync oder ZFSsend automatisch gesichert wird. das 2. NAS wird automatich zur Sicherungszeit gestartet und anschlessend wieder runtergefahhren. Funktioniert bei mir seit über einem Jahr.

Hatte ich schon angesprochen, dass das den Zweck verfehlen würde. Stattdessen könnte ich mir beiden sparen und gleich auf ein paar komplett feuerfestes NAS von z.B. iosafe setzen. Kostenpunkt dann wieder Richtung Mitte 4-stellig :/

 

[Digi-Quick]

Das Ding war wohl Schweineteuer und ist genau dafür gedacht, Festplatten vor Wasser/Brand zu schützen

Daraus leitest du dann ab, daß du an anderer Stelle Pfuschen darfst? *scnr*

BTW, der Suchbegriff "Feuerfester Festplattenkoffer" spuckt bei Google nichts aus!
Sollten das "einfache" Feuerfeste Dokumentenboxen sein, bedenke, daß diese innerhalb von 30 Minuten bei einer Aussentemperatur von ca 800-1000° einer Temperaturerhöhung im Inneren von ca. 150° zulassen dürfen, der Flammpunkt von Papier liegt bei ca. 175-350.
Das sind Temperaturen, die keine Festplatte mag.
30 Minuten sind im Falle eines Feuers sher optimistisch, bis die Feuerwehr da ist vergehen schonmal gut un gerne 20 Minuten oder mehr.

Feuersichere Datenschränke/Tresore erlauben eine Temperaturerhöhung von 30° innerhalb von 60 Minuten (oder 120 Minuten)

Ich würde da also mal genau überprüfen, um was für ein Produkt es sich handelt und auch die Zertifikate prüfen!
(nicht das das die billigen Boxen von Aldi sind)

Ganz blöde bin ich ja nicht, nur sollen die Platten (sei es die redundante Platte des RAID oder das via rsync überspielte networkshare) im Fall der Fälle auch einzeln an den entsprechenden System funktionieren können... Daher die Formatierung in Dateisystemen, die die Systeme auch verstehen.

Dann sollte man ein NAS bauen, welches die Dateisysteme nativ kann - gibt nach meiner Kenntnis kein dediziertes NAS OS, welches hfs+ (Apple) und NTFS unterstützt.

BTW: exFAT ist ein sehr schlechter Kompromiss
exFAT (Extended File Allocation Table), ist ein proprietäres Dateisystem, optimiert für den Einsatz auf Flash-Speichern.
+ Der Hauptvorteil gegenüber dem älteren FAT/FAT32-Dateisystem ist die Unterstützung von Dateien mit mehr als 4 GiB Größe."
- exFAT verwendet nur eine FAT-Tabelle. Das spart Platz und Verwaltungsaufwand, reduziert aber die Datensicherheit.
- Keine ACLs / Benutzerrechte

Es gibt natürlich diverse OSses, denen man weitere Datesysteme beibringen kann, was dann wiederum den Aufwand für die Einrichtung und Wartung erhöht.
bei einem NAS4Free spiel ich über webfrontend das Update ein, und gut ist.
Eine fertige Lösung wie du sie haben willst, gibt es nicht

Ich würde für dein Szenario auf Raid verzichten und lieber mit 'ner automatischen Datenspiegelung auf Softwarebasis arbeiten - Robocopy sollte das auch können.
Mein Favorit wäre hier http://syncovery.de/ , wobei das Proggramm läuft nur unter Windows und Windows kann kein HFS+ - jedenfalls nicht von Haus aus.
Vor dem ziehen und Auswerfen der gespiegelten Platten den Sync-Prozess anhalten und nach einsetzen der getauschten Platten wieder starten. Der Syncprozess muss natürlich das Quelle und Ziel permanent abgleichen und vergleichen, kann sich also nicht auf eine interne Datenbank verlassen, bzw. muss diesen Abgleich beim ersten Durchlauf tätigen.

Stattdessen könnte ich mir beiden sparen und gleich auf ein paar komplett feuerfestes NAS von z.B. iosafe setzen. Kostenpunkt dann wieder Richtung Mitte 4-stellig :/

Das wäre in der Tat eine solide Lösung.
Billiger wäre es das 2. NAS in eine andere Brandzone zu stellen

 

[katzenhai]

gibt nach meiner Kenntnis kein dediziertes NAS OS, welches hfs+ (Apple) und NTFS unterstützt.

[Klugscheißmodus] zumindest für NTFS fällt mir da der Windows Storage Server ein [/Klugscheißmodus]

 

[gea]

Bei dieser Diskussion um Datensicherheit möchte man eigentlich kein NAS auf dem ext4, HFS oder NTFS läuft sondern etwas robusteres mit Prüfsummen, CopyOnWrte und damit crashresistentes Dateisystem mit Software Raid ohne write hole Probleme. Dazu readonly Versionierung die selbst ein Windows oder OSX Adminuser weder direkt verändern noch löschen kann damit Verschlüssellungstrojaner oder Viren (oder ein normaler User) niemals schreibenden Zugriff auf Vorversionen haben.

Das Sicherste ist in jedem Fall

- Ein ZFS NAS mit Versionierung und Raid. Systeme wie ZFS erlauben tausende Snaps bei denen nur tatsächlich geänderte Datenblöcke Platz belegen. Mit einem entsprechenden Raid Level z.B. 3fach Mirror oder Raid Z2/3 ist sowas ziemlich unkaputtbar da dann zwei Platten oder gar drei Platten ohne Datenverlust ausfallen dürfen und man hat direkten Zugriff auf aktuelle Vorversionen (z.B. vor 15 Minuten, vor einer Stunde, heute morgen, gestern, letzte Woche,..)

- Ein zweites NAS das zumindest in einem anderen Bereich steht und sich regelmäßig syncronisisert (kann im Minutenbereich liegen, auch mit offenen Dateien). Darauf dann Langzeitsnaps z.B. monatlich anlegen.

Für das zweite NAS kauft man zwei Plattensätze für zwei Pools. Dann kann man die Platten für einen Pool regelmäßig herausnehmen und wegschließen und den jeweils anderen wieder einstecken damit dieser dann wieder automatisch weiter syncronisiert wird. Ist mit sowas wie einem HP Microserver mit seinen 4 externen Schächten richtig billig und einfach machbar. Bei weniger Daten kann auch den normalen Backup-Pool drinlassen und zwei weitere Platten wechselweise zusätzlich einstecken, syncronisieren und dann wieder rausnehmen. So ein ZFS sync kopiert nur geänderte Datenblöcke als Datenstream. Das dauert meist nur Sekunden, selbst nach längerer Zeit mit mehr Änderungen nur Minuten.

Bei weniger Ansprüchen geht auch ein NAS mit mindest zwei Backup-platten die man wechselweise einschiebt, Daten snycronisisert und diese dann wieder wegschliesst. Das NAS sollte dann hotplug können.