Spiegelung/rsync eines 36 (54) TB ZFS NAS

[migieger]

Habe seit ein paar Jahren einen HP Microserver Gen8 unter XigmaNAS (FreeNAS) mit 4x 4TB unter ZFS (RAID5) am laufen und mache jede Nacht ein rsync auf eine per USB3 angeschlossene externe 12 TB Festplatte (WD My Book). Die externe Platte wird 10 Min bevor der rsync-Job laeuft aufgeweckt und geht nach dem rsync-Job wieder schlafen. Funktioniert alles einwandfrei und automatisch...

Jetzt wird der alte Microserver durch ein groesseren Microserver Gen10 Plus unter XigmaNAS mit 4x 18TB unter ZFS ersetzt werden. Werde wohl statt eines RAID5 mit 54TB zwei RAID1 mit 36TB stripen.
Auch dieses NAS soll per rsync gespiegelt werden. Das NAS-rsync sollte (wie bisher auch)
1) nur zum rsync aktiv sein, sonst im Standby und
2) die zugehoerige Festplatte per smartmontools (smartctl) ueberwacht werden koennen...

Und jetzt mein Problem: wie mache ich mein naechtliches rsync? Inzwischen habe ich gelernt, dass
- es keine 36TB externe Einzelfestplatten mit USB3-Anschluss gibt
- das 2-Bay-DAS QNAP TR-002 nicht von smartctl ueberwacht werden kann
- das 2-Bay-DAS Terramaster D2-310 weder in Idle noch in den Standby geht
- das 2-Bay-NAS von wem auch immer nicht gerne in idle/stanby sind
:-(((

Was uebersehe ich? Wie macht ihr das mit aehnlich grossen NAS-Systemen?

VG

 

[Eye-Q]

Eine der wichtigsten Fragen: Sind wirklich alle Daten so wichtig, dass sie gesichert werden müssen? Falls ja, dann ist die Idee eines DAS bzw. von USB-Festplatten meines Erachtens nach unsinnig, da die Geräte dann ja im selben Raum stehen wie das NAS selbst, und wenn dieser Raum abbrennt, sind sowohl Daten als auch die Sicherung dieser Daten verloren. Deswegen werde ich da keinen Ratschlag geben, bevor das nicht geklärt ist.

P.S.: "ge'backup't", "idle'n" und "standby'en" sind grausam anzusehen, dafür gibt es doch äquivalente deutsche Wörter. Es wäre schön, wenn Du dir das gar nicht erst angewöhnst bzw. schnell wieder abgewöhnst.

 

[migieger]

Danke fuer die Hinweise, Beitrag ist geaendert. Und ja, alles soll gespiegelt werden.

 

[Digi-Quick]

Sicherung auf ein 2. NAS welches zum Sicherungszeitpunkt automatisch via WOL oder IPMITools gestartet wird und nach dem Sicherungsjob wieder runtergefahren wird.

 

[Firebl]

Ja, so wie Digi-Quick mache ichs auch. Bei den Synolohys kann Active Backup for Business einfach Netzwerkshares sichern.

 

[migieger]

Danke fuer die Tipps. Werde dann mal in Richtung NAS suchen bzw. zunaechst den alten Microserver mit groesseren Festplatten dafuer nutzen...
Einziger Wermutstropfen, der Rueckschritt von 5GBit-USB zu 1GBit-Ethernet (leider nicht ohne irren Aufwand aenderbar).

 

[gea]

Warum in 10000 Teufels Namen rsync?

ZFS Replikation ist erheblich schneller, nimmt auch offene Dateien, behält ZFS Eigenschaften und ACL, überprüft Transfers mit Prüfsummen und bietet vor allem readonly Ransomware sichere Versionierung über ZFS Snaps wo jeder Snap nur die zur Vorversion geänderten ZFS Datenblöcke belegt.

ZFS Replikation syncronisiert Petabytes eines Hochlastservers mit einem Backupsystem und 1 Min Verzögerung.

 

[migieger]

- Weil ich kein zfs auf der USB-Platte wollte. Ufs ist von einem fremden System (*BSD, Linux-Derivate) universeller zu lesen, bei zfs gab's evtl. unkompatible Aenderungen...
- Rsync ist 1000 Jahre lang erprobt und hat gezeigt, dass man sich darauf verlassen kann.
- Ich habe keinen Hochlastserver mit Petabytes, sondern ein kleines Heim-NAS, dessen Aenderungen rsync nachts in <1 h auf die USB-Platte synct.

 

[Holt]

Für gea ist ZFS eben die einzig mögliche Antwort auf alle Fragen.

 

[gea]

??
Es geht hier bereits um ein ZFS System und die Frage ob es da zum Spiegeln was besseres als rsync gibt.

btw
ZFS ist wenn man nicht gerade die neuesten (beta) Features aktiviert sehr kompatibel wenn es um Pool import zwischen den Open-ZFS Plattformen geht. Worst case ist meist das nur readonly Import geht. Bei Replikation hat man kaum Probleme. Bei kleineren Datenmengen mag rsync ausreichend schnell sein (1h statt 1 Min), man verliert aber die Sicherheit das alle Daten korrekt mit Prüfsummencheck übertragen wurden.

 

[migieger]

Danke fuer die Info zu OpenZFS...
Im Moment nutze ich XigmaNAS (FreeBSD-12.3), welches noch auf dem FreeBSD-eigenen ZFS (Solaris/Illumos) aufbaut. Seit FreeBSD-13.0 nutzt FreeBSD OpenZFS. Das werde ich mit dem entspr. Upgrade der XigmaNAS-Basis auch erhalten. Dann schaue ich mir die Kompatibilitaet zu OpenZFS auf Linux (am liebsten Debian) nochmal im Hinblick auf's syncen auf externe Datentraeger an... Minuten statt Stunden sind ein Wort...