Backup-Strategie mit ZFS Filesystem auf Nas

[Ironcurtain86]

Hallo Leute,

ich bin schon seit längerem am überlegen wie ich mir am besten eine Backup-Strategie zu Hause aufbauen soll und mit welchem Betriebssystem. Ich besitze einen N54L Microserver mit 8 gb Ram. Ich würde gerne wichtige Daten von mehrere Geräte in meinem Netzwerk (PC's, Laptop's und Handy's) auf eine Zentrale Stelle (N54L). Da man beim Thema Datensicherheit schnell zum Thema ZFS-Filesystem gelangt, würde ich auf dem N54L gerne ein System mit diesem Filesystem aufsetzen. Da stellt sich für mich schon die erste Frage, welches Betriebssystem ich dafür einsetzen sollte.
Ich denke, dass 6TB an letzendlich verfügbaren Datenspeicher ausreichen würden. Deshalb habe ich überlegt 2*WD Red 6TB in den Server zu verbauen, um diese zu einem Raid zusammen zu fassen. Darauf sollen die Daten dann gespiegelt abgelegt werden und regelmäßig mittels (scrub's) die Datenintegrität überprüft werden, um Datenverlust aufgrund von fehlerhafter Sektoren auszuschließen. Außerdem würde ich die Daten gerne offline aufbewahren, falls mir der Server mal abraucht. Deshalb habe ich mir überlegt eine weitere WD Red 6TB zu kaufen. Damit würde ich alle 3 Platten zu einem raidz2 zusammenfassen. Wobei die dritte Platte nur 1 mal wöchentlich in den Server kommt um die Daten abzugleichen und anschließend ein scrub auf den raidz2 pool auszuführen, um die Datenintegrität auf allen 3 Datenträggern sicherzustellen.
Da ich sowas noch nie gemacht habe, wollte ich von euch zunächst wissen, ob mein Vorhaben so sinnvoll ist und ein hohes Maß an an Datensicherheit garantiert? Mich würde interessieren wie ihr das bei euch gelöst habt. Ich kann mir vorstellen, dass das auch für viele andere User interessant ist, die wie ich in diesem Bereich noch keine Erfahrung haben und auch gerne ein hohes Maß an Datensicherheit haben würden.

Mfg Ironcurtain

 

[AG1M]

Hi,

ich nutze OmniOS + napp-it als ZFS Datenserver mit den N54L (siehe Signatur).

Mein Backup sieht so aus:

Der N54L hat ein Stripped Mirror (RAID 10) ZFS Pool aus vier 2 TB HDDs.

Im oberen Sacht vom N54L ist ein HHD Wechselrahmen da kommt eine 3 bzw. 4 TB HDD mit ZFS Dateisystem rein und dann wird mit Rsync ein Backup vom internen ZFS Pool auf die externe HDD gemacht. Damit ist die Backup HDD weg vom System und damit auch anderen möglichen Schäden aus dem Weg gegangen werden kann.

Zusätzlich wird in Regelmäßigen abständen auf ein externes eSATA Gehäuse mit vier 2 TB HDDs ebenfalls im RAID 10 @ NTFS mit Robocopy von einem Windpws PC über die CIFS Freigabe von dem ZFS Pool vom N54L ein Backup gemacht.

 

[Ironcurtain86]

Hallo AG1M,

das klingt ja so ziemlich nach meinem Vorhaben. Ein Raid 10 hast du wahrscheinlich, weil du noch mehr Performance rausholen willst. Da ich aber nur ein Gigabit Netzwerk habe und lieber weniger Platten einsetzen würde, um Strom zu sparen, wäre ein normales raid1 wohl sinnvoller für mich. Oder bietet das striped mirror im Vergleich zu einem normalen mirror noch weitere Vorteile? In den Wechselrahmen kommt bei dir eine Platte die auch nicht in den Pool integriert ist, sondern eigenständig werkelt. In irgendeinem Forum habe ich mal gelesen, dass bei dieser einzelnen Platte dann auch kein Check auf Datenintegrität gemacht werden kann weil die gespiegelte "hälfte" fehlt und damit fehlende Sektoren auf der Platte zu Datenverlust führen kann.

Mfg Ironcurtain

 

[AG1M]

Nein nein, das ist nur meine Konfiguration, ein Mirror also RAID 1 reicht dicke, du machst ja Backups

Ich mach das dann immer so via puTTy um meinen Haupt ZFS Pool storage auf die externe zu sichern (gibt ja mehere Möglichkeiten, aber ich bevozuge Rsync):

cfgadm -al sata
cfgadm -c configure sata1/4
zpool import backup

----------------------------------------------------------------------------------------

./s1.sh (Inhalt:)
rsync -av --progress --protocol=29 --delete --human-readable /mnt/storage/backup/ /mnt/backup/backup

./s1.sh (Inhalt:)
rsync -av --progress --protocol=29 --delete --human-readable /mnt/storage/files/ /mnt/backup/files

./s3.sh (Inhalt:)
rsync -av --progress --protocol=29 --delete --human-readable /mnt/storage/work/ /mnt/backup/work

----------------------------------------------------------------------------------------

zpool export backup
cfgadm -c unconfigure sata1/4

Wenn du solche Sorgen hast kannst du auf der einzelnen Backup HDD auch die ZFS Eigenschaften von Copies von 1 auf 2 stellen, dann belegst du zwar doppelten Speicherplatz, aber hättest halt alle Dateien 2x vorliegen - ganz ohne RAID 1. https://blogs.oracle.com/relling/entry/zfs_copies_and_data_protection

Mir persönlich reicht mein "Doppelbackup" auf die einzelne ZFS HDD und das externe NTFS Storage aus.

 

[Ironcurtain86]

Hab mir die Kombo OmniOS+napp-it im Internet angeschaut. Das Webinterface sieht ja schon mal extremst unübersichtlich aus und Eingriffe werden meistens noch über die Kommandozeile durchgeführt. Gibt es nicht irgendwas benutzerfreundliches? Du hast doch früher immer den support für Freenas gemacht, was spricht dagegen, im Vergleich zu Omnios+napp-it?

 

[AG1M]

Ich mag zusätzlich Nexenta 4.0.3 als kostenlose Version (Community Edition | Nexenta), meine Testphase läuft zwar noch, aber ich denke Ende des Jahres werde ich darauf umziehen.

Gegen NAS4Free spricht nur eine Kleinigkeit, ich möchte immer bis zum Anschlag 124 MB/s haben, bei NAS4Free sind es "nur" 90-100 MB/s. Sonst natürlich tadellos und sehr einfach vom Handling, keine Frage, habe darum ja auch den NAS4Free Thread eröffnet.

 

[Ironcurtain86]

Nun ist halt noch die Frage ob Nas4Free oder Freenas. Von der grafisches Oberfläche finde ich Freenas besser weil es irgendwie weiter entwickelt wirkt. Welches bevorzugst du?

 

[AG1M]

NAS4Free ist eigentlich "FreeNAS", mit Version 7 hat sich das Projekt getrennt (?) und aus FreeNAS wurde NAS4Free das an seine Wurzeln hält (begonnen damals als FreeNAS 7 -> NAS4Free 0.7). FreeNAS wie es heute ist wurde komplett überarbeitet. Ist Geschmackssache am Ende, was man nutzen möchte, persönlich mag ich das "oldschool" GUI und alles drum herum von NAS4Free mehr.

 

[Fimbultyr]

Ich mag zusätzlich Nexenta 4.0.3 als kostenlose Version (Community Edition | Nexenta), meine Testphase läuft zwar noch, aber ich denke Ende des Jahres werde ich darauf umziehen.

Gegen NAS4Free spricht nur eine Kleinigkeit, ich möchte immer bis zum Anschlag 124 MB/s haben, bei NAS4Free sind es "nur" 90-100 MB/s. Sonst natürlich tadellos und sehr einfach vom Handling, keine Frage, habe darum ja auch den NAS4Free Thread eröffnet.

Darf ich da mal reingrätschen? Ist das eine Beschränkung seitens des Übertragungsprotokolls (SMB?), oder woran scheitert das? Bzgl. der SMB-Performance (V1 vs. V2 oder so) hatte ich schonmal was gelesen... sofern die Performance des Pools ausreicht, wäre doch z.B. auch eine höhere Geschwindigkeit per FTP oder über E-SATA möglich, oder?

 

[Shiga]

Darf ich da mal reingrätschen? Ist das eine Beschränkung seitens des Übertragungsprotokolls (SMB?), oder woran scheitert das? Bzgl. der SMB-Performance (V1 vs. V2 oder so) hatte ich schonmal was gelesen... sofern die Performance des Pools ausreicht, wäre doch z.B. auch eine höhere Geschwindigkeit per FTP oder über E-SATA möglich, oder?

Also ich komme mit FreeNAS R/W auf ca. 120 MB/s.

 

[Ironcurtain86]

Ich finds halt echt bescheiden, dass der N54L mit diesen ganzen freebsd und linux Betriebssystemen soviel Strom verbraucht. Mit Nas4Free auf einem usb Stick liegt man schon bei 31 Watt ohne Festplatten. Oder kann man da noch was dran machen?

 

[Digi-Quick]

[IRONIC]
OMG, mein C2D mit 4 GB und 'nem SAS Controller nimmt sich schon 180 Watt ohne HDDs - ich erschiess mich besser gleich *gfg*
(mit 15 HHDs sind's dann gerade mal 230 Watt)
[/IRONIC]

 

[gea]

Hab mir die Kombo OmniOS+napp-it im Internet angeschaut. Das Webinterface sieht ja schon mal extremst unübersichtlich aus und Eingriffe werden meistens noch über die Kommandozeile durchgeführt. Gibt es nicht irgendwas benutzerfreundliches? Du hast doch früher immer den support für Freenas gemacht, was spricht dagegen, im Vergleich zu Omnios+napp-it?

Meine (nicht ganz objektive Meinung)

-CLI wird bei napp-it nur einmal gebraucht (zum Installieren)

- napp-it ist nicht der Versuch einen möglichst einfachen Homeserver zu bauen, sondern 10 Jahre extrem innovative Ideen von Sun bezüglich High-End Storage bedienbar zu machen - Storage Vorkenntnisse sind hilfreich.

- Single-threaded SAMBA is gut, Solaris CIFS meist schneller - selbst im Vergleich zu SMB3.

- Gutes Backup is sync aufs externe ZFS-NAS an einem anderen Ort/ Brandabschnitt mit read only Snaphots auf dem NAS (stündlich, wöchentlich, monatlich etc) + regelmäßiges Scrubbing auf dem NAS.

 

[Ironcurtain86]

[IRONIC]
OMG, mein C2D mit 4 GB und 'nem SAS Controller nimmt sich schon 180 Watt ohne HDDs - ich erschiess mich besser gleich *gfg*
(mit 15 HHDs sind's dann gerade mal 230 Watt)
[/IRONIC]

Bei meinem Hauptsystem ist mir der Stromverbrauch auch relativ egal. Aber wenn der Server aufgrund fehlender Treiber oder Kompatibilität im Idlen fast das doppelte verbraucht, finde ich das irgendwie schon ein bischen fail. Mit Windows und Treibern krigt man das Teil nämlich unter 20 Watt.

Meine (nicht ganz objektive Meinung)

-CLI wird bei napp-it nur einmal gebraucht (zum Installieren)

- napp-it ist nicht der Versuch einen möglichst einfachen Homeserver zu bauen, sondern 10 Jahre extrem innovative Ideen von Sun bezüglich High-End Storage bedienbar zu machen - Storage Vorkenntnisse sind hilfreich.

- Single-threaded SAMBA is gut, Solaris CIFS meist schneller - selbst im Vergleich zu SMB3.

- Gutes Backup is sync aufs externe ZFS-NAS an einem anderen Ort/ Brandabschnitt mit read only Snaphots auf dem NAS (stündlich, wöchentlich, monatlich etc) + regelmäßiges Scrubbing auf dem NAS.

Dann ist es wohl nichts für mich. Ich bin leider nicht so der Profi in dieser Materie. Für erfahrene Benutzer ist dieses System bestimmt super, das will ich gar nicht abstreiten.

 

[gea]

B
Dann ist es wohl nichts für mich. Ich bin leider nicht so der Profi in dieser Materie. Für erfahrene Benutzer ist dieses System bestimmt super, das will ich gar nicht abstreiten.

Ganz pragmatisch gesehen:
Man nimmt etwas was man kennt z.B. Windows als NAS und gut - egal wie sicher.

Als Alternative kommt ein 0/8/15 Fertig-NAS wie Synology in Frage.
Auch da muss man sich etwas einarbeiten und sollte sich Linux Basis-Kenntnisse zu SAMBA oder ext4 Dateisystemen anlesen - sonst fällt man bei Problemen auch da auf die Nase - und ext4 ist nicht gerade das Dateisystem das ich gerne nehmen würde.

Das Beste (ist so!!) was Datensicherheit und Datenwiederherstellung derzeit angeht ist ZFS als Dateisystem. Auch das braucht Know-How und Einlesen - Egal ob FreeNAS oder napp-it oder was anderes. Ich denke nur, es lohnt sich. Man muss eher weniger wissen als um ein Windows zu bedienen und halbwegs sicher als Datenablage zu machen.

ZFS ist das Mass der Dinge was heutzutage Datensicheheit/ Datenverifizierung/Langzeitstorage bei einem NAS angeht ! Echte Datensicherheit ist aber nicht ohne etwas Einarbeitung zu haben - egal welches OS oder Dateisystem.