FreeNAS Datensicherung auf USB

[fard dwalling]

Hallo zusammen,

ich habe jetzt seit ein paar Tagen mein Xpenology gegen FreeNAS eingewechselt. Die Sache mit den Jails ist ja schon mal eine super Sache. Jeder Dienst mit eigener IP Adresse erreichbar, echt nett.

Aber mit dem Thema Datensicherung komm ich irgendwie nicht weiter. Ich habe 2 6TB im RAID-Z. Alle Daten sollen auf eine externe 6TB USB gesichert werden. Ich habe diverse Anleitungen durch, die mehr oder weniger gut funktionieren.
Aktueller Stand ist ein Z-Pool auf der USB Platte und rsync per Cron Job. Da scheint aber was zu haken, den das Ding ist tagelang am rödeln. Beim ersten Mal hab ich ganz zuversichtlich direkt den Cron Job auf täglich gesetzt und nach 3 Tagen erst bemerkt, das da auf einmal 3 rsync Jobs aktiv waren und das Ding in die Knie gebracht haben.

Jetzt habe ich gestern morgen mal den Job einmalig angestoßen, aber der wird nicht fertig. Aktuell läuft der Befehl in einem TMUX damit ich mal sehen kann bis wohin er kommt...

Der rsync Befehl sieht wie folgt aus:
rsync -zvr /mnt/Storage /mnt/ServerBackup --delete-after

Aber gibt es denn keine einfachere Sache? Bekommt man Duplicati auf FreeNAS zum laufen und kann darüber dann alles sichern?
Der Pool Storage ist mit 3.3TB belegt.

Vielen Dank für eure Denkanstöße.

PS: Ach noch was, ich dachte rsync würde prüfen was schon auf dem Ziel liegt und nicht nochmal kopieren. Wenn ich aber so in das TMUX reinschaue, kopiert er immer alles nochmal?!

 

[martingo]

Nachdem beides zfs pools sind, bietet sich zfs send/receive an und ist dem rsync Job auch deutlich vorzuziehen.

 

[fard dwalling]

Kannst du mir da bei der Befehlszeile behilflich sein?
Wie Krieg ich die USB Platte wieder gelöscht? Bei Disk sowie bei Pools gibt es kein Delete mehr..

 

[katzenhai]

Probier mal ZFS offsite Backup auf eine externe Festplatte | blog | escape now!.
Wenn ich Zeit über Weihnachten finden sollte wird das mein Projekt.

 

[Falo999]

Ich habe kaum ahnung von Linux und kann dir dabei nicht helfen, aber grundsätzlich solltest du bedenken das diese Satz normal ist:

den das Ding ist tagelang am rödeln.

Wenn du eine normale USB Festplatte hast kannst du normal maximal 80MB/sek dauerhaft Schreiben, in der Realität passiert es recht oft das man auf USB2 zurückfält dann sind es nur noch 30MB/Sek.

Und dann dauert es halt um 3,3TB zu schreiben schnell mal 30h.

Deswegen wäre es nicht so gut das jeden Tag oder auch nur jeden 3. Tag die 3TB komplett zu sichern.

Unter Windows gäbe es das mitgeliefert Programm Robocopy mit den Parameter /mir und damit braucht man beim ersten mal die volle zeit, aller weiteren Backups werden nur die ändernungen übertragen was in der Praxis nur selten länger als 1-2 Minuten dauert.

 

[martingo]

Die Befehle stehen im Shellscript von katzenhai, aber durchaus sinnvoll, die Komplettlösung zu übernehmen.
@Falo999: rsync ist ähnlich wie robocopy und kann auch inkrementell arbeiten. Ebenso zfs send/recv. Letzteres hat den Vorteil, dass man auch snapshots sichern kann. D.h. auch wenn man nach dem Backup bemerkt, dass man eine wichtige Datei gelöscht hat, kommt man auf beiden zpools noch dran.

 

[gea]

Wenn Daten und Backup beidesmal ZFS ist, ist ganz klar inkrementelle ZFS Replikation das schnellste Verfahren. Da es auf ZFS Snapshots basiert, werden auch offene Dateien gesichert. Dazu erfolgt die Übertragung und das Speichern mit Prüfsummenabsicherung. Auch ist ZFS wohl das robusteste Dateisystem für Daten und Backup. Mit aktuellem Open-ZFS (FreeNAS wohl Mitte 2020) kann man sogar verschlüsselte Dateisysteme "raw" sichern.

Die ZFS Replikation sollte man direkt in FreeNAS erledigen können. Vor dem Backup halt den USB Pool importieren, dann syncronisieren und anschliessend Pool exportieren.

 

[fard dwalling]

Vielen Dank für eure Tipps.

Erstmal Frohe Weihnachten!

Ich habe mir das jetzt nochmal mit der Replikation angeschaut. Scheint tatsächlich einfacher zu sein. Im Zweiten Anlauf hat die Einrichtung auch geklappt (Semi Automatic vs Manuell) und ich schau mal, wie lange er jetzt für das erste Dataset benötigt.

Das USB3 Gehäuse scheint aber nicht das schnellste zu sein. Hab ich jetzt auf der Arbeit gemerkt. Da ist das gleiche (ICY BOX IB-366StU3+B 0) und kommt auch nur auf knapp 50/60 MB/s. Das große LianLi kommt auf 120 und mehr. Von der MyBook bin ich auch etwas schnellere Werte gewohnt.

 

[fard dwalling]

Also mit Replikation hat alles geklappt. Alle Datasets sind repliziert. Snapshots sind auch konfiguriert.
Jetzt mal noch eine separate Externe für Einmalreplikation einrichten. Dann passt das mit dem Offline Backup auch.

 

[mastersteve1]

Hi Zusammen, interessantes Thema....
ich mach das zwischen zwei Freenas Systemen mit den Snapshots. Bin Sehr zufriede, da das sehr komfortabel ist. Einmal konfiguriert macht mein Aufbau hier alles. WOL von meinem Router an das BackupNAS einmal alle zwei Tage und die SnapShots werden automatisch repliziert. Nach einer fest definierten Zeit fährt das BackupNAS dann wieder sauber runter. Bisher hatte ich noch keine Problem mit der Zeitvorgabe, kann aber bei größeren Datenmengen schon noch kommen.....

Jetzt hab ich mal eine Frage zu einer Theorie die ich gern umsetzen würde...

Ich hab bei nem Bekannten in der Firma nen WIN2012R2 laufen als DC und Fileserver. Ich würde mir gern etwas Arbeit sparen und die Serversicherung via VPN rüber spielen zu mir. Ist es möglich die externe Festplatte auf der die Sicherung aktuell gemacht wird, in mein System (Freenas) einzubinden und dann wieder über ISCSI an den Server verknüpfen? Das ganze soll dann via Aufgabenplanung eine VPN Verbindung aufbauen und abbauen einzig für ein tägliches OffSite-Backup.

Das Problem ist eben, dass mir für ein erstes Vollbackup die Bandbreite einen strich durch die Rechnung macht. Die inkrementellen sehe ich nicht als Problem.

Was sagt Ihr dazu? Oder eher Finger weg von sowas?