Extrem viele Dateien (1,7TB) von Linux Server auf NAS sichern

[Clarkson]

Wir haben ein Problem in der Firma, vielleicht kann ja hier jemand helfen. Wir haben einen Linux Server, welcher als eine Art Fileserver fungiert, mit 1,7TB an sehr sehr vielen Dateien. Ich habe eine Analyse nach ca. 1 Mio. Files abgebrochen, weil es einfach zu lange gedauert hat. Wir möchten diese Dateien gerne auf ein NAS sichern.
Leider können die Daten nicht lokal auf dem Server zwischengespeichert werden (z.B. um sie vorher auf dem Server zu packen), da nicht mehr genügend Platz vorhanden ist.
Wir haben deshalb versucht, die Dateien mit Veeam Endpoint Backup zu sichern, da dieses die Dateien in Blöcken packt und auf das NAS schreibt, quasi "streamt". Leider lässt die Performance mit der Zeit so stark nach, dass wir selbst nach 3 Tagen erst 58% gesichert haben. Das wäre grundlegend erstmal kein Problem, da nur ein initiales Vollbackup gemacht wird, alle weiteren Backups wären inkrementell und die Daten verändern sich kaum, aber leider fällt die Performance exponentiell. D.h. selbst nach ca. 1 Monat sind erst 83% geschafft und wir vermuten, dass das Backup dadurch nie bei 100% ankommen würde. Wir versuchen es zwar aktuell, sehen aber schwarz.

Hatte schonmal jemand eine ähnliche Problemstellung und kann uns einen Tipp geben, wo wir angreifen könnten?

Vielen Dank!

 

[MicroCane]

Hatten das Problem auch mal.

Bitte FreeFileSync ausprobieren. Damit lässt sich eine abgebrochene Übertragung auch gut fortsetzen.

 

[-INU-]

1,7TB sind nicht viel

Aber egal, was sind denn da für Platten in dem Server, was läuft auf der Kiste und was für ein NAS habt ihr jetzt ?

 

[danielmayer]

Und mit was wird kopiert? Explorer Windows von Server zum NAS? Das wäre wahrlich keine gute Idee...

 

[Clarkson]

1,7TB sind nicht viel

Aber egal, was sind denn da für Platten in dem Server, was läuft auf der Kiste und was für ein NAS habt ihr jetzt ?

Wo steht denn, das 1,7TB viel sind? Es steht nur da viele Dateien!

Die Platten sind nicht übermäßig performant, aber auch nicht lahm. Ganz normale Serverplatten eben. Ich denke mal 10k SAS, hab mir die Hardware noch nicht genauer angeschaut. Da die Performance am Anfang ok ist, denke ich nicht, dass es an der Hardware liegt.

@ danielmayer: Steht da. Veeam Endpoint Agent für Linux.

Danke für den Tipp mit FreeFileSync, werden wir mal testen.

 

[Digi-Quick]

was ist das für ein NAS?
Irgenein billiges FertigNAS von Syno, QNAP oder ähnliches mit schwachbrüstiger CPU und Nullkommagarnix an RAM?
Ein teures FertigNAS mit etwas besserer CPU und immer noch zu wenig RAM?
Ein Sehr Teures NAS (über 1000 €) welches dan endlich vernünftige Leistung hat (wo ein Selbstbau auf Basis des HP Micoroserver G8 für 200 € locker mithalten kann)

 

[Clarkson]

Es ist ein 64TB QNAP Nas mit 64GB Ram. Ich kann eigentlich wie gesagt alle anderen Faktoren als die Backup Software ausschließen.

 

[Sannyboy111985]

Mal an NFS und Rsync gedacht?

 

[Digi-Quick]

Damit dürfte das NAS als Flaschenhasl rausfallen bzw. performant genug sein.

"Veeam Endpoint Agent"
Ein Agent wird eigentlich von einem Hauptprogramm angesprochen und gesteuert!
Auf der Webseite von Veeam sieht das aber eher nach Standalone aus - wäre also in dem Fall eine etwas unglückliche Bezeichnung....

Auf jeden Fall scheint das Programm eher nicht für die Datensicherung von Linux geeignet zu sein - die Leistung ist unterirdisch zu nennen

Zum Vergleich: Ich habe gerade vor ein paar Tagen rund 11 TB mit RSYNC von meinem HauptNAS auf mein BackupNAS kopiert (Beides NAS4Free / FreeBSD), das hat etwa 30 Stunden gedauert.
876.836 Dateien in 40.012 Verzeichnissen

 

[gea]

Bei sehr vielen kleinen Dateien limitiert beim Lesen wie beim Schreiben vor allem wenn Fragmentierung dazu kommt vor allem die iops Leistung der Platten die Performance. Wenn dann vermutlich ein Raid 5/6 dazu kommt, bei dem die IOPS Leistung des Raidarrays so gut ist wie eine einzelne Platte (da für jeden Lese/Schreibvorgang alle Platten positioniert werden müssen), so limitiert das in erster Linie die Performance, egal ob man den Filer oder das Backup-NAS betrachtet.

Ausweg sind SSD only Arrays da die keinen Performanceeinbruch wegen Fragmentierung haben (wohl etas teuer), massive Raid-10 Arrays oder Schreib/Lese-Cache Optimierungen.

Eine mögliche Lösung wäre ZFS als Dateisystem. Das hat mit die besten Schreib-Lesecache Strategien. Beim Lesen wird der komplette freie RAM als Lesecache genutzt. Eine zusätzliche SSD/NVMe läßt sich auf read ahead cache configurieren. Damit kann der überwiegende Teil der Lesevorgänge bei ausreichend RAM aus dem Cache bedient werden.

Beim Schreiben wird ebenfalls RAM als Schreibcache genutzt (default 4GB). Damit werden aus vielen kleinen Random Writes wenige große sequenzielle Writes. Das beschleunigt das Schreiben kleiner Blöcke enorm.

Zuletzt ermöglicht ZFS inkrementelle Replikation. Dabei wird zuerst das ganze Dateisystem blockweise als sequentieller Datenstrom übers Netz übertragen (maximale Performance). Anschließend werden nur Block-Änderungen auf Basis von ZFS Snaps ebenfalls als Datenstrom übertragen. Damit lassen sich sogar Hochlastsysteme im Petabyte Bereich herunter bis zu einer Minute synkron haltem - ohne Performanceeinbrüche. Rsync oder andere Sync/Backup Methoden erreichen nur einen Bruchteil der Performance. Zudem hat ZFS Replikation kein Problem mit offenen Dateien da es auf CopyOnWrite Snaps basiert.

Von der besseren Zuverlässigkeit im Vergleich zu ext4/ntfs mal ganz zu schweigen.

Qnap hat auch ZFS Systeme, aber leider nur die ganz teuren (auf BSD Basis).
Bei den Intel basierten Qnaps könnte man sogar auf eine ZFS Distribution umstellen. Ich habe einen User, der OmniOS (freies Solaris, da kommt ZFS her und hat immer noch die beste Integration) auf seiner Qnap hat (statt Linux/ext4).

 

[sandreas]

Ich stimme gea voll zu. ZFS wäre eine sehr elegante und die meiner Ansicht nach beste Lösung.

rsync wäre auch eine Lösung, dann musst du aber das komplette Quelldateisystem und wenn du überflüssige Löschen willst auch das Zieldateisystem scannen. Zudem wäre im Falle eines "Verschlüsselungstrojaners" dein Datenbestand gefährdet, da du keine Versionierung hast, sondern immer nur ein "Abbild".

Ich weiß nicht, ob es hier schon jemand kennt, aber mir gefällt die Backup-Software restic ganz gut. Die Software ist schnell, man kann verschlüsselte Backups machen und vor allem unterstützt sie Versionierung und Deduplizierung (ähnlich Git). Das heißt, dass einmal übertragene Dateien auf Hash-Basis mit dem Ziel verglichen werden und nur dann übertragen werden müssen, wenn sich was geändert hat. Das ganze passiert Blockweise, also wenn sich die Datei nur teilweise ändert, muss auch nur der Teil übertragen werden. Nachteil ggü der ZFS-Lösung: Das Quelldateisystem muss immer noch einmal ganz gescannt werden. Da restic in go geschrieben ist, sollte es auf den meisten Systemen sauber laufen. Einmal durchgeführte Backups können gezielt durchsucht und wieder hergestellt werden (mit find bzw. grep ähnlichen tools). Hat natürlich keine GUI...

Eine ähnliche Software ist borgbackup, die klappt aber nicht unter Windows glaube ich:
Borg Documentation Borg - Deduplicating Archiver 1.0.11 documentation