Warum arbeitet Rsync im Schneckentempo?

[ThomasSH]

Hallo,

nachdem die Sync-Aufgabe nun läuft eine neue Frage: Warum arbeitet das Syncen so langsam? Auf beiden Server ist nichts los, sie sind mit Gigabit Ethernet verbunden, und laut Webinterface von FreeNAS 9.3 bzw. 9.2.9 laufen nur 150MBit/s (konstant seit über 2 Stunden) über die Leitung. Selbst der schwächere der beiden Server schafft beim Kopieren von oder nach Mac OS X 120 MByte/s. Da müßten die beiden sich doch schneller austauschen können...

Thomas

 

[AG1M]

Ich hatte auch erst langsame Geschwindigkeiten über rsync.

Ich nutze derzeit dieses Script und laste 1 GbE fast voll aus:

rsync -av --progress --protocol=29 --human-readable /mnt/storage/backup/ /mnt/backup/backup

 

[Colttt]

Wie sehen denn seine rsyncoptionen aus?

 

[Datenschlampe]

Wie gross sind denn die Dateien? Wenn der pro MB 100 Dateien anlegen muss, dann hat er ja mehr zu tun als nur Daten zu schieben.

 

[Seratio]

Wenn ich mich recht entsinne, nutzt doch rsync bei Server zu Server verbindungen standardmäßig ssh. Ist deine CPU vll einfach am ende und der Server kommt nicht hinterher, die Daten schneller zu verschlüsseln?

 

[Trendstar]

Wenn ich mit Rsync arbeite dann nutze ich ein Script das so ähnlich aussieht wie die Kommandozeile vom AG1M
Generell arbeite ich mit Backups bzw. erstelle diese und dafür nutze ich DD . Wenn ich darüber ein 1 TB Backup erstelle ist das in 15-20 Min erledigt und das mit G/Bit Netzwerk. Natürlich dauern größere Backups seine Zeit ,aber bei 8 CPU Kernen (Beispiel) kann man 6 Kerne für die Komprimierung verwenden was das Daten Verschieben/Erstellen erleichtert. Bei 4 Kernen könnte man 1 Kern für die Datenschieberei nutzen ,2 Kerne die die Drecksarbeit erledigen (Komprimieren) und der 4te Kern überprüft/überwacht das ganze. Wenn man natürlich alle Anwendungen auf einen Kern legt ist klar das das entsprechend lange dauert.

Ist nur ein Tip nix weiter.

 

[Datenschlampe]

1 TB ueber ein GBit Netzwerk schieben dauert (vorsicht, ich denke langsam ..)
1 GBit/s = GB/8s = 1TB / 8000s
8000s = 8000/60 min = 133 min = mehr als 2 Stunden

Wie machst Du das in 15 - 20 Minuten ? wo ist mein Denkfehhler?

 

[TCM]

Wahrscheinlich so zusammenkomprimiert, dass es in 20 Minuten erledigt ist.

 

[fax668]

Generell ist es wesentlich schneller, einfach das komplette Dateisystem zu packen als jede einzelne Datei anzufassen. Aber das erklärt natürlich nicht, warum rsync das Netzwerk nicht auslastet. Jetzt schreib doch bitte mal genau, mit welchen Parametern rsync aufgerufen wird.