rsync Ordner größe Unterschiedlich

[NiclasM]

HeY

Ich wunder mich bei rsync...

Habe es so eingestellt :

rsync -z -c -a -v -P --delete -b --backup-dir=/error-del/ --rsh="ssh -p 55555" -o STRICTHOSTKEYCHECKING=no"


Auf dem Server der gebackuped hat ist z.B. ein Ordner

334420 Rechnungen/ groß und auf dem Original :
335996 /Rechnungen/


Woher kann der Unterschied kommen der Größe ?

 

[foxxx]

einmal

"

zuviel hinter der port-nummer, damit wird der rest dahinter ungültig und gibt ggfs. fehler

 

[NiclasM]

Ja hast du recht, allerdings wohl nur beim Koppieren was fehlgeschlagen.
habe gerade nachgeschaut und dort steht richtig :

--rsh="ssh -p 55555 -o STRICTHOSTKEYCHECKING=no"


Gleiches bei anderen Ordnern :

Server:/mnt/RAID# du -s Arbeit/
246332 Arbeit/
Server:/mnt/RAID# du -s Juergen/
16792 Juergen/

ks304609:/kunden/XXXX/Server# du -s Arbeit/
120548 Arbeit/
ks304609:/kunden/XXXX/Server# du -s Juergen/
16392 Juergen/

Hier mal alle Befehle :

00 02 * * * echo "-----------------------------" >> /var/log/rsync/XXXXXXXXXXXXx && date >> /var/log/rsync/XXXXXXXXXXXXx && rsync -z -c -a -v -P --delete -b --backup-dir=/error-del/ --rsh="ssh -p 55555 -o STRICTHOSTKEYCHECKING=no" niclas@XXXXXXXXXXXXx-system.dyndns.org:/Rechnungen /kunden/XXXXXXXXXXXXx/Brackel >> /var/log/rsync/XXXXXXXXXXXXx
00 02 * * * echo "-----------------------------" >>/var/log/rsync/XXXXXXXXXXXXx-doc && date >>/var/log/rsync/XXXXXXXXXXXXx-doc && rsync -z -c -a -v -P --delete -b --backup-dir=/error-del/ --rsh="ssh -p 55555 -o STRICTHOSTKEYCHECKING=no" niclas@`curl http://secure-dortmund.de/.XXXXXXXXXXXXx.php`:/doc /kunden/XXXXXXXXXXXXx/Brackel/Server/ >>/var/log/rsync/XXXXXXXXXXXXx-doc
00 02 * * * echo "-----------------------------" >> /var/log/rsync/XXXXXXXXXXXXx-daten && date >> /var/log/rsync/XXXXXXXXXXXXx-daten && rsync -z -c -a -v -P --delete -b --backup-dir=/error-del/ --rsh="ssh -p 55555 -o STRICTHOSTKEYCHECKING=no" niclas@`curl http://secure-dortmund.de/.XXXXXXXXXXXXx.php`:/daten /kunden/XXXXXXXXXXXXx/Brackel/Server/ >> /var/log/rsync/XXXXXXXXXXXXx-daten
00 02 * * * echo "-----------------------------" >> /var/log/rsync/XXXXXXXXXXXXx-arbeit && date >> /var/log/rsync/XXXXXXXXXXXXx-arbeit && rsync -z -c -a -v -P --delete -b --backup-dir=/error-del/ --rsh="ssh -p 55555 -o STRICTHOSTKEYCHECKING=no" niclas@XXXXXXXXXXXXx:/mnt/RAID/Arbeit /kunden/XXXXXXXXXXXXx/Server/ >> /var/log/rsync/XXXXXXXXXXXXx-arbeit
00 02 * * * echo "-----------------------------" >> /var/log/rsync/XXXXXXXXXXXXx-juergen && date >> /var/log/rsync/XXXXXXXXXXXXx-juergen && rsync -z -c -a -v -P --delete -b --backup-dir=/error-del/ --rsh="ssh -p 55555 -o STRICTHOSTKEYCHECKING=no" niclas@XXXXXXXXXXXXx:/mnt/RAID/Juergen /kunden/XXXXXXXXXXXXx/Server/ >> /var/log/rsync/XXXXXXXXXXXXx-juergen
00 02 * * * echo "-----------------------------" >> /var/log/rsync/XXXXXXXXXXXXx-manfred && date >> /var/log/rsync/XXXXXXXXXXXXx-manfred && rsync -z -c -a -v -P --delete -b --backup-dir=/error-del/ --rsh="ssh -p 55555 -o STRICTHOSTKEYCHECKING=no" niclas@XXXXXXXXXXXXx:/mnt/RAID/Manfred /kunden/XXXXXXXXXXXXx/Server/ >> /var/log/rsync/XXXXXXXXXXXXx-manfred

Gefordert ist dass die Daten immer auf einem 1:1 Stand sind und Veränderungen / Löschungen gebackupt werden...

 

[5chund]

Möglicherweise unterschiedliche Filesysteme auf beiden Maschinen?

 

[NiclasM]

Ähm, ja !

Auf dem Backup-Server EXT4 und auf den Normalen Server'n EXT3...

Sind denn die Befehle so ok ?

 

[5chund]

Die sollten okay sein.
Du kannst ja mal mit einem...

find -type f -print0 | xargs -0 md5sum > md5.log

...auf beiden Maschinen die md5 Summen von allen Dateien in deinen Backupverzeichnissen erstellen lassen und dann die beiden Dateien mit diff vergleichen.

 

[NiclasM]

Wie mach ich dass mit Diff?
Hast du vllt eine Anleitung?

 

[5chund]

Im Idealfall gibt diff gar nichts aus. Ansonsten einfach kurz den Wikipedia Artikel konsultieren.

 

[NiclasM]

Naja, ich weiß nicht was ich davon halten soll.
Ich habe 236 differences. Davon sind die meisten Changed, 7 Delited und 6 Inserted.

Ich habe das Programm Kompare verwendet umd die sachen zu Vergleichen. Insmt wurden 14400 Linien verglichen.

Ganz so verstanden habe ich das noch nicht...

 

[5chund]

Hast du es direkt nachdem rsync gelaufen ist verglichen? Dann sollten da eigentlich null Unterschiede da sein wenn dein rsync befehl passt.
Ansonsten ist klar dass mal was gelöscht oder verändert wurde.
Das Vergleichen mit diff ist einfach nur ein Weg um relativ einfach zu Prüfen ob alles richtig auf die Backupmaschine kopiert wurde.

 

[NiclasM]

Jap , warte jetzt noch auf den Sync start und vergleiche dann um halb 3

---------- Beitrag hinzugefügt um 02:36 ---------- Vorheriger Beitrag war um 01:02 ----------

Ok folgendes: Ich komme nicht ganz mit diff klar und mag es nicht :-P

Habe jetzt aber eine andere Lösung gefunden.

Habe mit

find Rechnungen -type f -name '*' -exec md5sum {} > log \;

von dem Original Verzeichnis und dem Backup Verzeichnis mir MD5's geben lassen und die dann in eine datei koppiert. Sodass dublicate vorlagen. Habe dann mit

sort log | uniq -u

die Duplikate raus fliegen lassen. Schlussendlich kam nur

niclas@ThinkPad:~/Desktop$ sort neue\ Datei | uniq -u
26f0748ae98a75ecfa34a93411584fda Rechnungen/Netzwerkfreigabe Verbinden.DOCX
26f0748ae98a75ecfa34a93411584fda Rechnungen/Netzwerkfreigabe Verbinden.DOCX

als Ausgabe.
Somit sind alle Daten gleich oder ?
PS: Warum bekomme ich diese Ausgabe ?

PPS: Habe gerade noch mal einen anderen sehr wichtigen Ordner vergleichen und habe da auch genau 0 unterschied verstellen können. Glücklicher weise.

 

[NiclasM]

Ich muss den Thread wieder hochholen, da ich das gleiche Problem wieder habe.
Beide sind EXT4 Dateisysteme, und direkt nach dem Backup die MD5 Summe von allen rausgeholt.

Backup befehl ist :

rsync -a -P -v --delete -c --stats niclas@192.168.0.22:/mnt/12.5TB /mnt/

 

[leeps]

"Das gleiche Problem" heisst, Du hast wieder keine md5sum Unterschiede?

 

[NiclasM]

Doch, ich hab derbe viele Unterschiede.

Deswegen bin ich so verwundert. wären dass 2-3 Dateien ok, aber es ist unheimlich viel anders ...

 

[nrdblg]

Du kannst die Optionen übrigens zusammenfassen, z.B. mit

rsync -avzc -e 'ssh -p 55555'

statt avz einzeln und rsh="irgendwas"

Bei der Größe würde ich auch auf die unterschiedlichen Filesysteme tippen, an Deiner Stelle würde ich mich nur auf die Checksummen verlassen.

Grüße
nrd

 

[NiclasM]

Ja, will ich ja aber viele MD5 sind unterschiedlich...

 

[xrated]

Nur mal am Rande, ich glaube rsync vergleicht default nur Datum und Filegröße. Wenn beides stimmt, wird nichts kopiert aber deswegen kann der Dateiinhalt trotzdem anders sein.

Wobei hier imho das Gegenteil steht:
-c, --checksum skip based on checksum, not mod-time & size

Einfach mit oder ohne -c probieren.

 

[nrdblg]

was da steht heißt, dass aufgrund der checksum geskippt werden soll, und nicht mehr aufgrund Datum und Größe. Stimmt also alles.

nrd

 

[NiclasM]

Ja, Is genau deswegen Frag ich euch ja...
Ich weiß absolut nicht weiter

 

[NiclasM]

Das mit der -c Option hab ich mal weggelassen, und anscheind hats funktioniert. Wäre nur gut wenn ich dahintersteigen würde...

Habe alle MD5s von beiden Servern in eine Datei gepackt und dann

niclas@ThinkPad:~/Downloads$ sort test | uniq -u
04aa82a9c048005955c55a0be96bdff0 ./VM/FIBERDOC-1.img
08d210bcddfed5cf45351cab449d4ac9 ./VM/Projekt-DB-2.img
14daf40787f535ec85e52085ae5e6e1a ./VM/FIBERDOC-1.img
1bf5b900c15c69c97a1b52e4e4601631 ./Kamera/17.00-of-14.11.11.avi
371af403740fafbec4c33f5f115d05c4 ./Kamera/17.00-of-14.11.11.avi
45c8e6f3574897fb11d0e04314b32eb9 ./Kamera/18.00-of-14.11.11.avi
4fed5230ba55ec79f31abdc788f5a9a2 ./VM/Projekt-DB-1.img
6a7852cd4ddbc576594e6b54525c5678 ./md5.log
6c6f27f3a40373f780679f64ee736c92 ./md5.txt
81d93df86f0925ff27f60178534d66ae ./VM/Projekt-Management-1.img
82e70bed70ff150f4e7042ab6199e9bf ./Kamera/17.00-of-30.10.11.avi
8d0706fd063c60488b70170dede22f39 ./VM/Projekt-Management-2.img
fef5bd193a932e1a5901b72f5e20ef33 ./md5.log

Ausgeführt. Also damit könnte ich leben.

 

[foxxx]

./VM/FIBERDOC-1.img und ./Kamera/17.00-of-14.11.11.avi sind allerdings doppelt, was nicht sein dürfte

 

[NiclasM]

Hab alle MD5s von beiden Server in eine Text datei. Wenn die nicht 100% identisch sind, dann sind Sie doppelt

Allerdings habe ich noch nicht verstanden warum das Programm so handelt. Jetzt hat er ja nur nach Date und Size verglichen oder ?