Große Daten zuverlässig kopieren über langsame Leitung

[jraf]

Hallo allerseits,

ich habe aktuell folgendes Thema: Kopieren von Backup Daten von einem Windows 2003 Server auf einen anderen.
Die Daten sind zwischen 20 und 300 GB groß und müssen über eine 100MBit Leitung geschickt werden.
Hierbei soll zum Einen sichergestellt sein, dass die Daten zuverlässig auf der anderen Seite ankommen, zum Anderen muss beachtet werden, dass noch allerhand andere Daten über diese Leitung huschen - d.h. die volle Bandbreite kann und soll auch nicht genutzt werden. Das Ganze soll natürlich per Script ohne Benutzereingriff automatisch laufen.

Welche Lösungen könnt iht für sowas empfehlen?
Wir haben schon mit Robocopy und FTP über curl gearbeitet, hat aber nicht zuverlässig funktioniert.

 

[hostile]

Was heißt denn "nicht zuverlässig"? Die meisten (oder alle?) Protokolle, die zwischen den Kopiervorgängen zum Einsatz kommen, haben ja alle Prüfmechanismen, ob Daten komplett angekommen sind.

gruß
hostile

 

[jraf]

Was heißt denn "nicht zuverlässig"? Die meisten (oder alle?) Protokolle, die zwischen den Kopiervorgängen zum Einsatz kommen, haben ja alle Prüfmechanismen, ob Daten komplett angekommen sind.

Wenn die Daten eben nicht komplett ankommen hilft es ja nix wenn man das verifiziert hat - deswegen sind die Daten dann auch nicht vollständig drüben
Eine Prüfsumme auf Quell- und Zielseite zu bilden und abzugleichen kann man immer zusätzlich machen - Ziel ist aber zunächst, dass die Daten auf der anderen Seite überhaupt komplett ankommen. (Falls z.B. die Leitung zwischenzeitlich kurz unterbrochen wäre sollte der Kopiervorgang an der Stelle fortgesetzt werden können statt komplett neu anzufangen)

Ausserdem sollte der Kopiervorgang in endlicher Zeit beendet werden können (z.B. an einem Wochenende). In diesem Fall handelt es sich nämlich um einen regelmäßig erforderlichen Task

 

[hostile]

Ja, aber nehmen wir TCP als Beispiel. Das Protokoll enthält einen Mechanismus, Pakete solange zu empfangen, bis sie korrekt und vollständig empfangen wurden. Deswegen frag ich mich gerade, was bei dir da schief geht. Diverse Kopierprogramme, die auf Dateiebene arbeiten, gleichen auch Checksummen von gelesenen und geschriebenen Blöcken ab.

Ich würde eher mal forschen, warum die Fehler auftreten.

Diverse (S)FTP Clients beherrschen das weiterschreiben, wenn die Verbindung mal unterbrochen wurde.

Wird auf den Dateien noch weitergeschrieben, wenn sie kopiert werden? Oder werden sie exklusiv gesperrt?

Sonst schau dir mal FTAM an.

gruß
hostile

- - - Updated - - -

PS: Auch andere Daten, die das gleiche Medium benutzen, sollten keine Einfluß auf deinen Kopiervorgang haben. Ich meine, das ist doch erprobte Technik und keine Zauberei. Glaube eher, nimm's mir nicht übel, dass an eurem Konzept etwas faul ist.

 

[p4n0]

... oder die Infrastruktur hat nen Knacks weg.
Wir schieben viel ueber FTP / SFTP hin und her. Da geht nix schief.

Grueße

 

[jraf]

Wir schieben viel ueber FTP / SFTP hin und her. Da geht nix schief.

Auch mehrere 100 GB große Dateien?

PS: Auch andere Daten, die das gleiche Medium benutzen, sollten keine Einfluß auf deinen Kopiervorgang haben. Ich meine, das ist doch erprobte Technik und keine Zauberei. Glaube eher, nimm's mir nicht übel, dass an eurem Konzept etwas faul ist.

Also über die Leitung laufen auch Transaktionsreplikationen von SQL-Datenbanken. Es werden auch andere Daten regelmäßig synchronisiert. Das klappt auch alles problemlos. Es geht nur um die richtig großen Brocken - evtl. ist das auch ein Timing Thema, wo wir wiederum bei diesem Punkt wären:

Wird auf den Dateien noch weitergeschrieben, wenn sie kopiert werden? Oder werden sie exklusiv gesperrt?

Ich hatte auch schon daran gedacht, die Dateien in kleinere Blöcke zu splitten und auf der Gegenseite wieder zusammenzupacken. Dazu bräuchte ich allerdings deutlich mehr Plattenplatz, der leider nicht vorhanden ist.

 

[hominidae]

OT: ...also zu meiner Zeit war das Proggi, welches Daten sicher und in beliebigen Mengen - selbst durch einen einzelnen Draht - schubsen konnte: Kermit
Schön das die Jugend von heute diese Probleme immer noch hat

 

[DjGrave]

Oder schau dir mal bittorrentsync an ...

Gesendet von meinem XT890 mit der Hardwareluxx App