Dezentrales vollautomatisches Backup auf NAS - wie am besten umsetzen

[Benni90]

Hallo in die Runde!

Ich bin schon seit längerem am Überlegen wie ich ein dezentrales Backup über das Internet vollautomatisch auf eine NAS krige.
Zur Zeit liegen die Daten auf einen HP N40L mit Raid1 mit einer zusätzlichen Platte für das tägliche Backup.
Zu sichernde Datenmenge beträgt ca 1,5gb (bei nur geänderten Daten ca 500-600MB, die beim sichern neu übertragen werden müssten). Das Problem das ich gerade sehe ist das ich an dem Standort nur DSL 16000 verfügbar ist, sprich 1mbit/s Upload. Die Sicherung sollte wenn möglich nur Nachts geschehen um nicht die komplette Internetleitung in beschlag zu nehmen.

Nun aber die Frage..
Wie kann ich das am besten Umsetzen?
Dachte an einen OPenVPN Server auf der Synology NAS (Problem der OpenVPN Server verhindert den Spindown der Platten -> für mich unvorteilhaft da nur 2 mal in der Woche extern gesichert werden soll; unnötiger Stromverbrauch)
SFTP Backup fällt aus, da selbst nur für die analyse der geänderten Datein eine halbe ewigkeit vergeht.

Vielleicht habt ihr ja noch bessere Vorschläge für mich - wichtig wäre mir eben nur das das Backup nicht gleich 12h oder länger dauert.

Wäre über Vorschläge und Anregungen sehr Dankbar

Gruß
Benni

 

[sweetchuck]

Dachte an einen OPenVPN Server auf der Synology NAS (Problem der OpenVPN Server verhindert den Spindown der Platten -> für mich unvorteilhaft da nur 2 mal in der Woche extern gesichert werden soll; unnötiger Stromverbrauch)

Kann man da den OpenVPN-Server per cronjob starten/stoppen?

SFTP Backup fällt aus, da selbst nur für die analyse der geänderten Datein eine halbe ewigkeit vergeht.

Beim Backup per rsync kann man einstellen, dass er nicht die Inhalte vergleicht, sondern nur die Dateigröße. Für große Datenmengen, die sich praktisch nie ändern (Videos, etc.) kann das schon ausreichen.

 

[Benni90]

Ob ich den OPenVPN Server per cronjob starten bzw. stoppen kann ist mir nicht bekannt, müsst ich mal nachlesen. Ansonsten so lange wie ein User verbunden ist fährt die Synology auch nicht in den Standy. Der Server selber schreibt ein haufen log Daten , was ich aber testweise alles in der config auskommentiert habe.

Nach Dateigröße möcht ich das nicht unbedingt vergleichen, eher nach Änderungsdatum - wäre mir sicherer.

Ich wäre auch gerne für andere möglichkeiten/ Ideen offen.

 

[Gelöschtes Mitglied 201764]

guck dir mal rsync über ssh an. mit --delete kann man ein 1zu1 Abbild zwischen Quelle/Ziel machen.
Beispiel:
rsync -avz --delete -e "ssh -p DEINPORT" /BACKUP-QUELL-PFAD/ backupuser@IP-Adresse(DYNDNS):/BACKUP-ZIEL-PFAD > /LOG-PFAD/log/backup--`date +\%Y\%m\%d\%H\%M\%S`-cron.log 2>&1
Hier wird ein 1zu1 Abbild des Quell-Ordners in den Ziel Ordner gemacht. Zusätzlich wird eine Log-Datei mit Datum Uhrzeit ect. erstellt.
Den Port kannst du z.B in der Firewall/Router freigeben und vom internen SSH-Port(22) auf irgendeinen externen Port z.B 2498 Natten. Dann gibst du unter "DEINPORT" 2498 ein. Erstellst ssh-keys für den User, trägst alles an Cron-Job ein & dann rennt das Backup jeden Tag. Falls du nicht nur ein Backup haben möchtest kannst du auch als Ziel Pfad eine variable eingeben dann erstellt er immer Ordner mit aktuellem Datum & schiebt dort das Backup hinein.

 

[Benni90]

Hallo

Hatte viel um die Ohren und konnte mich deswegen nicht vorher melden..
Leider ist es mir nicht möglich über ssh einen Tunnel auf die Synology herzustellen - keine Ahnung obs an mir liegt oder am System selber. Ich krige keine Verbindung zustande.
bleibt wohl doch nur VPN

 

[Gelöschtes Mitglied 201764]

ist ssh den überhaupt aktiviert? Siehe: Die Kommandozeile

Ein Login sollte nun mit root und dem admin passwort klappen.

 

[Benni90]

SSH ist aktiviert.. hab das Problem auch grad gesehen..
Ich habe erstmal nur über Putty versucht einen ssh Tunnel herzustellen, irgendwie scheint er aber die Ports nicht mit ins das Profil übernommen zu haben.

 

[Benni90]

SSH Synchronisation steht und funktioniert soweit, das einzigste was mich stört ist jedes mal das Passwort eingeben zu müssen.
Kann man das Passwort irgendwie mit übertragen?

 

[Gelöschtes Mitglied 201764]

top. Das funktioniert mittels SSH-Keys. du loggst dich auf dem Hauptsystemen via ssh ein und gibst folgenden Befehl ein: ssh-keygen
dann immer enter drücken. Anschließend kopierst du den public-key (z.B /root/.ssh/id_rsa.pub) auf den Ziel-Server in den (Home-)Ordner der Users in die Datei authorized_keys (z.B /root/.ssh/authorized_keys). Ich habe gerade keine Zeit das genauer zu erklären. Ich versuche es morgen nachzureichen.
Du kannst dich da aber auch schnell selber rein lesen in der Sektion (Preparations On Our Client (Desktop) System) : https://www.howtoforge.com/set-up-ssh-with-public-key-authentication-debian-etch

Oder du suchst mal nach ssh authentication without password.

Viel erfolg

 

[Benni90]

RSA Keys habe ich soweit erstellt und auf dem Windowssystem sowie dem NAS hinterlegt, rsync greift auch darauf zu - allerdings fragt er jetzt nach einen passphrase. Beim erstellen der Keys habe ich aber keinen angegeben. Wenn ich dann auf enter klicke werde ich trotzdem nach dem root Passwort gefragt.
Habe probehalber mal neue Keys mit Passphrase generiert und angegeben - dort wird das Passphrase Passwort aber nicht angenommen, angeblich falsches Kennwort.

 

[besterino]

Sorry, wenn ich mich einmische, aber vielleicht hilft's ja beim Verständnis: du musst bei Unixoiden Systemen (insbesondere Linux und seine Abwandlungen) bei SSH - auch beim Login mit Zertifikaten - mitgeben, mit welchem Nutzer Du Dich anzumelden versuchst. Standardmäßig nimmt er den Nutzer, mit dem Du auf dem lokalen System die Verbindung herzustellen versuchst. Wenn das root ist (oder es den lokalen Nutzer nicht auch auf dem remote-system gibt), musst Du den Nutzer anderweitig festlegen, in der Konsole z.B. mit -l (kleines "L"). Eventuell musst Du dann auch noch das Zertifikat und Weitere Details (z.B. Configfile -F; identity file -i) spezifisch angeben.

 

[Benni90]

So jetzt scheint es ohne irgendwelche Passwort abfragen zu laufen.. ich habe jetzt die id_rsa und die known_hosts datei mit in der rsync Verzeichnis kopiert. Danach habe ich mir eine Backup.cmd erstellt und die authorisierungsdatein direkt in den ssh Befehl mit eingegeben.
Der komplette Befehl sieht nun so aus:
rsync.exe -avz --stats --delete -e "ssh.exe -p 22 -i id_rsa -o UserKnownHostsFile=known_hosts" /cygdrive/D/wsusoffline root@IP_ADRESSE:/volume1/homes/Benni/test

nun muss ich mal gucken wie ich das hinbekomme zu jeder synchronisation ein logfile zu bekommen (und vielleicht auch das nur max 10 oder 15 gespeichert werden)

Ein großes Danke erstmal bis hier hin

Gruß
Benni

 

[Benni90]

Gleich mal das nächste Problem
Hatte ja bis jetzt nur zum Testen irgendwelche Ordner mit rsync übertragen um nicht gleich an den Produktiv Daten herumzuspielen.
Ich habe jetzt den Pfad der zu Sichernden Datein angegeben - nun bleibt rsync nach einer gewissen Zeit stehen (übertragen wurden nur ca 700kb von 1,6gb) woran könnte das denn liegen?
Habe in den Befehl jetzt auch mal -vvv angegeben um nähere Details oder ggf. auch Fehler sehen zu können, aber leider wird kein Fehler oder ähnliches angezeigt. Rsync und die ssh.exe lasten dabei den Prozessor zu 100% aus auch wenn keinerlei Daten übertragen werden.


EDIT:
habe jetzt mal die rsync.exe durch eine "neuere" Version von 2011 ersetzt.. damit scheint es erstmal zu laufen - hoffendlich auch bis zum ende. Abwarten also

 

[Benni90]

Hallo
Ich nochmal..

Ich habe seit ein paar Tagen ein neues Problem mit rsync
Ich wollte nun noch einen zusätzlichen Ordner sichern bekomme aber immer wieder Fehlermeldungen.

gid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractDownloadLinks-wxp-x86-trk.xsl"
uid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractSupersededUpdateRelations.xsl"
gid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractSupersededUpdateRelations.xsl"
uid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractSupersedingRevisionIds.xsl"
gid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractSupersedingRevisionIds.xsl"
uid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractUpdateCabExeIdsAndLocations.xsl"
gid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractUpdateCabExeIdsAndLocations.xsl"
uid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractUpdateCategoriesAndFileIds.xsl"
gid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractUpdateCategoriesAndFileIds.xsl"
uid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractUpdateRevisionIds.xsl"
gid 4294967295 (-1) is impossible to set on "/volume1/homes/Benni/test/xslt/ExtractUpdateRevisionIds.xsl"

Number of files: 1,175 (reg: 1,133, dir: 42)
Number of created files: 0
Number of regular files transferred: 0
Total file size: 3,423,047,080 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 0
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 45,574
Total bytes received: 343,618

sent 45,574 bytes received 343,618 bytes 86,487.11 bytes/sec
total size is 3,423,047,080 speedup is 8,795.27
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1165) [sender=3.1.1]


Woran liegt das denn? Daten werden aber trotzdem übertragen und gesichert.
Geht von Windows 2008 auf eine Synology Nas

DANKE!
Gruß
Benni

 

[Morpheus2200]

Du hast auf den Rechnern unterschiedliche Nutzer nehme ich mal an.
Du hast rsync parameter mitgegeben die Berechitungen und Besitzer/Gruppe einer Datei mitsynchronisieren lassen.
Das funktioniert nur wenn die Nutzer/Gruppen auch existieren und wenn man dazu berechtigt ist.

 

[gea]

Mit rsync auf SAMBA (Synology) hat man das Problem, dass SAMBA weder die Windows 2008 SIDs kann noch Windows ntfs ACL. Macht also eigentlich vor allem dann Sinn, wenn man nur Dateien, nicht aber die ursprünglichen Rechte oder den Eigentümer wiederherstellbar sichern möchte.

Das ginge nur, wenn das Zielsystem Windows ntfs oder Solaris ZFS ist da dort Windows SID und Windows ACL erhalten bleiben - zwar nicht beim Einsatz von rsync aber mit dem Windows sync tool robocopy (oder bei ZFS mit Replikation eines Dateisystems).

 

[Benni90]

Du hast auf den Rechnern unterschiedliche Nutzer nehme ich mal an.
Du hast rsync parameter mitgegeben die Berechitungen und Besitzer/Gruppe einer Datei mitsynchronisieren lassen.
Das funktioniert nur wenn die Nutzer/Gruppen auch existieren und wenn man dazu berechtigt ist.

Ja genau das habe ich. Über ssh kann ich auf die NAS ja nur über den root gehen und dort wird das Backup dann in das Userverzeichnis "Benni" abgelegt. Die Daten werden selber von einem Admin Konto gesichert (bzw. von der Windows Maschine läuft eine backup.cmd einmal täglich ab).

Mit rsync auf SAMBA (Synology) hat man das Problem, dass SAMBA weder die Windows 2008 SIDs kann noch Windows ntfs ACL. Macht also eigentlich vor allem dann Sinn, wenn man nur Dateien, nicht aber die ursprünglichen Rechte oder den Eigentümer wiederherstellbar sichern möchte.

Genau das würde mir ja schon reichen, soll ja eigendlich nur ein reines Datenbackup sein.

der Rsync befehl sieht wie folgt aus:

rsync.exe -avz --stats --delete -e --progress "ssh.exe -p 22 -i id_rsa -o UserKnownHostsFile=known_hosts" "/cygdrive/D/Hotwin" root@192.168.2.199:/volume1/homes/Benni/test

Wie müsste ich denn vorgehen um nur die reinen Daten zu übertragen ohne Nutzerrechte, welcher Parameter wäre dafür dann notwendig? --perms-no erzeugt mir die gleichen Meldungen. Das reine Backup an sich funktioniert ja - nur siehts mit den Meldungen in der Konsole nicht so schön aus.

Danke für eure Hilfe!

Gruß
Benni

 

[Morpheus2200]

Die der parameter a von avz steht für eine ganze Sammlung vonm optionen -rlptgoD

-r rekursiv
-l links
-p permissions
-t time
-g groups
-o owner
-D device-files

ersetze deine Parameter also durch -rlpvz

Übrigens 'man rsync' hilft. da stehen die optionen in allen detaisl erklärt.

 

[Benni90]

Danke dir!