Linux Backup Server

[muhkuher]

Also, das aufwachen funktioniert. Hab es nur noch nicht mit einer Datei probiert, das mache ich aber jetzt gleich. Hatte vergessen diese ausführbar zu machen.

/etc/sudoers kann ich nicht speichern, wenn ich nicht richtiger root bin, sudo reicht auch hier nicht

 

[stronzo]

sudo reicht bei mir, ist aber auch egal, hauptsache editiert und gespeichert, wie auch immer. das script kannst du jetzt, wos funktioniert, beliebig erweitern, z.b. mit abfragen nach prozessen. Da backuppc über ssh die daten transferiert kannst du nachschauen lassen, ob ssh aktiv ist. wenn nicht muss das backup ja fertig sein.

 

[muhkuher]

Jain, ohne root zu sein kann ich es zwar editieren, aber nicht speichern. Das ist ja das Dilemma. Das Aufwecken eines Clients funktioniert aber bereits bestens mit dem Script und wakeonlan (etherwake wollte nicht ). Der andere Client -- mein Rechner -- könnte noch ein wenig problematisch sein, weil die Netzwerkkarte auf einen Pool von MAC-Adressen (bisher habe ich zwei unterschiedliche feststellen können) zurückgreift und sich aufs geratewohl eine davon heraussucht.

Um den automatischen Start kümmere ich mich, wenn die beiden Clients korrekt aufgeweckt werden. Dann ist schonmal eins der beiden Probleme fertig gelöst.

 

[stronzo]

wenn der client auf 2 adressen hört, dann wake doch einfach beide
etherwake addr1
etherwake addr2

 

[muhkuher]

jau, habe ich gemacht. Nur eben mit wakeonlan. Und es funktioniert *freu* Vielen Dank dafür!

Funktioniert die Prozessabfrage auch, wenn ich mit smb backuppe? Rsync habe ich mir wie gesagt noch nicht wirklich angesehen und da das hier alles im Netzwerk läuft, halte ich es auch nicht unbedingt für nötig das Ganze verschlüsselt ablaufen zu lassen.

 

[stronzo]

mit samba gehts bestimmt auch. nur weiss ich grad nich wie es da ausschaut mit daemon etc., evtl. wäre es da besser den netzwerktraffic zu untersuchen. bei ssh könnte man z.B. mit dem Befehl "pgrep ssh*" checken obs aktiv ist, wenn ids ausgespuckt werden ja, wenn nix kommt ist es nicht aktiv. das ganze dann in eine if then fi abfrage einbauen und die entsprechenden kommandos reinhauen. stichwort bashscript. ist nichts schwieriges.
bei smb hab ich wie gesagt kein plan, du könntest mit ifconfig und grep den traffic untersuchen

 

[muhkuher]

Nuja, hab bislang noch keine Möglichkeit gefunden einen Windows-Rechner über Linux herunterzufahren. Das scheint wohl nur über SSH zu funktionieren. Dann werde ich vorerst über den Tastmanager herunterfahren lassen. Die Clients sind dann eben u.U. etwas länger an, als nötig. Den Server fahre ich bis dahin einfach per cron runter.

 

[Pichu]

Nuja, hab bislang noch keine Möglichkeit gefunden einen Windows-Rechner über Linux herunterzufahren. Das scheint wohl nur über SSH zu funktionieren. Dann werde ich vorerst über den Tastmanager herunterfahren lassen. Die Clients sind dann eben u.U. etwas länger an, als nötig. Den Server fahre ich bis dahin einfach per cron runter.

Wieso sollte das nicht gehen? Versuchs mit VNC oder mit OpenSSH for Windows: http://sshwindows.sourceforge.net/

 

[muhkuher]

@Pichu: ginge das denn mit SSH automatisiert? VNC nutze ich ja bereits um den Server fernzusteuern. OpenSSH werde ich mir aber mal ansehen. Hatte zwar gehofft ohne zusätzliche Software auf den Clients auszukommen, aber möchte eh auf rsyncd umsteigen. SMB läuft sehr langsam. 2% Auslastung der GBit-Leitung sind viel :&
Jetzt muss ich das nur noch zum laufen bekommen, cygrunsrv.exe will rsyncd nicht als Dienst starten

 

[Colttt]

Hallo Leutz,

ist ja ein sehr interessantes thema vielleicht kann ich ja das mal in meiner Firma vorschlagen, aber mich würde noch interessieren wie siehts mit wechselplatten aus.. also Mo-Fr ist bei uns immer ne andere HDD dran und die datenausfallsicherheit zu erhöhen.
Wie mach ich das dann mit Linux und backuppc??

Schon mal vielen dank für die lösung!

 

[muhkuher]

Spontan würde ich sagen, dass du das unabhängig von BackupPC machen kannst. Dazu brauchst du ja im Prinzip nur ein RAID1, das jeden Tag eine neue Austauschplatte bekommt und sich dann "rebuilded". Da wird dann halt jeden Tag die andere Platte gewechselt, sodass jede mehr oder weniger gleich belastet wird.
Ansonsten kenne ich backupPC noch nicht gut genug, um zu wissen, wie gut das bei der Storageverwaltung ist.

Wenn ich mir das so überlege brauchst du aber eigentlich nichtmal ein RAID, sondern hängst halt jeden Tag eine andere Platte am gleichen Einhängepunkt ein, auf dem BackupPC dann sein TopDir liegen hat. Wenn die Dateien vor dem Backup abgeglichen werden, sollten ja auch inkrementelle Backups kein Problem darstellen. Ist dann halt jedes Mal ein wenig mehr, als wenn nur eine Sicherungskopie gemacht wird.


Insgesamt muss ich aber zugeben, dass ich mir der Lösung, wie ich sie jetzt noch habe, nicht sehr zufrieden bin. Der Server fährt morgens um 4:50 Uhr hoch (über das BIOS, da ACPI sich nicht über das OS konfigurieren lassen will) und weckt die Clients per WOL über ein Script im "Autostart" / Sitzungen. Um 5 Uhr macht BackupPC dann ein inkrementelles Backup. Die (Windows-)Clients fahren dann um 5:30 Uhr über den Aufgabenplaner runter, der Server ebenfalls um 5:30 Uhr über einen Eintrag in /etc/crontab. BackupPC hat also eine gute halbe Stunde fürs Backup. Das reicht zwar für die inkrementellen Backups locker aus, für das wöchentliche Backup aber nicht mehr, wenn man berücksichtigt, dass SMB teilweise nur mit 1Mb/s läuft oO

Alles im allen funktioniert es jetzt zwar, die Sicherungen werden gemacht, aber ist ein riesen Flickenteppich: hier passiert ein wenig, da ein wenig, und dort dann auch noch und alles mehr oder weniger unabhängig voneinander. Besonders das voneinander unabhängige Herunterfahren der Clients empfinde ich als großes Manko und bin drauf und dran doch Windows auf den Server zu schmeissen und mir die kleine Enterprise-Lösung von Acronis zu holen. Will ich aber eigentlich nicht

 

[SteelyDan]

komisch, Samba läuft bei mir (im Heim-Gigabyte-Netzwerk) teilweise bis 150 MB/s - und ich habe keine besonderen Einstellungen in der smb.conf gemacht...

Gruß,
dan

 

[ulukay]

150megabyte/s sind technisch unmöglich
teste mit netio und zeige die ergebnisse mal

 

[stronzo]

Tach mal wieder

Alles im allen funktioniert es jetzt zwar, die Sicherungen werden gemacht, aber ist ein riesen Flickenteppich: hier passiert ein wenig, da ein wenig, und dort dann auch noch und alles mehr oder weniger unabhängig voneinander. Besonders das voneinander unabhängige Herunterfahren der Clients empfinde ich als großes Manko und bin drauf und dran doch Windows auf den Server zu schmeissen und mir die kleine Enterprise-Lösung von Acronis zu holen. Will ich aber eigentlich nicht

Ich kann nur sagen, im Prinzip lassen sich deine Wünsche alle erfüllen. Unter Linux ist es halt etwas anderes, da gibt es meist keine fertige Exe die alles macht. Da muss man schon ein bisschen Scripten.
Das sich die Windows Clients nicht runterfahren lassen liegt aber an Windows, da wirst du auch unter Windows selber das Problem haben dass du auf Zusatzsoftware zurückgreifen musst. Ich habe aber auch keine Ahnung, vielleicht lässt sich das runterfahren über SSH realisieren. Ich könnte dir jedenfalls gerne helfen beim Scripten (ich kann selber etwas Übung und die Scripts gebrauchen..)
Wie gesagt, auf dem Server eine Prozessabfrage ob das Backup noch läuf und je nachdem die entsprechenden Reaktionen, shutdown oder sleep, das ist alle kein Problem.

 

[SteelyDan]

150megabyte/s sind technisch unmöglich
teste mit netio und zeige die ergebnisse mal

das ist sicherlich Brutto; wenn Du mir sagst wie ich Netto messen soll....

edit: ich las "Netto"..lol, sorry...

 

[stronzo]

also megabyte und megabit ist schon was unterschiedliches, gell? ;-)

 

[SteelyDan]

also megabyte und megabit ist schon was unterschiedliches, gell? ;-)

bis auf einen Faktor, yes ;-)

 

[stronzo]

gut, dann ist ja klar dass du mit 150megabyte/sekunde ordentlich daneben ligst!

 

[SteelyDan]

gut, dann ist ja klar dass du mit 150megabyte/sekunde ordentlich daneben ligst!

is ja gut, ich meinte natürlich "Bit", nicht "Byte" - mea culpa.

ich werde später mit netio messen...

 

[muhkuher]

Zwischen den beiden Windows-Clients bekomme ich auch gute 20mb/s hin. Ich könnte mit meinem Board das GBit-LAN aber auch nur bis etwa 400mbit/s auslasten, da der Chip etwas mickrig angeschlossen ist (Gigabyte GA-MA69GM-S2H). Ob der niedrige Durchsatz an SMB liegt ist aber auch nur eine Vermutung von mir und stützt sich nicht wirklich auf Tatsachen! Hatte irgendwo mal gelesen, dass SMB (vergleichsweise) langsam ist.

Seltsamerweise erhöht sich der Durchsatz von Client zu Server teilweise stark (bis 12mb/s), wenn ich mit VNC während der Datenübertragung auf den Server zugreife oO

@stronzo: bin dir für deine Hilfe sehr dankbar! Bin ja auch der Meinung, dass man das System so erst wirklich kennen lernt Hab ja auch irgendwo meinen Spaß dran. Problematisch ist das aber, wenn ich selber mal nicht vor Ort bin und irgendwas mit den Daten ist, etc.

Nuja, wenn ich den Datenaustausch über rsyncd lösen will, muss ich cygwin auf die Clients, dann kann ich auch gleich den Shutdown über OpenSSH austüfteln. Wäre super, wenn die Clients nur so lange laufen müssen, wie sie müssen und nicht unter Umständen während des Backups herunterfahren.

 

[SteelyDan]

aha, mit netio misst man wohl etwas genauer:

NETIO - Network Throughput Benchmark, Version 1.26
(C) 1997-2005 Kai Uwe Rommel

TCP connection established.
Packet size 1k bytes: 100866 KByte/s Tx, 115203 KByte/s Rx.
Packet size 2k bytes: 111099 KByte/s Tx, 115551 KByte/s Rx.
Packet size 4k bytes: 113848 KByte/s Tx, 115264 KByte/s Rx.
Packet size 8k bytes: 113564 KByte/s Tx, 115540 KByte/s Rx.
Packet size 16k bytes: 113341 KByte/s Tx, 115492 KByte/s Rx.
Packet size 32k bytes: 114292 KByte/s Tx, 115297 KByte/s Rx.
Done.

Gruß,
dan

 

[ulukay]

joa sowas hab ich auch - effektiv bekomm ich dann 50-70MB/s rüber (megabyte/sekunde )
hängt stark von der fragmentierung auf den quell/zielpartitionen ab
per ftp gehts natürlich am schnellstn

 

[SteelyDan]

Wenn ich von WinXP ein grosses File auf mein Win-Share schiebe, zeigt ein net-tool auf Win bis zu 200000 kb/s an. Gut, diese Messung ist sicher mit Vorsicht zu geniessen, aber deswegen habe ich mich oben über die langsame Geschwindigkeit von mukuher gewundert...

 

[ulukay]

schau dir die datenrate mal mit perfmon an

 

[muhkuher]

Hab mir an Dan mal ein Beispiel genommen und die Verbindung Client1 (Vista) > Server (Ubuntu), Client1 (Vista) > Client2 (XP) und Client2 (XP) > Server (Ubuntu) mit NetIO getestet. Ergebnis in den beiden Screenshots. Ersteres zeigt die Raten von Client1 > Server und Client1 > Client2, letzterer Client2 > Server, alle TCP.

Die Ergebnisse sind zwar nicht überragend, aber doch deutlich höher, als die beim Backup genutzten Raten von unter 6Mb/s. Die Empfangsraten von Client1 finde ich auch extrem niedrig, entsprechen ja einer theoretischen Maximalauslastung einer 100Mbit-Leitung

 

[SteelyDan]

schau dir die datenrate mal mit perfmon an

hab's nicht vergessen...komme bloss gerade nicht dazu. Ist perfmon ein kommerzielles Tool? Wenn nicht, könntest Du mir einen Link geben - thx!

Gruß,
dan

 

[ulukay]

windows taste + r
perfmon
reinschreiben und enter druecken

 

[SteelyDan]

windows taste + r
perfmon
reinschreiben und enter druecken

me stupido....thx

edit: Maximum upload bei 25 MB/s (~ 186 Mb/s, nach der "häufigen" Verwendung von Bytes, nicht SI)

 

[stronzo]

So, Back2Topic

Ich habe ein Problem mit backuppc, und ignoriert er meine "BackupFilesExclude ($Conf{BackupFilesExclude}) angaben. Ich habe die auszulassenden Pfade normal angegeben(z.B. "/temp"). Das wird aber ignoriert und trotzdem gebackupt. Kann jemand helfen? Die Anleitung hilft da leider nicht weiter.. Wer hats am laufen?

 

[muhkuher]

Nutze es zwar selber nicht, meine aber in der Doku gelesen zu haben, dass es manchmal helfen kann, dem Pfad noch ein "/*" anzufügen. Statt also "/temp" sollte es "/temp/*" heißen.

Ich werde am WE meinen Server wohl neu aufsetzen, morgen kommt der neue Controller und der zweite Wechselrahmen. BackupPC fliegt dann wohl auch runter und wird durch Bacula ersetzt. Das braucht zwar Software auf den Clients, aber der Datendurchsatz geht hoffentlich nach oben.