Linux Backup Server

[Zak_]

Hi ich hatte mir gerade überlegt nen Linux Backup Server zu machen. Mein Gedanke war aber das der Server nicht immer läuft sondern nur wenn man ihn zum Backupen braucht. Das hatte ich mir so vor gestellt man macht auf den Client PCs (Windows) ein Wakeup on Lan rein das sie den Linux Server immer aufwecken wenn sie gestartet werden (oder auch vielleicht nur zu bestimmten Tagen). Dann Fährt der Server hoch und zieht sich die Backups von den PCs aber er soll immer vergleichen was neu ist und was nicht und immer nur das neue Backupen damit zeit und Bandbreite gespart wird. Wenn der Server dann 1 Stunde untätig ist soll er wieder herunter fahren. Jetzt kommt noch etwas und zwar die client PCs sind noch mit Truecrypt verschlüsselt aber das sollte ja eigentlich kein Problem darstellen. Aber der Server sollte auch gesichert sein per Truecrypt nur da ist die Frage wie macht man das am besten. Ich denke das Beste ist wenn man dort mit nem USB Stick schafft und nem Key file oder? Aber das ist halt auch etwas dumm da der Server ja etwas abseits steht und man dann immer den USB Stick einstecken müsste und wieder ausstecken. Wäre also schön wenn ihr da noch eine gute Idee wüstet. Das was gebackuped werden soll ist einmal die Windows C Partition und dann noch ein Paar extra Files die auf einer anderen Partition liegen. Ich hoffe ihr versteht ca. wie ich das ganze meine. Wie schon geschrieben am liebsten wäre mir nen Linux Server aber es ginge auch ein Windows. Aber fände halt Linux wie gesagt besser da muss ich einfach ned so viel Hardware rein machen und braucht auch ned so viel Strom. Hätte für den Server paar verschiedene Rechner rum stehen alle recht ähnlich nur verschieden im RAM und der Graka alles 1,8 Ghz teile welche mit onboard Graka und einer mit ner extra Graka und dann vom Ram von 256 MB bis 768 MB. Am liebsten wäre mir wenn es mit dem einfachsten PC geht also dem mit onboard Graka und 256 Ram desshalb hatte ich halt auch an ne Linux Kiste gedacht. Ich hoffe mal ihr könnt mir ein paar Tipps geben wie ich das ganze realisieren kann.

Vielen dank schon mal für eure Mühe

 

[stronzo]

Hi!
Ich will dann mal..
Es wäre übrigens einfacher deinen Beitrag zu lesen wenn du ab und zu einen Absatz machen würdest (oder eben Javascript für die Seite zulassen )
Dein Vorhaben ist grundsätzlich kein Problem.
Ich würde an deiner Stelle den sparsamsten Rechner nehmen, ein Linux drauf hauen und dann dort Backuppc installieren.
http://backuppc.sourceforge.net/
Das benötigt etwas Einarbeitungszeit, aber es lohnt sich.
Wenn du jetzt aber nur 2 oder 3 Clients hast, ist es auch eine Alternative das Backup mittels einfachem Befehl zu starten, z.B. mit rsync und den passenden Parametern.
Damit werden nach einem ersten vollständigen Backup inkrementelle Backups gemacht.
Du meintest übrigens, dass du ganzue Partitionen sichern willst. Wenn du das wirklich so meinst muss ich dich enttäuschen, denn dazu darf auf der entsprechenden Partition kein OS oder sonst was laufen. Wenn du aber nur die Dateien einer Partition sichern willst ist das kein Problem mit den Erwähnten Methoden. (Wenn es wirklich ganze Partitionen sein sollen empfehle ich partimage, das ist quasi das Opensource Acronis Trueimage).

So, wenn der Server dann eingerichtet ist kannst du ihn natürlich wie du schon gesagt hast, per WakeuponLan hochfahren. Das geht natürlich nur über Kabelverbindung am Server und nicht über WLAN. Das automatische Backup (welcher Art auch immer) zu starten ist dann mittels Miniscript / Cron / Autostart kein Problem mehr. Das gleiche gilt fürs runterfahren.

Das Problem liegt bei Truecrypt. Wenn du es unbedingt einsetzen willst bleibt dir nichts über, als jedesmal manuell den key einzugeben oder über usb, wie du schon sagst. Aber das ist eben nicht komfortabel...
Allerdings musst du sehen dass eine Verschlüsselung, die automatisch beim Start alles entschlüsselt nicht wirklich sinnvoll ist
Da hat vielleicht jemand anders noch eine Lösung.
Hoffe konnte erstmal etwas helfen

 

[muhkuher]

Ui, wunderbar, genau sowas habe ich auch vor. Daher schließte ich mich jetzt einfach ganz frech an und öffne kein eigenes Thema

Hab hier jetzt einen kleine, für den Home-Bereich recht potenten, Server herumstehen. Der soll aber neben Backups auch weitere Jobs übernehmen (Webserver, etc.).
Allerdings möchte ich mich nicht als wahnsinnig fit in Linux bezeichnen - wenn auch eine gewisse Affinität zum Thema nicht von der Hand zu weisen ist Daher würde ich gerne auf eine "normale" Desktio-Distri à la ubuntu zurück greifen. Mit diesem habe ich doch die meisten Erfahrungen gemacht und würden die Wartung des Rechners in meinem Fall auch etwas erleichtern. Der verschwindet dann am besten in irgendeiner Ecke und bekommt neben dem Stromkabel auch eines fürs Netzwerk.
Könnt ihr da irgend welche Programme empfehlen, die inkrementelle Backups über das Netztwerk machen? Die Clients sind Windows-Rechner.

Grüße, muhkuher

@Zak: Was mir eben zur Verschlüsselung eingefallen ist: Wäre es nicht eine Möglichkeit, dass der Server nur die TrueCrypt-Container sichert, selber also keine Verschlüsselung vornehmen muss? Wenn natürlich verschlüsselte Partitionen zum Einsatz kommen, wird das wohl schwierig :/

 

[stronzo]

Könnt ihr da irgend welche Programme empfehlen, die inkrementelle Backups über das Netztwerk machen? Die Clients sind Windows-Rechner.

.

http://backuppc.sourceforge.net/

 

[muhkuher]

Oh, danke, hätte ich mir mal gleich richtig anschauen sollen. Bin davon ausgegangen, dass das eine eigene Distri ist, die nur das kann :&

 

[SteelyDan]

welcome, mukuher!

 

[Zak_]

@Zak: Was mir eben zur Verschlüsselung eingefallen ist: Wäre es nicht eine Möglichkeit, dass der Server nur die TrueCrypt-Container sichert, selber also keine Verschlüsselung vornehmen muss? Wenn natürlich verschlüsselte Partitionen zum Einsatz kommen, wird das wohl schwierig :/

sorry kann leider nicht alles lesen da ich gleich noch weg muss aber das hab ich gerade kurz angeschaut

das wird ned gescheit gehen dann halt mit dem schauen ob was neu ist

denn es ändert sich ja nix am container wenn ich was änder und so müsste ich alles backupen

und es ist auch so das ich nicht alle container backupen mag sondern aus einem nur ein paar datein

 

[muhkuher]

@SteelyDan: huhu =)

@Zak: Jau, da habe ich gar nicht dran gedacht, dass so ein Container auch recht groß sein kann

 

[Zak_]

vielen dank schon mal stronzo
ja also es wären nur 2 Clients fürs erste die ich sichern würde vielleicht würden da noch gegen später 2 dazu kommen.
werde mir das Backuppc dann genauer anschaun oder denkst du bei so wenigen Clients wäre es mit rsync besser?

Wenn ihr sonst ne andere gute Methode zum Verschlüsseln der Backups wisst würde ich mich über diese Idee auch freuen. Nur mir ist als erstes halt Truecrypt eingefallen

edit: ah genau und zu der frage mit dem Backupen der ganzen Partition. Naja ich wollte eigentlich die Windows partition sichern was mir aber nicht das wichtigste wäre. Wichtiger wäre mir verschiede Daten immer von den Clients zu sichern

 

[stronzo]

Ich denke es lohnt sich schon Backuppc zu nehmen, vor allem wenn gemixte Clients ins Spiel kommen (Windows/Linux). Das spätere hinzufügen ist dann kein Problem mehr.
Eine vereinfachte ANleitung mit allen nötigen Schritten findest du hier:
http://www.howtoforge.de/howto/sichern-von-linux-und-windows-systemen-mit-backuppc/
Dort wird erklärt, wie man alles einrichtet für einen Linux und einen Windows Client. Im Prinzip ist das Programm aber auch nichts anderes als ein grafisches Frontend für rsync und co. mit zusätzlichen Features.

Zu den Partitionen: Wie gesagt, du kannst eine Partition nur sichern, wie diese aktuell nicht genutzt wird. Das heisst, du kannst nicht WIndows starten und dann die Partition auf der Windows läuft sichern, das geht nicht. Partitionen sichern ist etwas umständlicher als ein FIlebackup, weil du in der Regel ein "extra" oder Mini-OS startest und von dort aus dann die Partition sicherst. Wenn es nicht unbedingt sein muss würd ich beim Filebackup bleiben.

 

[Zak_]

danke für das Deutsche Tut
Ich hab mir als Linux Betriebssystem gedacht Debian Etch oder Fedora denke es reicht ne console oder was würdest du sagen?
Mit dem backuppc kann man da auch die Backups verschlüsseln? Denn die Variante mit Truecrypt wird ja glaube nicht so gut gehen

 

[muhkuher]

Wow, coole Seite. Jetzt muss ich nur noch herausfinden, wie ich die Treiber für den SCSI-Controller im Server finde und installiere, damit ich da überhaupt mal ein OS raufpacken kann.

 

[muhkuher]

So, hab den Server nun soweit eingerichtet, aber backupPC macht doch noch arge Probleme. Bekomme kaum reproduzierbare timeouts bei Verzeichnislistings :/ Beim Syncen scheint xfer auch Probleme zu haben. Da wird dann teilweise im Backup das Verzeichnis falsch angelegt, Statt /pfad/Ohrenwurm/ erstellt er /pfad/O/, statt /pfad/Kartoffel/ erstellt er /pfad/K/.
Allerdings konnte ich größere Backups bisher nur von einem Vista-Rechner machen. Ob das Problem auch beim Sichern von XP-Rechnern auftritt weiß ich also noch nicht.
Soweit ich das feststellen konnte traten die timeouts vorangig bei Ordnern mit Bildern auf.

Ansonsten ist das Programm echt super und genau das, was ich brauche. Vor allem, da es ohne Software auf den Clients auskommt.

 

[stronzo]

welche übertragungsart verwendest du?rsync, smb etc..
hast du die zeichenkodierung korrekt gesetzt? ->wichtig für windows-clients, siehe dazu anleitung auf der homepage

 

[muhkuher]

Na, smb. Rsync habe ich mir noch nicht genug angesehen um damit klar zu kommen Die Zeichenkodierung habe ich wie in der Doku empfohlen leer gelassen. Habe es aber auch mal mit dem Wert "cp1252" versucht, soweit ich mich erinnere ohne Besserung. Werde es aber gleich nochmal ausprobieren

*edit*
Jetzt ist das Backup doch tatsächlich ohne Probleme komplett durchgelaufen oO Hatte den zwar schon cp1252 für die Zeichenkodierung eingetragen, geklappt hatte es bis jetzt aber nicht. Danke dir auf jeden Fall nochmal für den Hinweis!

 

[stronzo]

schön das es läuft

 

[ulukay]

Das Problem liegt bei Truecrypt. Wenn du es unbedingt einsetzen willst bleibt dir nichts über, als jedesmal manuell den key einzugeben oder über usb, wie du schon sagst. Aber das ist eben nicht komfortabel...
Allerdings musst du sehen dass eine Verschlüsselung, die automatisch beim Start alles entschlüsselt nicht wirklich sinnvoll ist
Da hat vielleicht jemand anders noch eine Lösung.
Hoffe konnte erstmal etwas helfen

jein
man könnte die key file zum verschlüsseln in die verschlüsselten partitionen der clientpcs legen
sprich - linux server fährt hoch, holt sich die keyfile von einer verschlüsselten partition eines clients, mountet die partition

btw warum truecrypt unter linux und nicht einfach dm-crypt?

 

[Zak_]

ja das mit dem keyfile vom client pc habe ich auch überelgt aber ist halt keine so elegante Lösung
ist dm-crypt besser? oder gibt es dort eine bessere Lösung als mit TC? Habe mit dm noch nie gearbeitet

 

[ulukay]

dm-crypt ist direkt im kernel integriert und multithreaded - natürlich ist das die erste wahl wenn man verschlüsseln will unter linux
noch dazu kann es die verschlüsselungschips auf VIA und AMD Geode ITX plattformen nutzen
ich hab z.b. 26mb/s auf eine verschlüsselte platte auf nem via c3 1000mhz - bei 10% cpulast
und schneller geht die platte unverschlüsselt auch nicht

 

[Zak_]

ok das ist natürlich gut.

Damit kann ich dann auch das BS verschlüsseln und den Key per remote oder irgendwie eingeben ohne vor dem server zu sitzten?

 

[ulukay]

jein
wenn du ubuntu installierst gibt es die möglichkeit alles bis auf /boot zu verschlüsseln
dann muss man das passwort fürs cryptsetup eingeben

hier gibts ne erklärung wie das mit ssh (dropbear) in der initrd funzt - leider funzt das aber ned out of the box, sprich du musst die initrd später noch gehörig anpassn damit das so halbwegs funzt ...
wenn du es fertig bringst melde dich
http://www.debian-administration.org/articles/579#1

 

[Zak_]

uha das hört sich ja nicht so einfach an. Habe gerade leider eh nicht so viel ziet mich um den Server zu kümmern kam gerade mal dazu das debian auf zu setzten und einigermaßen zu configen.
Kam noch nicht mal dazu das Backuppc zu configen.
Oder denkst du die einfachere variante wäre die mit ubuntu? denn dann würde ich das mal drauf hauen

 

[ulukay]

ne auch debian lässt sich per default auf eine encryptete root partition installieren
aber die per ssh einhängen ist genauso viel frickelei

 

[Zak_]

ah misst
für ne windows lösung gäbe es aber auch keine bessere variante oder?

 

[muhkuher]

Ich hab noch ein paar kleine Fragen, auf die ich noch keine Antworten gefunden habe. Der Server läuft soweit, backupPC funktioniert auch wunderbar. Zum Wunschziel fehlt allerdings noch ein kleines Stück. Da der Server vorerst nur fürs Backup von zwei Clients eingesetzt wird, würde ich diesen gerne so einrichten, dass er z.B. Nachts gegen fünf hochfährt, die beiden (Windows-)Clients per Wake-On-Lan startet, das Backup durchführt, wenn möglich die Clients nach dem Backup wieder herunterfährt und sich selbst danach ausschaltet.

Eine Alternative Lösung wäre, dass die Clients und der Server unabhängig voneinander zu einer bestimmten Tageszeit hochfahren. Das lässt sich ja über das BIOS recht bequem einstellen. Im Taskplaner der Clients lege ich fest, dass diese 30 bis 45 Minuten nach diesem Zeitpunkt wieder herunterfahren -- wiederum unabhängig voneinander. Die Alternative habe ich zwar noch nicht ausprobiert, sehe aber keine wirklichen Probleme, dass sie nicht funktioniert.
Allerdings finde ich das nicht wirklich elegant und würde den ganzen Vorgang lieber vom Server aus steuern. Kennt einer von euch ein Tool, mit dem man das machen könnte? Mir wäre jetzt cron, bzw. anacron eingefallen.
Den Zeitpunkt zum Hochfahren des Servers müsste ich doch auch über das OS (bzw. ACPI) einstellen können, sodass ich nicht jedesmal den Server durch die Gegend schleppen muss, um ihn an Tastatur und Monitor zu packen. Gibts dafür ein Tool?

 

[stronzo]

Den Zeitpunkt zum Hochfahren des Servers müsste ich doch auch über das OS (bzw. ACPI) einstellen können, sodass ich nicht jedesmal den Server durch die Gegend schleppen muss, um ihn an Tastatur und Monitor zu packen. Gibts dafür ein Tool?

Jo, das lässt sich einfach regeln.
Schau dir mal die Datei /proc/acpi/alarm an. Editiere sie mit root Rechten und trage ein Datum zum Hochfahren ein im Format
yyyy-mm-dd hh:mm:ss
Fahr dann den Rechner runter (darf komplett aus sein) und warte bis zur eingegebenen Zeit und schau ob der Rechner hochfährt. Wenn nicht muss evtl im Bios diese Wake-Funktion aktiviert oder deaktiviert werden. Bei mir funktionierts nur, wenn sie deaktiviert wurde.
Wenn der Rechner nicht startet zu der Zeit fahr ihn manuell wieder hoch und schau dir die alarm Datei an, ob der Eintrag noch stimmt. Wenn nicht, dann wurde dieser durch Scripte beim RUnterfahren überschrieben aber auch das ist kein Problem. Probier erstmal aus ob das funktioniert.


Zu den weiteren Problemen:
Eigentlich alles mit einem kleinen Script lösbar.
Du kannst zum Beispiel in den Autostart ein Script mit etherwake oder wakeonlan Aufruf packen. Die schicken dann ein MagicPaket an den jeweiligen Rechner. Dann läuft das Backup durch und du könntest z.B. mittels Prozessabfrage prüfen, ob das Backup beendet ist und dann den Server mittel shutdown wieder runterfahren. Für die Windowsclients gibt es Tools oder eben Taskplaner.
Bei weiteren Fragen fragen

 

[muhkuher]

Ei, das mit /proc/acpi/alarm probiere ich nacher gleich mal aus. Das Überschreiben kann man ja sicher auch irgendwie unterbinden. Im Prinzip ist es zwar nicht so wichtig den Zeitpunkt über das OS ändern zu können, aber zum testen und für mich als Linux-Neuling recht praktisch -- und vor allem, weil ich mir das ständige herumschleppen und umstöpseln von Monitor und Tastatur/ Maus sparen möchte.

Autostart ist eine sehr gute Idee etherwake und wakeonlan hab ich auch schon installiert, es nur noch nicht geschafft einen der beiden Clients aufzuwecken -- was aber wahrscheinlich an den Einstellungen des Clients liegt/lag.
Wie müsste denn so ein Script aussehen und wo muss ich es hinpacken?

Das Herunterfahren mit dem Taskplaner sollte auch kein Problem sein. Dort geb ich dem Rechner einfach eine bestimmte Zeitspanne, in der er nach 15 Minuten Inaktivität wieder herunterfährt. Das sollte in jedem Fall für ein inkrementelles Backup reichen. Dabei weiß ich aber gar nicht, ob ein belastetes Netzwerk als als aktiver Prozess behandelt wird. Wenn ja, dann würde u.U. nicht mittem im Backup der Client heruntergefahren.

Aber eigentlich müsste man den Client doch auch ferngesteuert herunterfahren können, oder? Das war im IT-Unterricht doch das übliche Spiel "net send ... shutdown -s -t 0" Wäre mir ehrlich gesagt auch viel lieber, weil ich so sicher gehen kann, dass das Backup abgeschlossen wird -- egal wie lange es braucht.

Richtig spannend sowas Jetzt werde ich erstmal das automatische Hochfahren des Servers testen und hoffen, dass die Systemzeit im BIOS richtig eingestellt ist Und vielen Dank für die Anregungen stronzo, ist sehr ermutigend!

PS: mir fällt gerade auf, dass ich den Boot-Zeitpunkt in /proc/acpi/alarm jeden Tag neu anpassen müsste, wenn ich nur das Format yyyy-mm-dd hh:mm:ss verwenden kann. Aber irgendwas hab ich da noch im Kopf, dass man das auch periodisch machen kann * * */1 04:55:00 ..hmmm

 

[stronzo]

Wie müsste denn so ein Script aussehen und wo muss ich es hinpacken?

Kommt auf deine Distribution an, Ubuntu hat unter Systemeinstellungen "Sitzungen", das ist quasi der Autostart, dort kannst du Befehle, Scripte u.ä. angeben.
Bei den Clients musst du im BIOS natürlich WakeOnLan aktivieren und diese auch per Kabel anschließen, mit WLan gehts net
Die zeit die im alarm gesetzt wird ist entweder im normalen, oder in dem Format, das ab 1970 alle Sekunden aufaddiert. Check erstmal, ob das erstere funktioniert.
Und die Zeitangabe kann mit Doppelsternchen (meine ich) relativiert werden
Wie das Script dann aussehen sollte?
In etwa so (beispielhaft):

#!/bin/sh
sudo echo ****-**-** 04:55:00 > /proc/acpi/alarm
etherwake mac:des:clients

Baue das später mal noch aus. Wird noch n sudo Problem geben. Kannst ja schonal rumprobieren

 

[muhkuher]

Ah, dankeschön! Hab auch schon ein wenig herumprobiert, kann /proc/acpi/alarm aber nur als root (sudo reicht nicht > permission denied) editieren oO Distri ist Ubuntu 7.10.

Hab in der VDR-Wiki einen Eintrag zu ACPI gefunden, der eigentlich viel aussagt. Ganz schlau werde ich daraus aber auch noch nicht http://www.vdr-wiki.de/wiki/index.php/ACPI_Wakeup Da ist auch vom Datumsformat die Rede.

 

[stronzo]

um das sudo problem zu lösen gibt es verschiedene möglichkeiten. teste aber doch erstmal, ob es überhaupt funktioniert mit dem wakeup. wenn ja musst du dann die /etc/sudoers anpassen.
Hab das oben mal korrigiert, das script selber muss den echo befehl mit sudo aufrufen.
dann musst du das script ausführbar machen ("chmod u+x scriptname.sh).
dann editierst du die datei /etc/sudoers mit einem editor mit rootrechten! (z.b. "sudo nano /etc/sudoers")
Du musst folgende Zeile hinzufügen
"benutzer ALL=NOPASSWD: /bin/echo,/proc/acpi/alarm,/pfad/zum/script/scriptname.sh"

Wobei benutzer durch den Benutzernamen ersetzt werden muss, unter dem das System normalerweise läuft.

Damit wird dem jeweiligen Benutzernamen dann das Recht eingeräumt, die Datei zu editieren und zu nutzen, ohne ein Passwort eingeben zu müssen.
Weitere Fragen?