[Kaufberatung] und Tipps gesucht für Homeserver 2xRaid 5 über Software + Truecrypt

[MrDeluxe]

Ist das ein Kaufgrund? Ich meine für Seagate gibs sowas ja auch --> ERC nur find ich nicht wirklich viele Informationen darüber. Ist das nun schon installiert auf jeder Seagate oder nur bei speziellen oder muss ichs nachträglich installieren wie bei das WDTLER...

Du dürftest aber mit 2*Raid5 Berechnung + Truecrypt Berechnung einen sehr gut ausgelasteten Server haben...

Da wäre (m.M. nach) ein RAID-Controller mit eigenem RAID die bessere Wahl - zumal du dann beim OS wechsel noch weniger Probleme haben dürftest, da es ja als 1 Festplatte erkannt wird im System...

meinste ein E6600 reicht nich aus ? ich mein der wird nix weiter erledigen als das RV's zu koordinieren und halt zu entschlüsseln. Kann mir iwie nich vorstellen das der deshalb so derbe überlastet wird. Vor allem was ist denn auf sonem RAID-Controller fürn Microprozessor drauf? der muss ja dann auch ne ordentliche Leistung haben wenn er die Arbeit vom CPU übernehmen soll.
Wegen der Probleme des OS Wechsels, weiß ich noch nich so recht ABER wenn mir mal der Raidcontroller flöten geht steh ich auch erstma dumm da und die Teile sind ja bekanntlich nicht billig.


EDIT: Für diejenigen die auch mal das gleiche vor haben wie ich, hier sehr hilfreiche Links:

Verschlüsselte Festplatte erweitern (dmcrypt/crypto)

http://www.techstories.de/2009/08/sysadmin/verschluesseltes-crypted-lvm-vergroessern/

Allgemeine Informationen zu crypto

http://www.andreas-janssen.de/cryptodisk.html

Sambaserver als Dateiserver unter Debian

http://www.tim-bormann.de/anleitung-installation-samba-server-als-dateiserver-unter-debian-linux/

Debian absichern mit Bastille

http://bastille-linux.sourceforge.net/

(Absicherung einer Linuxservers auch in diesem Forum beschrieben im Linux-Thread)

kleine Buchempfehlung für Anfänger/Einsteiger:

http://openbook.galileocomputing.de...rt_001.htm#mjedaf873a67c0f78276d0990008bc2663

und habe mir das Buch von Gabriele und Robert Schoblick zugelegt:

http://www.amazon.de/Debian-GNU-LIN...=sr_1_1?ie=UTF8&s=books&qid=1263541609&sr=1-1

ist ein wenig veraltet aber mega-guter Preis für 767 Seiten (Taschenbuch xD) und gute Kundenrezensionen

 

[Karbe]

Da wäre (m.M. nach) ein RAID-Controller mit eigenem RAID die bessere Wahl - zumal du dann beim OS wechsel noch weniger Probleme haben dürftest, da es ja als 1 Festplatte erkannt wird im System...

Was ist wenn der Controller ausfällt ?

Was, wenn es keine Treiber für das neue OS gibt ?


Vorteil vom mdadm-Software-RAID ist halt, daß man dieses an jedem Board und an jedem Controller wieder in Betrieb nehmen kann.. Klar kann die Performance nicht mit einem 250€-Controller mithalten, aber darauf kommt es vielen im Heimnetzwerk auch gar nicht an.

Grüße

 

[therealJMC]

Was ist wenn der Controller ausfällt ?

Was, wenn es keine Treiber für das neue OS gibt ?


Vorteil vom mdadm-Software-RAID ist halt, daß man dieses an jedem Board und an jedem Controller wieder in Betrieb nehmen kann.. Klar kann die Performance nicht mit einem 250€-Controller mithalten, aber darauf kommt es vielen im Heimnetzwerk auch gar nicht an.

- Nimmt man einen neuen Controller des gleichen Herstellers ist das Raid meist einfach weiterzuverwenden. Adaptec RAIDs z.B. werden normalerweise auch von den neuen Controllern erkannt und können weitergenutzt werden.

- Ist doch mittlerweile kaum noch der Fall. Adaptec/3Ware/LSI sind doch selbst unter so gut wie allen Linux Distros mit Treibern ab Haus versehen.

Sicherlich ist mdadm nett, ich arbeite in 1-2 Fällen auch bei meinen Servern auf der Arbeit damit, aber ich würde jederzeit einen dedizierten Controller dem Vorzug geben.

Und mal ehrlich - 2 x Software Raid 5 + Truecrypt Echtzeitverschlüsselung - das dürfte die Kiste doch wohl SEHR auslasten, oder? Und man sollte dann auch sagen, dass die zu erwartende Netzwerkperformance eher dünn sein dürfte, nachher steht der TE mit der Lösung da und wundert sich über die Transferraten

Gruß

Peter

 

[MrDeluxe]

Was soll man sagen... Gib mir einfach 250€ und ich mache nen Hardware Raid draus

BTW: Was spekulierst du denn für Transferraten mit "2 x Software Raid 5 + Truecrypt Echtzeitverschlüsselung" ???

 

[therealJMC]

Mir gings eher um die CPU Auslastung die nachfolgend dann die Transferleistung beeinträchtigt - denn die Verschlüsselung für die beiden Truecrypt Container wird von der CPU gemacht und die Paritätsberechnung für die beiden RAID5 wird ebenfalls von der CPU gemacht. Der E6600 ist da ne sicherlich nicht verkehrt, keine Frage!

Aber aus den Erfahrungen die ich mit mdadm-Raids und Truecrypt gemacht habe (halbwegs vergleichbare Platform) würde ich mit ner recht hohen CPU-Auslastung rechnen und Performance von ~20MB/s schreibend

Klar ists schwer wenn man n festen "Maximalbetrag" hat, aber wie wärs denn wenn du das RAID nachträglich mit HDDs erweiterst und dafür nen ordentlichen Controller nimmst? Oder benötigst du den Platz direkt?

Raid nachträglich vergrößern ist bei den meisten Controllern eine Sache von ein paar Klicks, setzt du bei Linux dann ein LVM ein kannst du auch das super einfach erweitern.

Gruß

Peter

 

[MrDeluxe]

Na laut Recherchen werd ich wohl eher auf dmcrypt übergehen, da es erweiterbar ist im Gegensatz zu Truecrypt (gibt zwar dynamische Container aber nicht unter Linux )

Ich werde wohl erstma 4 oder 5 Platten im RAID 5 nutzen und später dann erweitern. Bin ein armer Azubi, da reicht Geld halt nicht gleich für alle 9/10 Platten :/

Was ich nicht verstehe, der Controller hat vllt. um die 500MHZ, so viel ist das ja jetzt auch nicht aber macht das so viel aus um die Transferraten zu verbessern?

setzt du bei Linux dann ein LVM ein kannst du auch das super einfach erweitern.

so war mein Plan


Und es geht weiter mit den Fragen

EDIT:
Wie schaff ich es unter Debian, dass der Server ausschließlich per LAN zur Verfügung steht und vorerst nicht über das Internet kontaktiert werden kann?

 

[Limit64]

Rechenleistung
Also das Raid 5 braucht zwar ein bisschen Rechenleistung, aber soviel ist das auch wieder nicht (bei meinem alten Rechner waren es ~30% auf einem Core des Athlon X2 @ 2,8GHz).
Ich weiß jetzt nicht genau wieviel Leistung TrueCrypt braucht, aber ich denke das der Core2Duo da locker noch ausreicht um eine brauchbare Datenrate zu liefern.

Preis vs. Performance
Der Unterschied in der Leistung dürfte im Heimbereich irrelevant sein, vor allem da im NAS-Bereich meistens sowieso das Netzwerk das schwächste Glied darstellt. Die Preise der Controller sind für den durchschnittlichen privaten Benutzer einfach zu hoch.

Linux
1) Software Raid5 lässt sich problemlos erweitern.
2) RAID wird genauso wie LVM unter Linux per Device-Mapper realisiert und ist daher vollkommen transparent, d.h. man kann verschiedene Raids nach belieben verschachteln.
3) Bei meinem Ubuntu-System wird das Raid bei einer Nueinstallation direkt erkannt und ich muss nur noch ein Mountpoint dafür setzen.
4) Das Einrichten/Erweitern eines Raids dauert üblicherweise sehr sehr lange (bei meinen 4x 1TB Platten ungefähr 1/2 bis 3/4 Tag). Da das allerdings im Hintergrund geschieht und man prinzipiell den Verbund währenddessen schon benutzen kann, finde ich das nicht weiter tragisch. Natürlich geht es deutlich schneller, wenn der Raid Verbund nicht gemountet ist.

 

[MrDeluxe]

Und gleich noch eine Frage oben drauf:

Ich will den Server in Keller stellen und per wake on Lan den PC anschalten. Das sollte vllt. nicht das Problem sein ABER wie bring ich den Server sich anzumelden? Passiert das per Remote? Will die Remote-Geschichte eigentlich über NXNomachine regeln aber weiß nicht ob Linux vor der Anmeldung den Server schön lädt.

 

[therealJMC]

Bin ein armer Azubi, da reicht Geld halt nicht gleich für alle 9/10 Platten :/

Kenn ich

Was ich nicht verstehe, der Controller hat vllt. um die 500MHZ, so viel ist das ja jetzt auch nicht aber macht das so viel aus um die Transferraten zu verbessern?

Naja, Mhz heißt ja nix. Je nach Controller sind da halt spezielle XOR Chips (XOR ist vereinfacht gesagt ein "entweder oder") die bei sowas verhältnissmäßig Flott sind, aber in eigentlich keinem Fall steckt da eine x86-Logik-CPU auf den Controllern. Der Controller auf dem Adaptec 5805 z.B. hat hingegen 1,2 Ghz Dual-Core - und spielt Leistungsmäßig in ner anderen Liga.

Wie schaff ich es unter Debian, dass der Server ausschließlich per LAN zur Verfügung steht und vorerst nicht über das Internet kontaktiert werden kann?

Steht der Server bei dir zuhause? Dann ists recht einfach - richte keine Freigaben auf deinem Router ein die auf die LAN-IP des Servers zeigen.

 

[Karbe]

Wozu solltest du dich anmelden müssen ?

Du solltest natürlich den Verbund in die fstab einpflegen, damit er automatisch gemountet wird. Ebenso notwendige Prozesse oder Daemons automatisch starten lassen, bspw. Samba..

Grüße

 

[therealJMC]

Und gleich noch eine Frage oben drauf:

Ich will den Server in Keller stellen und per wake on Lan den PC anschalten. Das sollte vllt. nicht das Problem sein ABER wie bring ich den Server sich anzumelden? Passiert das per Remote? Will die Remote-Geschichte eigentlich über NXNomachine regeln aber weiß nicht ob Linux vor der Anmeldung den Server schön lädt.

Linux ist kein Windows. Server laufen im normalfall als Dienst und werden zur Bootzeit gestartet - ohne Anmeldung und sonstwas.

 

[gdfan]

Du kannst den Server doch per Wake on Lan aus dem Energie Spar Modus erwecken?
Sonst kann ich auch auf meienn Server (Server 2008) zugreifen, wenn er hoch gefahren ist und keiner sich angemeldet hat. Ich weiß aber nicht wie das bei Linux so ist.

 

[MrDeluxe]

Na ich muss erstmal das Grub-Passwort eingeben und dann halt das normale Passwort für den User-Login.

Geht das per Remote?

Steht der Server bei dir zuhause? Dann ists recht einfach - richte keine Freigaben auf deinem Router ein die auf die LAN-IP des Servers zeigen.

ja steht bei mir zu Hause rum... Wie soll ich's sonst machen? Hab auch keinen tollen Router eher ein DSL-Modem und zusätzlich einen 7-Port Switch ohne zusätzliche optionen.

 

[Karbe]

Na ich muss erstmal das Grub-Passwort eingeben und dann halt das normale Passwort für den User-Login.

Grub logischerweise nicht, daß musst du so konfigurieren, daß automatisch das OS gestartet wird.

Anmelden kannst du dich ganz normal per SSH, die Frage ist nur: wozu ?

Linux ist kein Windows. Server laufen im normalfall als Dienst und werden zur Bootzeit gestartet - ohne Anmeldung und sonstwas.

Unter Windows starten die Dienste ebenso unabhängig vom Login wie unter Linux.


Grüße

 

[MrDeluxe]

Wozu? Na ich wohne im 1. Stock und der Server im Keller. Die Frage ist also beantwortet mit: Bequemlichkeit. Außerdem will ich kein extra Monitor kaufen für den Server.

 

[Karbe]

Technisch ist mir das klar. Aber die Frage ist, welchen Sinn sollte das haben ? Normalerweise brauchst du dich nur anmelden um den Server einzurichten und zu eventuellen Wartungsarbeiten.

Lediglich bei der Erstinstallation brauchst du einen Monitor, eine Grafikkarte, eine Tastatur und ein CD-Laufwerk. Sobald der SSH-Server läuft, kannst du den ganzen Krempel wieder entfernen.

Wenn dir die Begriffe SSH und Putty nix sagen, empfehle ich dir wiederum dies vorab mit einer VM auszuprobieren.

Grüße

 

[MrDeluxe]

Na es soll kein Server für den Dauerbetrieb sein VORERST erstmal für den privaten Fileserver. Will auch erstmal per SSL via NXNoMachine per Remote zugreifen. Später kommt dann halt die SSH per PuTTy. Erstmal schön Step-by-Step.

 

[BBR]

Na es soll kein Server für den Dauerbetrieb sein VORERST erstmal für den privaten Fileserver. Will auch erstmal per SSL via NXNoMachine per Remote zugreifen. Später kommt dann halt die SSH per PuTTy. Erstmal schön Step-by-Step.

Du weißt aber das NXNoMachine ein Remote Desktop ist, d.h. auf deinem Server ein X läuft? Warum sollte man das machen?

Es gibt sowieso keine/kaum GUI Tools (die man auch per ssh forwarden könnte), also kannst du es gleich per Konsole und ssh machen.

 

[MrDeluxe]

@BBR ja das ist mir bewusst. Ist ja auch VORERSt (lol) komfortabler als SSH und Konsole
Warum sollte man das nicht machen? Wie gesagt will kein extra Monitor kaufen. Wird einmal installiert inklusive NXNoMachine Server und schon spar ich mir den Moni

 

[BBR]

@BBR ja das ist mir bewusst. Ist ja auch VORERSt (lol) komfortabler als SSH und Konsole
Warum sollte man das nicht machen? Wie gesagt will kein extra Monitor kaufen. Wird einmal installiert inklusive NXNoMachine Server und schon spar ich mir den Moni

musst du wissen, wie du das gerne machen willst. Ich sehe nur keinen Vorteil darin, eher einen Nachteil, weil die Installation länger dauert und du unnötigen Ballst installierst. Selbst wenn du einen X am laufen hast, samt Gnome oder KDE, wirst du dort trotzdem über die Konsole arbeiten müssen.

 

[MrDeluxe]

So viel länger dauert die Installation nun auch wieder nicht und so minimalistisch muss der Server noch nicht werden.

also via NXNoMachine sieht das ganze so aus:

http://www.nomachine.com/screenshot/server-install.php

Weiß nicht was du meinst, dass ich nur via Konsole arbeiten muss. Ist halt ein Remote-Desktop.

 

[Karbe]

Warum nimmst du zum "Spielen" nicht einfach ne VM und konzentrierst dich beim NAS/Fileserver auf das wesentliche ?

Grüße

 

[therealJMC]

Unter Windows starten die Dienste ebenso unabhängig vom Login wie unter Linux.

Das ist richtig, aber es gibt auch durchaus Server (und damit meine ich Programme) die nicht Dienst-fähig sind und daher erst beim anmelden starten. Die sind mir bisher nur unter Windows bekannt

 

[BBR]

Weiß nicht was du meinst, dass ich nur via Konsole arbeiten muss. Ist halt ein Remote-Desktop.

im Remote-Desktop arbeitest du dann trotzdem mit dem Terminal, weil es keine/kaum GUI Tools gibt

 

[Gohst_oc]

Nur weil ein Raid-Controller keine 2 GHZ hat, ist der noch längst nicht langsam.

Fake-Raid läuft single Threaded. Daher ist es langsam.
Obschon ein Kollege mit 4 HDDs @Raid 5 auf nem ICH7 dennoch 240 MB/s erreicht. Aber ich habe langsamere HDDs (nur 5400 RPM, WD Green) und erreiche deutlich bessere 285 MB/s bei <7% CPU Last.

Er hat schon mal ca. 20%.

Daher ist Hardwareraid schon das wesentlich bessere-

Ausser unter Opensolaris, da kann gar der RAM noch als richtiger Cache benutzt werden. Somit ist auch unter Opensolaris SW Raid sehr zu gebrauchen.
Die hohe CPU-Last verschwindet aber nicht einfach so.

 

[koschi]

Unter Linux wird der Arbeitspeicher ebenfalls als Dateisystemcache genutzt...

Habe gerade mal mit bonnie++ ein wenig Last auf dem RAID erzeugt (md raid5 auf 3 x WD 640GB blue), der kcryptd verbaucht dabei während des Schreibens immer 60-100% eines Cores, md0_raid5 max 25%, flush-252 bis 10%... Wo hier die Limitierung liegt sollte klar sein?

Spiele derzeit auch ein wenig mit Bacula (Backup) rum, da gingen von meiner Workstation (mit Attansic L1 Gbit) konstante 70MB/s (über 12GB hinweg) an den Server ( mit RTL8111/8168B), die schreibt der locker weg... Die RAID5 Paritätsberechnung ist dabei kein Problem, die höchste Last erzeugt die Verschlüsselung, und die wird auch mit einem dedizierten Adapter nicht geringer.
Laut http://mbroz.fedorapeople.org/talks/LinuxAlt2008-eng/dmcrypt-eng.pdf kann dmcrypt das AES-NI der neuen Intel Prozessoren nutzen, das wäre evtl. mal interessant zu sehen, wie sich das auswirkt...

 

[Karbe]

Fake-Raid läuft single Threaded. Daher ist es langsam.
Obschon ein Kollege mit 4 HDDs @Raid 5 auf nem ICH7 dennoch 240 MB/s erreicht. Aber ich habe langsamere HDDs (nur 5400 RPM, WD Green) und erreiche deutlich bessere 285 MB/s bei <7% CPU Last.

Von diesem *deutlich besseren* Durchsatz (ich lach mich gerade kaputt) wird der normale Heimanwender mit seinem 10Gbit-Backbone natürlich enorm profitieren

Grüße

 

[MrDeluxe]

Also WoL klappt jetzt soweit mittels http://www.depicus.com/wake-on-lan/wake-on-lan-gui.aspx

Gibt es auch eine andere möglichkeit das via cmd auszuführen?


Der nächste Schritt ist für mich die Anmeldung:

Der PC wird zwar hochgefahrn aber ich kann mich halt nich anmelden und schon gar nicht das GRUB-Passwort eingeben :/

Ich hab auch ganz seltsame Phänomene. Vorhin sehe ich noch unter Windows 7 mein virtuelles Debian. Dann starte ich Windows 7 neu inkl. virt. Debian und nun seh ich Debian nicht mehr im LAN. Wie kommt das?

Auch NXNomachine will nur sporadisch. Erst gings tadellos, dann kommt immer die Fehlermeldung:

Spoiler

NX> 203 NXSSH running with pid: 2424
NX> 285 Enabling check on switch command
NX> 285 Enabling skip of SSH config files
NX> 285 Setting the preferred NX options
NX> 200 Connected to address: 192.168.233.130 on port: 22
NX> 202 Authenticating user: nx
NX> 208 Using auth method: publickey
HELLO NXSERVER - Version 3.4.0-8 - LFE
NX> 105 Hello NXCLIENT - Version 3.4.0
NX> 134 Accepted protocol: 3.4.0
NX> 105 Set shell_mode: shell
NX> 105 Set auth_mode: password
NX> 105 Login
NX> 101 User: huhu
NX> 102 Password: ********
NX> 103 Welcome to: debian user: huhu
NX> 105 Listsession --user="huhu" --status="suspended\054running" --geometry="1920x1080x32+render" --type="unix-gnome"
NX> 127 Available sessions:

Display Type Session ID Options Depth Screen Status Session Name
------- ---------------- -------------------------------- -------- ----- -------------- ----------- ------------------------------
1002 unix-gnome 0E0AD8C6CBE16A70678B5C39A126F6C1 FRD--PSA 32 1024x768 Suspended boomerang

NX> 148 Server capacity: not reached for user: huhu
NX> 105 Restoresession --link="lan" --backingstore="1" --encryption="1" --cache="16M" --images="64M" --shmem="1" --shpix="1" --strict="0" --composite="1" --media="0" --session="boomerang" --type="unix-gnome" --geometry="1914x1022" --client="winnt" --keyboard="pc102\057de" --id="0E0AD8C6CBE16A70678B5C39A126F6C1" --resize="1"
NX> 596 NX> 596 ERROR: NXNODE Ver. 3.4.0-6 (Error id eD884DA)
NX> 596 NX> 596 ERROR: resume session: run commands
NX> 596 NX> 596 ERROR: execution of last command failed
NX> 596 NX> 596 last command: '/bin/kill -USR2 4147'
NX> 596 NX> 596 exit value: 1
NX> 596 NX> 596 stdout:
NX> 596 NX> 596 stderr: kill: No such process
NX> 596 NX> 596 init: stdin arguments: user=huhu,userip=192%2e168%2e233%2e1,uniqueid=0E0AD8C6CBE16A70678B5C39A126F6C1,display=1002,images=64M,cache=16M,client=winnt,media=0,backingstore=1,encryption=1,strict=0,clipboard=both,shpix=1,rootless=0,composite=1,session=boomerang,shmem=1,type=unix-gnome,virtualdesktop=1,resize=1,id=0E0AD8C6CBE16A70678B5C39A126F6C1,keyboard=pc102%2fde,geometry=1914x1022,link=lan,render=1,subscriptionid=None,productid=LFE,balance_host=192%2e168%2e233%2e130,encryption_mode=3,connection=local
NX> 280 Exiting on signal: 15

Das Problem lies sich erst beheben als ich den nxserver anwarf:

sudo /usr/NX/bin/nxserver --start

klingt eigentlich logisch aber mein Terminal meint es wäre "already running" :/

Wie krieg ich den nxserver in den "Autostart"?


EDIT: Problem mit NX NoMachine hat sich geklärt. Es kann nun gestartet werden bevor ich mich einloggen kann.

Von diesem *deutlich besseren* Durchsatz (ich lach mich gerade kaputt) wird der normale Heimanwender mit seinem 10Gbit-Backbone natürlich enorm profitieren

lol, da haste recht ich hab nich mal nen Gigabit-Switch nur 100mbit >.>

 

[Gohst_oc]

Von diesem *deutlich besseren* Durchsatz (ich lach mich gerade kaputt) wird der normale Heimanwender mit seinem 10Gbit-Backbone natürlich enorm profitieren

Grüße

Ich wollte ja nur sagen, dass ein HW Raid-Controller noch schneller ist.
Mehr nicht.

 

[MrDeluxe]

Also ich tüfftel jetzt schon die Woche mit Debian 5 "Lenny" rum. Also so richtig komm ich nicht mit klar. Gibt es für Debian auch einen Laufwerksmanager ähnlich wie Palimpsest. Gparted erfüllt nicht so ganz meinen wünschen. Ich brauch halt ein Tool fürs RAID.

Ich hab zunächst mal ohne Tool und nur via Konsole und mdadm ein Raidverbund erstellt aber ich konnte das irgendwie nie einbinden.Habe mich dieser Beschreibung bedient: http://linuxwiki.de/mdadm

Gestern hab ich dann mal nen Raidverbund über den Debian - Installer eingerichtet. Dann hab ich das System zum ersten mal gestartet und es war kein RV in Sicht. Bei Gparted wurden die Platten die eigentlich im Raid sein sollten als unbekannt definiert.

Was mach ich denn falsch?