[Projekt] Linux Fileserver mit Echtzeitverschlüsselung (für WiKi)

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Mit ist eben was eingefallen:

Wenn man eine "Full System Encryption" verwendet (egal welches OS) muss ja während des Bootens das Passwort eingeben. Nun kann und möchte ich aber keinen Bildschirm und Tastatur am Server haben.

Von dem Benutzer wurstsupp hab ich erfahren das er das Board von Supermirco X7SBE benutzt, welches allerdings stolze 230 Euro kostet. Es bietet die Erweiterung von KVM-over-LAN und IPMI 2.0 was die Möglichkeit bietet, den Server übers LAN zu Booten (anstelle des - nach meiner Erfahrung unzuverlässigen - WOL) und KVM über das Netzwerk mit dem Browser zu steuern.

Finde ich eine schöne Funktion, die man gut für solcheinen FileServer benutzen kann. Nur finde ich das Board etwas oversized (4mal PCI-X) für meine Bedürfnisse.

Gibt es noch kleinere (Server-)Boards ,die auch noch (wenigstens einigermaßen) sparsam sind, so ca. 6-8 onBoard SATA's besitzen, einen guten LAN-Chip und diese KVM-over-LAN /IPMI 2.0 Funktionalität.

ODER kann man dieses KVM-over-LAN auch für stinknormale Desktop-Boards nachrüsten?

Vielleicht ist das KVM-over-LAN/IP-Thema schon einen eigenen Thread wert.
 
das Intel S3210 unterstützt ebenso IPMI 2.0 - ist allerdings auch nur etwas günstiger als das Supermicro Brett (ab ca. 150€)
 
das Tyan S5220 kann auch IPMI 2.0, hat auch onboard Grafik, läuft aber nur vernüftig mit ECC-Ram(max 8 GB.) von Kingston, Ram zu FSB sollte 1:1 laufen
Preis ab 164,- Euro(laut geizhals)
 
Mit ist eben was eingefallen:

Wenn man eine "Full System Encryption" verwendet (egal welches OS) muss ja während des Bootens das Passwort eingeben. Nun kann und möchte ich aber keinen Bildschirm und Tastatur am Server haben.

Von dem Benutzer wurstsupp hab ich erfahren das er das Board von Supermirco X7SBE benutzt, welches allerdings stolze 230 Euro kostet. Es bietet die Erweiterung von KVM-over-LAN und IPMI 2.0 was die Möglichkeit bietet, den Server übers LAN zu Booten (anstelle des - nach meiner Erfahrung unzuverlässigen - WOL) und KVM über das Netzwerk mit dem Browser zu steuern.

Finde ich eine schöne Funktion, die man gut für solcheinen FileServer benutzen kann. Nur finde ich das Board etwas oversized (4mal PCI-X) für meine Bedürfnisse.

Gibt es noch kleinere (Server-)Boards ,die auch noch (wenigstens einigermaßen) sparsam sind, so ca. 6-8 onBoard SATA's besitzen, einen guten LAN-Chip und diese KVM-over-LAN /IPMI 2.0 Funktionalität.

ODER kann man dieses KVM-over-LAN auch für stinknormale Desktop-Boards nachrüsten?

Vielleicht ist das KVM-over-LAN/IP-Thema schon einen eigenen Thread wert.

wie wärs mit einem usbstick?
da drauf /boot inklusive key in der initrd

d.h. usbstick abziehen nach dem booten und fertig
 
Wie könnte man ein Raid 5 Volume verschlüsseln, wenn man berücksichtigen müsste, dass man die Online Capacity Expansion auch Nutzen will? Bei Truecrypt muss die Größe am Anfang fest gesetzt werden...

Konkret in meinem Fall:
Eine Systemfestplatte (Server OS) und ein Raid 5 Daten Volume, wo ich über die nächsten paar Monate Festplatten nachschieben will. Diese Datenplatte soll vollständig verschlüsselt sein.
 
dm-crypt (luks) kann capacity expansion
ka warum unter linux so viele mit truecrypt frickeln wollen
 
Wurde hier schon encFS vorgestellt?
Funzt auch mit Containern und rockt mit ner super performance. wird per FuSE eingebunden...
 
unter den Vorraussetzungen kann man auch ZFS verwenden wenn FUSE genutzt wird
 
Stimmt! Nehmen wir doch gleich NTFS, das bringt sogar Verschlüsselung mit! :p

Der Vorteil von encFS ist ja, das man ext3, ZFS oder sonst was verwenden kann.
Aber ehrlich gesagt würde ich meine Daten noch keinem ZFS anvertrauen ;)
 
Moin,

ich hab mir da mal was gebastelt:

Hardware:

AMD 64 X2 4400+, Boxed-Kühler
2 GB Kingston Value Ram
Gigabyte GA-M52S-S3P Rev.1
Intel Pro 1000GT Gigbit-Lan
Promise TX4 PCI SATA-Controller
Chieftec CA-01B-B-SL Big Tower

S3 Virge (nur zur Installation, sonst ausgebaut)

Lüfter für Festplatten:
2 x ebmpapst 92mm
1 x Noiseblocker 92 mm

Platten:

2 x 160 GB WD
3 x Samsung HD501LJ
3 x Samsung HD753LJ

System:

Debian Etch 4.0r3 64bit

Dabei sind alle Platten vollverschlüsselt bis auf /boot.

Über die 160er Platten liegt jeh eine Raid1 Partition für /boot und Systemdaten. Auf der Partition für Systemdaten kommt dann erst ein cryptsetup/luks Container und dann ein lvm in dem die benötigten Partitionen und swap angelegt sind.

Die restlichen Platten gehen in den Storage ein, auf den 750ern ist jeh eine Partition mit 500GB und eine mit 250 GB. Über den dann 6 500er Partitionen liegt ein Raid6, auf den 250ern ein Raid5. Auf jedem Raid dann wieder ein verschlüsselter Container und über beide Container ein lvm. Alle Partitionen sind mit ext3 formatiert. Ich habe keinen Bedarf an einem hochkomplexen Dateisystem wie ReiserFS, ZFS ist noch lange nicht im produktivstatus für Linux, außerdem ist ext3 sehr robust.

Alle Raids sind softraid. Das spart den teuren Raidcontroller und macht es recht einfach die Daten zu retten wenn am System etwas ausfällt. Einfach irgendwo reinschrauben und anschalten.

Ich komm damit auf 2,5TB Nettoplatz und beim Schreiben wie Lesen auf 40-45 MB/s. Wobei der Flaschenhals das Softraid ist.

Gebootet wird von der unverschlüsselten /boot Partition. Da keine Grafikkarte drinsteckt schmeiße ich den Output vom booten auf die serielle Konsole und frage auch dort das Passwort für die Container ab.

So, hoffe das bringt den Thread weiter ;)

Grüße,

Gevatter Gaul
 
40mb/s kommt mir viel zu wenig vor

~ # dd if=/dev/mapper/daten2 of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 14.8317 s, 72.4 MB/s

und da hab ich nur 50% cpulast -> q6600 - sprich er benutzt nur 2 cores

edit:
und um dich noch ganz zu schocken - hier ein via c3 mit 1ghz :)

debian:~# dd if=/dev/mapper/hda2_crypt of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 52.5176 s, 20.4 MB/s
debian:~# cat /proc/cpuinfo
processor : 0
vendor_id : CentaurHauls
cpu family : 6
model : 9
model name : VIA Nehemiah
stepping : 8
cpu MHz : 1002.296
cache size : 64 KB
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 1
wp : yes
flags : fpu vme de pse tsc msr cx8 sep mtrr pge cmov pat mmx fxsr sse rng rng_en ace ace_en
bogomips : 2007.04
clflush size : 32

halt mit aktiver via padlock engine
 
Zuletzt bearbeitet:
Hmm, meine werte sind aber schreibend auf en raid6 wo 4 von 6 platten am PCI-Bus hängen.
 
achso, oben hast geschreiben "beim Schreiben wie Lesen auf 40-45 MB/s" ;)
 
ich drängel mich auch mal zwischen rein, hab ne Thread nur mal kurz überflogen.

hab ein ähnliches system im einsatz:
Tyan S2460 (jetzt ein MSI K7d)
3x1GB ECC REG infinion
2x2600 xp
3ware raidcontroler
1x Inter pci-x server gigabit

hardwareraid mit luks.

Hab bei mir ECC abgeschalten. Klar können die daten korompiert werden wenn der Arbeitsspeicher einen Fehler hat. Aber auch genauso wenn das MB oder der CPU nicht funktioniert.

-> am besten erstmal ausgiebig primen.

Undervolten halte ich nicht für sinnvoll.
Wenn du an der vcore was änderst funktioner EIST oder C&C nicht mehr.
Also wenn der server nicht immer ausgelastet ist, lass alles auf default.

thema leistung.
Hab ein HW raid und luks. mit meinen zwei 2600 XP MP komme ich auf 50 mb/s über das Netz. 1 cpu macht nur luks, der ander den rest. sind immer zu 100% ausgelastet. Erreiche nicht selten eine load von 5-6.

meine empfehlung daher, ein q6600, der braucht im idel 13 Watt, und dualcore nur 6 Watt.

Extra netzwerkkarte würde ich nicht machen, soviel wie möglich onboard.
am besten noch software raid über den onboard sata. Die meisten MB haben 8 stück davon.

Unter linux brauchst keine Graka, die pci-e karte kannst nach der installation abziehen. alles dann über ssh.

Zum Thema mb. Hier kommt es an was für einen chipsatz du nimmst, der unterschied ist enorm. Bei intel weis ich das die MB von 15 bis 60 Watt in idel reichen.
 
Hmm, ecc abschalten, Onbord SATA und dann noch ein Softraid für die Datenplatten? Viel mehr kann man doch kaum falsch machen. OK, für nen Homeserver ists wohl halbwegs egal, Daten sind da kaum so wichtig. So halb produktiv würde ich nicht alles abschalten und ausklammern.

Ich verwalte ~400-500 Server. Auf 30-50 Speicherriegel kommt mal eine CPU. Nicht dazu gezählt sind dabei laufende Server bei denen durch ECC halt das meiste erstmal verhindert wird. Die laufen auch noch 1-2 Monate problemlos weiter mit hunderten von Fehlern pro Tag.
Softraid...naja, für das OS Platten ist das IMHO OK. Machen wir auch, also unter Solaris. Datenplatten liegen zu 85% im SAN.
Wie tauscht man denn, im Worts Case, eine Mainbord gegen irgendein anderes und die Kiste kommt mit dem SATA und dem Raid noch hoch? So ne Konfig gibts bei uns halt nicht bzw SUN hat das alles einheitlich. Selbst wenn das Bord abraucht bekommen wir zu 100% auch nach 3-5 Jahren noch genau dasselbe Bord. Da ändert sich meist noch nichtmal die HostID und das System bekommt davon nichts mit.

MFG
 
ich drängel mich auch mal zwischen rein, hab ne Thread nur mal kurz überflogen.

hab ein ähnliches system im einsatz:
Tyan S2460 (jetzt ein MSI K7d)
3x1GB ECC REG infinion
2x2600 xp
3ware raidcontroler
1x Inter pci-x server gigabit

hardwareraid mit luks.

Hab bei mir ECC abgeschalten. Klar können die daten korompiert werden wenn der Arbeitsspeicher einen Fehler hat. Aber auch genauso wenn das MB oder der CPU nicht funktioniert.

-> am besten erstmal ausgiebig primen.

Undervolten halte ich nicht für sinnvoll.
Wenn du an der vcore was änderst funktioner EIST oder C&C nicht mehr.
Also wenn der server nicht immer ausgelastet ist, lass alles auf default.

thema leistung.
Hab ein HW raid und luks. mit meinen zwei 2600 XP MP komme ich auf 50 mb/s über das Netz. 1 cpu macht nur luks, der ander den rest. sind immer zu 100% ausgelastet. Erreiche nicht selten eine load von 5-6.

meine empfehlung daher, ein q6600, der braucht im idel 13 Watt, und dualcore nur 6 Watt.

Extra netzwerkkarte würde ich nicht machen, soviel wie möglich onboard.
am besten noch software raid über den onboard sata. Die meisten MB haben 8 stück davon.

Unter linux brauchst keine Graka, die pci-e karte kannst nach der installation abziehen. alles dann über ssh.

Zum Thema mb. Hier kommt es an was für einen chipsatz du nimmst, der unterschied ist enorm. Bei intel weis ich das die MB von 15 bis 60 Watt in idel reichen.


wer hat dir das denn erzählt? ^^
 
das hab ich von hier:

http://www.tomshardware.com/de/Q9450-Q9550-Q6600-Q6700,testberichte-240057-2.html

wie gesagt, EIST bewirkt wunder ^^
Hinzugefügter Post:
Hmm, ecc abschalten, Onbord SATA und dann noch ein Softraid für die Datenplatten? Viel mehr kann man doch kaum falsch machen. OK, für nen Homeserver ists wohl halbwegs egal, Daten sind da kaum so wichtig. So halb produktiv würde ich nicht alles abschalten und ausklammern.

Ich verwalte ~400-500 Server. Auf 30-50 Speicherriegel kommt mal eine CPU. Nicht dazu gezählt sind dabei laufende Server bei denen durch ECC halt das meiste erstmal verhindert wird. Die laufen auch noch 1-2 Monate problemlos weiter mit hunderten von Fehlern pro Tag.
Softraid...naja, für das OS Platten ist das IMHO OK. Machen wir auch, also unter Solaris. Datenplatten liegen zu 85% im SAN.
Wie tauscht man denn, im Worts Case, eine Mainbord gegen irgendein anderes und die Kiste kommt mit dem SATA und dem Raid noch hoch? So ne Konfig gibts bei uns halt nicht bzw SUN hat das alles einheitlich. Selbst wenn das Bord abraucht bekommen wir zu 100% auch nach 3-5 Jahren noch genau dasselbe Bord. Da ändert sich meist noch nichtmal die HostID und das System bekommt davon nichts mit.

MFG

ich tu mir bei deiner beschreibung sehr schwer.
sry wenn ich was missverstanden habe.

1. es ist nicht wichtig was und wieviel. Es kommt darauf an für das aktuelle Problem die Beste lösung zu finden. (SAN, Fibre Channel Engergiesparen kosten lautstärke usw.)

2. für so ne kleine anlage ist es nicht nötig extra auf ECC zu setzen. Klar ist es besser mit. Jeder hat eine andere meinung zu diesem thema. Ich bin der meinung das es bei 4GB Ram nicht zwingend notwendig ist. Hab auch kisten im einsatz die schon seit jahren mit "normalen" ram durchlaufen.

3. Softwareraid ist meiner Meinung nach genial. Hab schon alles gehabt. LSI, 3ware ICP vortex usw. Alle grösseren Hersteller nutzen meist eine Form des Softwareraid (z.B. netapp). Mann kann allerdings kein Betriebssystem darauf installieren (hab es zumindest noch nicht geschaft).
Es ist genauso sicher wie ein HW raid, solange die hardware hintendran ok ist.
Beim wechsel des mb ist nur darauf zu achten, das genügend anschlüsse vorhanden sind. hab sogar mal einen kontroller ausgetauscht und ging ohne probleme (kann sein das man die raidtap editieren muss). die Performanz liegt je nach prozessor teilweise über den hw raid.
Man ist deutlich flexibler. Es setzt natürlich knowhow vorraus. Man hat keine menü indem man configurieren kann (ausser beim debian installer z.B.). mann muss also wissen was man macht :)
und der stromverbrauch ist auch deutlich niedriger, da der Raidkontoller entfällt.
 
Zuletzt bearbeitet:
Was THG in Punkto stromverbrauch von CPU´s schreibt ist ziemlicher mumpiz. Würde ein Q6600 im IDLE nur 13W verbrauchen, wären wir mit z.b Onboardgrafik bei vll 70W gesammt verbrauch (13W CPU, 35W Board inkl VGA, 10W HDD, und ein bischen was für den Rest wie Netzteil und Lüfter.)
 
dann hast noch 75% wirkungsgrad das sind es fast schon 100 Watt. Ich halte die werte für realistisch. Mein system zieht ohne eist im idel mit einen Q6600@3800/1,375Vcor und ner 3750xt + 2 hdd 170 watt. Das er vieleicht 15 watt zieht ist auch nicht so schlimm. Es geht ja darum das er halt im ideal modus deutlich weniger braucht und genügend reserven bei bedarf vorhanden sind. Das das ganze niemals an ein via c7 system ran kommt, ist mir klar
 
Hmm, ecc abschalten, Onbord SATA und dann noch ein Softraid für die Datenplatten? Viel mehr kann man doch kaum falsch machen. OK, für nen Homeserver ists wohl halbwegs egal, Daten sind da kaum so wichtig. So halb produktiv würde ich nicht alles abschalten und ausklammern.

Ich verwalte ~400-500 Server. Auf 30-50 Speicherriegel kommt mal eine CPU. Nicht dazu gezählt sind dabei laufende Server bei denen durch ECC halt das meiste erstmal verhindert wird. Die laufen auch noch 1-2 Monate problemlos weiter mit hunderten von Fehlern pro Tag.
Softraid...naja, für das OS Platten ist das IMHO OK. Machen wir auch, also unter Solaris. Datenplatten liegen zu 85% im SAN.
Wie tauscht man denn, im Worts Case, eine Mainbord gegen irgendein anderes und die Kiste kommt mit dem SATA und dem Raid noch hoch? So ne Konfig gibts bei uns halt nicht bzw SUN hat das alles einheitlich. Selbst wenn das Bord abraucht bekommen wir zu 100% auch nach 3-5 Jahren noch genau dasselbe Bord. Da ändert sich meist noch nichtmal die HostID und das System bekommt davon nichts mit.

MFG

ich glaube kaum dass wir uns hier in bereichen von 150.000 euro SANs bewegen ;)

sw raid ist (zumindest bei linux) wesentlich angenehmer als hw raid
(und das sage ich als admin der 3wares, adaptecs, ibm serveraids und ne ibm san administriert)
einfach alle platten ans neue board stecken und booten, fertig. bei manchen controllern (LSI -> onboard bei ibm servern) musst du sogar im raid1 die platten wieder an die gleichen ports stecken damit ers raid1 wieder erkennt :stupid:

performance ist ebenso kein problem - 100mb/s schreiben im sw raid5 sollten doch genug sein ;)
 
Thema HW/SW raid. Einige neuere Kontroller nutzen mittlerweile die CPU leistung. ICp vortex hat z.B. einen herausgebracht. Es kommt immer darauf an was man vergleicht. Einen 7506 mit einen Quad 4x3ghz oder einen neuen 9650SE mit einen 2000 xp. Der mit der meisten leistung gewinnt :).

warum?

dein link bestätigt doch meine Aussage?

der E6850 hat 6,6 wat im idle. (für n quad x2 und du hast ca 13 Watt)
Was ausschlaggebend ist, ist die TPD.
die ist bei den quads gleich, 95 Watt.

was an Leistung durch Fertigung eingespart wird, wird durch höhere taktrate kompensiert.

EIST reduziert die spannung und die taktrate, bei einen q6600@ 1,6 GHZ und die vcore teilweise unter 1 Volt (je nach vid).
 
Ich will wegen meiner Frage kein neues Thema aufmachen. Eigentlich passt es hier gut rein.

Da ich auf meinem geplanten Linux Fileserver mit dm-crypt und SW-RAID5 zusätzlich auch Virtualisierung (wahrscheinlich mit XEN und 1-2 domU's) betreiben möchte dachte ich mir, das ein Quad-Core wohl die bessere Wahl sein.
Zuerst hatte ich den Phenom X4 9550, 4x 2.20GHz für 116€ im Auge, jedoch habe ich bei der Recherche herausgefunden, das der Q6600 eigentlich noch etwas stromsparender ist, bei gleicher bis etwas höherer Performance.
Leider kann ich mir aus den Benchmarks nie erschießen, wie die Leistung unter Linux mit dem dm-crypt sein könnte.

Das ganze auf ein Board mit IGP mit möglichst vielen onboard SATAs (für Intel z.b. das GA-G33-DS3R mit 8x SATA für 81€) und 4GB RAM (ca. 60€) und man sollte ein ausreichend starkes, aber auch Energie Effizientes Fileserver system haben. Oder hat jemand noch ne andere Idee?
 
.1 ich möchte mir auch ein "nas" aufbauen. wenn ich nun mit debian und nem SW-Raid5 starten möchte, eine Bootplatte nehme und 1x radi5 SW muss ich doch beim start immer das PW eintippen, oder?
.2 wie macht man das, wenn der Rechner ohne Monitor laufen soll?
.3 wie kann ich es anstellen, dass sobald ein zugriff auf den Rechner erfolgt, dieser automatisch startet und wenn 30 minuten kein Zugriff auf den Rechner erfolgte, dieser automatisch ausgeht?
 
1) Ja, musst du. Du kannst natürlich die Systemplatte unverschlüsselt lassen, aber dann solltest du auch der Platte auch wirklich keine Daten drauf haben. (/tmp /etc haben gerne mal sicherheitsrelevante Daten)

2) Ich würde das raid5 (+vielleicht lvm) ganz normal unverschlüsselt aufsetzen. Die Verschlüsselung kommt dann erst mit den Partitionen. Diese werden nicht automatisch gemountet sondern manuell, nachdem das System (inklusive Netzwerk) gestartet ist.

Alternativ initrd und "blinde" Eingabe. Damit man nicht ganz im dunkeln tappt, kann man mit "setleds" die Tastatur LEDs setzen.

3) Damit der Rechner wieder automatisch hochfährt kannst du ihn nur in den S3 (suspend to ram) Modus schlafen schicken, sonst musst du den Schlüssel irgendwo speichern, was nicht Sinn der Sache ist.

Ich lasse meinen Rechner laufen und schalte nur das raid ab, daher kann ich dir nur sagen, wie man die Festplattenaktivität überprüft:
Code:
iostat |grep $HARDDISK|awk '{print $5+$6 }'
Das gibt gelesene + geschriebene Bytes zurück, damit kann man dann ein keines Script schreiben, das immer überprüft, ob noch etwas geschrieben wird.

netstat kann auch eine Alternative sein, aber samba/windows hält immer eine verbindung offen, auch wenn auf nichts zugegriffen wird.
 
äußerst interessant.

Werde mir bald uach einen neuen Fileserver anschaffn. Der jetzige F200 schluckt zuviel Strom (5x SCSI und son spaß..).

N sparsames intel oder AMD sys, denke die HW sollte kein Problem werden.

Mache mir aber Gedanken, wie der Spaß mit der Verschlüsselung und S3 + SW Raid funktionieren soll.

Kannst du mir vllt erklärn, wie du das SW Raid schlafen legst? Funktioniert das problemlos? Umountest und encryptest du die Platten vorm sleep?
Was ist, wenn ich den kompletten Server in S3 versetzen würde, was passiert mti dem Raid und vor allem mit der Verschlüsselung?
Und was bei einem Stromausfall?

Mein Problem ist, dass mein jetzigen Server 24h läuft, und dabei ~ 10-15h nur dahin-idelt.
Kann ich den nach 15mins (oder so..) inaktivität einfach schlafen legen?
Ich würde die Kiste sonst ausmachen über Nacht z.B., aber wenn meine Schwester fernseh gucken oder mp3s hören will und der Server ist aus, is schon wieder blöd, wenn er dann erst booten muss (abgesehen davon, dass ich das PW nich so gerne verteilen würde..).

Also, wie genau legst du das SW raid schlafen, was passiert mit der Verschlüsselung und wie weckst du es wieder auf? :)

Wäre toll, wenn mir das mal jmd näher legen könnte.

Gruß &danke,
db
 
für nen raid kann ich euch nur den perc 5/i ans herz legen.
ordentlicher hardwareraid für wenig geld, der haut mir mit 8 platten im raid 5 ~350mb/s raus ohne das ich eine BBU oder cache drin habe.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh