Software Raid5 unter Linux

[154500]

Hi,

Ich möchte einen Software Raid5 Linux erstellen.
Ein Hardware Raid ist zu teuer und nicht unbedingt
schneller. Ich würde gerne als Betriebssystem Ubuntu
Nutzen. Ich habe Allerdings kaum Linux Erfahrung.
ich habe von dem Programm mdadmin gehört mit dem
ich das raid einrichten kann.
Mit Truecrypt möchte ich das raid dann letzendlich verschlüsseln.
Ich habe bereits einen Raid5 Test mit Freenas gemacht.
Ich habe Freenas auf einem sehr schnellen ung guten Pc laufen
lassen. Hatte aber leider nur Übertragungsraten von 10 mbit oder so
beim schreiben. Beim lesen hatte ich hingegen die 10 fache
Geschwindigkeit.
ich hab gehört ubuntu soll wesentlich schneller sein im raid5.
Wie schnell ist denn dieses mdadmin?
Außerdem interessiert es mich ob es möglich ist das raid über
Webinterface überwachen und Steuern zu können.

 

[Ruede]

wenig erfahrung und linux raid5 mit verschlüsselung = viel spaß
aber wäre eine gelegenheit mit linux anzufangen.
geschwindigkeit - ka
aber warum truecrypt? gibt genug linuxeigenes welches prima funzt dmcrypt mit cryptsetup z.b.

naja verschlüsselung klaut dir auch nochmal transferleistung.

 

[Enigma256]

Verschlüsselung UND Software RAID5?

ich denke die Schreibleistung kannst du da vergessen

 

[Gelöschtes Mitglied 45455]

Bin mir sicher, dass sich Leute im Linux Subforum tummeln die dazu was sagen können

 

[Enigma256]

Bin mir sicher, dass sich Leute im Linux Subforum tummeln die dazu was sagen können

ich hab schonmal was in der Richtung dort gefragt, blieb bisher unbeantwortet

 

[ulukay]

Verschlüsselung UND Software RAID5?

ich denke die Schreibleistung kannst du da vergessen

80-90mb/s
kommt ganz auf die cpu an
dm-crypt kann threaded verschluesseln, sw-raid5 an sich sollte 90mb/s schreibend auf einem guten Core2 schaffen
auf einem Quad sollten also verschluesselt 90mb/s schreibend drin sein!

und warum so viele leute truecrypt unter linux nutzn wollen obwohl ne wesentlich bessere variante nativ im kernel enthalten ist, ist mir weiterhin schleierhaft
Hinzugefügter Post:

ich hab schonmal was in der Richtung dort gefragt, blieb bisher unbeantwortet

stimm ja garned

 

[Enigma256]

stimm ja garned

 

[154500]

80-90mb/s sind absolut ausreichend.
Mir würden schon 20 mb/s reichen.
Ich mein wir sprechen doch von megabytes pro sekunde.
Ich könnte ja nich mal mein Gigabit Lan mit 90 mb/s ausnutzen.
Gigigabit Lan schafft ja jediglich ca 220 Mbit in der Praxis.
Das wären grad mal 27,5 mb/s
Wieso also mehr?

Also ich hab nochmal nachgeschaut.
Im moment hab ich grad mal 0,5-2 mb/s schreibend mit Freenas (raid5 + verschlüsselung)
Das ist extremst zu wenig. Kann doch ncih sein das ich fürs kopieren einer 4,5 GB DVD 1 Stunde brauch. Lesend hab ich mindestens 28 mb/s gemessen.
Der Test lief allerdings über vmware auf nur einer Festplatte, auf der die virtuellen Festplatten
angelegt wurden.

Ahja und wegen der Verschlüsselung. Hab nix gegen andere Anwendungen als Truecrypt.
Nur brauch ich open source verschlüsselung.
Die Daten müssen wirklich sicher sein ohne Hintertürchen
Schnell muss die Verschlüsselungsoftware natürlich auch sein.
Verwende bisher Truecrypt mit AES
Weiter Punkt ist automatisierung. Bisher verwende ich Truecrypt mit
Batchdateien um alles automatisieren zu können.

 

[ulukay]

ja wir reden von megabyte/sekunde
benutz ftp statt samba

"open source verschluesselung" - dm-crytp unterstuetzt aes
btw. unter deiner icq uin finde ich keinen user

 

[wurstsupp]

80-90mb/s sind absolut ausreichend.
Mir würden schon 20 mb/s reichen.
Ich mein wir sprechen doch von megabytes pro sekunde.
Ich könnte ja nich mal mein Gigabit Lan mit 90 mb/s ausnutzen.
Gigigabit Lan schafft ja jediglich ca 220 Mbit in der Praxis.
Das wären grad mal 27,5 mb/s
Wieso also mehr?

Also ich hab nochmal nachgeschaut.
Im moment hab ich grad mal 0,5-2 mb/s schreibend mit Freenas (raid5 + verschlüsselung)
Das ist extremst zu wenig. Kann doch ncih sein das ich fürs kopieren einer 4,5 GB DVD 1 Stunde brauch. Lesend hab ich mindestens 28 mb/s gemessen.
Der Test lief allerdings über vmware auf nur einer Festplatte, auf der die virtuellen Festplatten
angelegt wurden.

Ahja und wegen der Verschlüsselung. Hab nix gegen andere Anwendungen als Truecrypt.
Nur brauch ich open source verschlüsselung.
Die Daten müssen wirklich sicher sein ohne Hintertürchen
Schnell muss die Verschlüsselungsoftware natürlich auch sein.
Verwende bisher Truecrypt mit AES
Weiter Punkt ist automatisierung. Bisher verwende ich Truecrypt mit
Batchdateien um alles automatisieren zu können.

Das mit GBit LAN ist interessant, denn ich bekomme hier die vollen ~125MByte/s.
Mehr open-source als dm-crypt geht nicht, das ist bereits im Kernel integriert...

 

[154500]

Ich glaube du musst Mbits meinen.
Denn ich glaube Festplatten schaffen nur ca 60 MByte/s in der Praxis.

@ulukay

Hab grad geschaut meine icq Nummer ist richtig die ich dir geschickt habe.
Deine 80-90mb/s beim Schreiben: Beziehen die sich auf ein bestimmtes
Raid Einrichtungstool für Linux? Kann ich auch mit adadm diese
Geschwindigkeiten erreichen?

 

[wurstsupp]

Ich glaube du musst Mbits meinen.
Denn ich glaube Festplatten schaffen nur ca 60 MByte/s in der Praxis.

das hat doch nichts mit GBit zutun, wenn ich was auf ne floppy kopiere über GBit ist auch die floppy schuld und nicht die Anbindung.

 

[154500]

Naja ich war davon ausgegangen das du von einer Festplatte über eine Gigabit Verbindung auf die Festplatte eines anderen PC schreibst.
Und Festplatten sollten eigentlich schneller sein als eine Gigabit Verbindung (siehe unten - max 23% auslastung).
Also dein genanntes Beispiel, nur umgekehrt.
Das Medium ist in diesem Fall schneller als die Anbindung.

Naja auf jedenfall hab ich schon mehrere Gigabit Tests gemacht und auch noch einen Experten gefragt, weobei es immer hies das Gigabit Lan gerade mal im Iedalfall zu 23 % ausgelastet werden kann.
Was ich allerdings jetzt gerade überlege, ob diese 23 % nur für Windowsfreigaben und deren Datentransfer betrifft.

Womit genau schaffst du denn diese 125 MByte/s?
Wenn das wirklich stimmt ist es ja schon der beweiss das Gigabit voll ausgelastet werden kann selbst in der praxis. Und das Gigabit auch schneller wäre als die meisten Festplatten.

 

[Killer Chris]

Windows Freigaben kannste nicht als Benchmark nehmen, kopier die Daten mal mit einem Protokoll das dafür wirklich gedacht ist wie FTP, dann gehts auch flotter und du bekommst GBit ausgelastet, allerdings keine 125MBit Datenrate durch den Overhead etc.

Das die Platten langsamer sind ist also schon richtig, aber wozu gibts denn Raids

Bzgl deines Raids:
mdadm + dm-crypt wie vorgeschagen nehmen, ist ganz angenehm zu managen wenns einmal läuft und auch Flott da schon Kernelintern wie bereits erwähnt, hatte bisher gute erfahrungen mit gemacht.

 

[wurstsupp]

Naja ich war davon ausgegangen das du von einer Festplatte über eine Gigabit Verbindung auf die Festplatte eines anderen PC schreibst.
Und Festplatten sollten eigentlich schneller sein als eine Gigabit Verbindung (siehe unten - max 23% auslastung).
Also dein genanntes Beispiel, nur umgekehrt.
Das Medium ist in diesem Fall schneller als die Anbindung.

Naja auf jedenfall hab ich schon mehrere Gigabit Tests gemacht und auch noch einen Experten gefragt, weobei es immer hies das Gigabit Lan gerade mal im Iedalfall zu 23 % ausgelastet werden kann.
Was ich allerdings jetzt gerade überlege, ob diese 23 % nur für Windowsfreigaben und deren Datentransfer betrifft.

Womit genau schaffst du denn diese 125 MByte/s?
Wenn das wirklich stimmt ist es ja schon der beweiss das Gigabit voll ausgelastet werden kann selbst in der praxis. Und das Gigabit auch schneller wäre als die meisten Festplatten.

Die 125MB erreiche ich problemlos von einem software-RAID5 mit Verschlüsselung. Potente CPU vorausgesetzt.

 

[Enigma256]

welche CPU?

 

[wurstsupp]

welche CPU?

ein Intel Core 2 Duo E8400, der langweilt sich sogar noch dabei. Ein Opteron 146 hat es allerdings nicht ganz gepackt.

 

[Enigma256]

ein e2180 sollte das doch auch schaffen, oder?
oder sollte der dazu übertaktet sein?

 

[wurstsupp]

ein e2180 sollte das doch auch schaffen, oder?
oder sollte der dazu übertaktet sein?

meiner läuft auf 2GHz während GBit lan voll ausgelastet ist (SpeedStep), sollte also reichen. Eine gute NIC sollte es aber auch sein, der Opteron hatte nur eine Broadcom zur Verfügung, die belastet jede CPU ganz ordentlich, eine aktuelle Intel NIC hilft da.

 

[154500]

Jup ich weiss. Hab auch nen Core2 Duo bei meinem Test verwendet.
Auslastung war extrem niedrig. Naja ok, zum einen wegen den extrem niedrigen Übertragunsraten. Aber dennoch verschlüsselung + Raid5 ist nich so eine
extreme CPU Leistung notwendig, wie viele denken

Ihr sprecht immer von NICs...
Ich habe bisher in meinem sevrer ne billig Gigabit noname Netzwerkkarte drin.
Eine Intel NIC soll gut sein? In welcher Preisklasse sprechen wir denn da?

Noch eine Frage zum eigentlichen Thread hier.
Ehm.. wie lange dauert so das einrichten des Ubuntu BS + Raid5 + Verschlüsselung?
Ist das viel arbeit mit mdadm + dm-crypt?

 

[gamefreaktegel]

ca. 25EUR
Ich empfehle die Intel PRO/1000 MT Desktop Adapter... gibt es u.a. als PCIe x1.

 

[Neobin]

Naja auf jedenfall hab ich schon mehrere Gigabit Tests gemacht und auch noch einen Experten gefragt, weobei es immer hies das Gigabit Lan gerade mal im Iedalfall zu 23 % ausgelastet werden kann.
Was ich allerdings jetzt gerade überlege, ob diese 23 % nur für Windowsfreigaben und deren Datentransfer betrifft.

Aja...

Ich schaff selbst mit OnBoard-NICs (sind/waren Marvell und Realtek) über die Windowsfreigabe (beides Vista x64) um die 115 MB/sec; wie auch mit NetIO.

 

[154500]

sry, aber das kann ich mir nich vorstellen.
Ich habe alles richtig gemacht und mit Windows Freigaben immer nur 23% Auslastung im Durchschnitt erzielt.
Administratoren mti Jahrelanger Erfahrung haben mir das selbe erzählt.

Keine Ahnung wie man ne 100% auslastung in der Praxis erzielen soll, zumal ein Teil auch für andere Dinge draufgeht (overhead).

Vielleicht sprichst du von Schwankungen, bei denen du ab und zu oder für kurzen Zeitraum eine 100% asulastung hast? Keine Ahnung. Naja ich selber bin nich der Netzwerk Fachman.
Aber habs halt von Leuten mit viel Erfahrung so alles mitbekommen.

 

[Enigma256]

versuchs mal mit FTP

 

[Neobin]

Gerade eben, extra für dich, sogar mal mit der Stopuhr nachgemessen: ISO mit 7,67 GB in 70 Sekunden über die Windowsfreigabe kopiert ergibt 112,2 MB/sec im Durchschnitt.
Kannst gerne vorbeikommen und es dir selber anschauen.

 

[underclocker2k4]

Fakt ist, gbit kann voll ausgenutzt werden.

Wer anderes behauptet hat entweder keine ahnung von der materie oder nutzt minderwertige HW und/oder SW.

Zu gbit anfangszeiten wars nicht möglich sowas voll auszunutzen, aber die sachen haben sich weiterentwickelt.

 

[ulukay]

Fakt ist, gbit kann voll ausgenutzt werden.

kommt drauf an wie du "voll ausgenutzt" definierst
denn ein teil geht IMMER fuer den overhead drauf, da kannst du rumhuepfen und andere als idioten beschimpfen wie du willst.

 

[underclocker2k4]

Wer hüpft hier rum? Und wer beschimpft andere als idiot?

Maximum ist das, was das protokoll in zusammenhang mit gbit zuläßt. Wie sollte man sonnst das maximum definieren.

Klar kann ich auch von Rohdaten ausgehen, aber ich will ja keine 1 und 0 verschicken, sondern "daten".

 

[eldsky]

Ich habe jetzt schon den 2. vollverschlüsselten Server laufen und will mal meine Erfahrungen hier posten:
erstmal die Systeme:

Server alt(geht bald in den Ruhestand )

Dual P3-550, 768MB RAM
100Mbit Lan 3com
Software RAID5(3x160GB Samsung)->LVM2->dmcrypt (AES256)->XFS bzw. ext3
Gentoo Linux 32Bit

Server neu

AMD DualCore 2300BE, 4GB RAM
1000Mbit Intel
1000Mbit Realtek
root,home: Hardware RAID1(Perc,2x160GB Samsung Laptopplatten)->LVM2->cryptsetup luks (AES256)->ext3
data: Hardware RAID5(Perc,4x750GB Samsung)->LVM2->cryptsetup luks (AES256)->XFS
Gentoo Linux 64Bit

Mit dem alten sind max. 15MB rohdatenrate auf der Platte drin. Übers Netz 6-9MB/s wobei schreiben etwas schneller geht. NFS4 ist dabei schneller als Samba, aber nur minimal.

Der neue Server schafft roh 90-100MB/s. Über das Netz bleiben 20MB/s(Realtek->Realtek) bzw. 40Mb/s(Intel->Realtek). NFS4 ist auch hier schneller: In beiden Fällen ca. 5-10MB/s mehr. Die CPU-Last ist beim Netzwerktest bei 60%, da ist also noch Luft. Wahrscheinlich dürfte man mit 2 Intelkarten und einem 2400BE volle GBit Geschwindigkeit erreichen.
Die Benutzung eines 64 Bit Kernels bringt wohl 10-15% mehr Geschwindigkeit in Vergleich zur 32Bit Version (ca.85MB/s). Die Werte für 32Bit habe ich allerdings nicht selbst überprüft und sind nicht mit dem gleichen System gemacht worden. Daher sind diese nicht zu 100% vergleichbar.

Zur Software: Ich habe gentoo benutzt, da es hierfür die beste Anleitung gab. Inzwischen haben Debian und Ubuntu in ihren Testing-Installern direkte Unterstüzung für die Verschlüsselung mit drin. Man kann also ohne große Vorkenntnisse ein verschlüsseltes System aufsetzen.
LVM würde ich auch empfehlen, da es einen doch wesentlich flexibler macht. Den Nachteil, daß man eine initrd braucht, hat man bei Vollverschlüsselung eh schon. XFS oder ext3 ist Ansichtssache, bei kleinen Files gewinnt XFS, bei großen ist es egal.
Die 2TB Grenze ist nur dann relevant wenn du von dem RAID Array booten willst. Dafür brauchst du dann eine GUID-Partitionstabelle und einen gepatchten grub.

AES128 vs AES256 macht meinen Test zu folge gerade mal 10-15% aus.

Btw. Die Gentoo Anleitungen sind auch für andere Distributionen sehr zu empfehlen, wenn man doch mal etwas per Hand machen will/muß.