RAID5 mit kleiner CPU

[NuClEoNiD]

Hallo,

ich plane mit 2 Hitachi und 1 WD Green-Platte ein Software-RAID 5 mit mdadm. Alle Platten bieten jeweils 1TB. Der Debian-Server wird momentan vorallem Video und Foto-Dateien per SCP und Samba beschaufelt. Schafft der momentan werkelnde AMD LE-1640 (2,6GHz, 1 Kern) ohne Probleme seine knapp 10MB/s bei truecrypt-Verschlüsselung des Raid5?
Wie siehts dann im zukünftigen Gigabit-LAN aus?

Hier liegt noch eine 1,5TB WD ... wie macht diese sich in o.g RAID5? 500GB liegen dann brach? Laut wiki richtet sich die Kapazität eines RAID 5 nach der kleinsten Platte - 1TB also in meinem Fall.
3x1TB + 1x1,5T im RAID 5 = 3TB?

Der Server bearbeitet ausserdem noch einen minimal auslasteten Apache, MySQL.
Ich bräuchte auch noch 1-2 VMs, schafft die Büchse das auch noch?


Mit neugierigem Gruß,

NuClE

 

[Hadan_P]

Ich schätze mal Raid5 + Truecrypt + VMs werden die CPU ganz schön ins Schwitzen bringen.

Ne Überlegung wäre eine Raid-Karte mit eigenem XOR-Chip zu verbauen, die würde sich um das Raid5 kümmern, dann könnte die CPU reichen. Für die VMs eventuell noch RAM erweitern.

Das mit der 1,5TB-Platte stimmt genau so wie du sagst, 500GB würden dann brach liegen.

mfg
Hadan

 

[NuClEoNiD]

Hallo Hadan,
danke für deine Antwort. eine Raid-Karte kommt nicht in Frage. Dann verzichte ich notgedrungen auf die VMs.

 

[DiePike]

Wieso investierst du denn nicht ein paar Euro in eine stärkere CPU + ein wenig RAM?

 

[NuClEoNiD]

Weil ich mich für keine günstige AM2(+) CPU entscheiden kann...
Beim RAM ging ich davon aus 3GB würden reichen. Frisst Trucrypt RAM? Die beiden VMs müssten mit 512MB klarkommen, sie laufen auch nicht ständig.

 

[pSyKoOlo]

File-Server + Zwei VMS + TC + Software-Raid 5! auf 3 GB und AMD LE Single Core?

mhhh..

Da hat er ja gut was zu tun. ^^

Also mindestens würde ich nen Dual-Core empfehlen und 4/6/8GB Ram. Aber es spricht ja nix dagegen es auszutesten, da die Hardware ja vorhanden ist,oder?

GreEtz pSy

 

[NuClEoNiD]

Ja, vorhanden ist sie. Für mich war nur die Verständnisfrage zum RAID5 wichtig und ob es noch eine Alternative gäbe ...
Ohne den dedizierten Controller. Tests folgen erst am Wochenende.

 

[fdsonne]

Ich Rate von einem Raid mit unterschiedlichen Platten generell ab. Unter Umständen geht die Performance massiv in den Keller weil eben die Platten nicht gleich beschrieben werden können.

Ansonsten spricht erstmal nix gegen die Geschichte. Der SingleCore wird aber massiv überfordert sein, testen kanst das sicher, aber der wird permanent am Limit laufen vor allem wenn du Schreibend auf das Array zugreifst.

 

[NuClEoNiD]

Herrlich. Habe nun ein paar Tests machen können. Mit dem unverschlüsselten Raid zu arbeiten ist kein Problem. Schreibende Zugriffe auf die noch im System arbeitende Truecrypt-Platte sorgen dann aber schnell für 80% Auslastung. Kommt dann noch eine XP-VM (VBoxheadless) wirds richtig eng.
Welche AMD-CPU macht mich glücklich? Vorallem niedriger Verbrauch im idle sind das A&O...

 

[Vagabund]

Nur eine Frage: brauchst du True Crypt für ALLE Daten...?

 

[Cantor]

Welche AMD-CPU macht mich glücklich? Vorallem niedriger Verbrauch im idle sind das A&O...

Falls vom Board unterstützt, dann ein günstiger Athlon II X2 240 (keine e Version, die kostet nur unnötig extra).
Falls du mehr Budget hast, kannst du auch einen X3 oder X4 nehmen.

Falls dein Board keine AM3 CPUs unterstützt, kannst du dir auch einen Athlon X2 5050e holen.

 

[NuClEoNiD]

Nur eine Frage: brauchst du True Crypt für ALLE Daten...?

Nein, nicht zwingend. Das RAID5 läuft momentan auch unverschlüsselt.

Falls vom Board unterstützt, dann ein günstiger Athlon II X2 240 (keine e Version, die kostet nur unnötig extra).
Falls du mehr Budget hast, kannst du auch einen X3 oder X4 nehmen.

Falls dein Board keine AM3 CPUs unterstützt, kannst du dir auch einen Athlon X2 5050e holen.

Der Athlon II X2 240 gefällt mir. Danke für den Tipp.

Kann es sein das sich dmcrypt mit LUKS performanter zeigt als Truecrypt?

 

[Dr.Cupido]

Also wenn du mit Truecrypt und Raid 5 arbeitest UND noch VMs dazukommen, würde ich einen x3 empfehlen. Da du leider nicht geschrieben hast,welches Mainboard im Server steckt, weiss ich nicht ob eine Kernfreischaltung möglich wäre.

Das Preis/Leistungsverhältnis von x2 240 und x3 435 ist fast identisch, aber wenn eh schon ne Neuanschaffung ins Haus steht, würde ich die 20€ für den 3ten ( möglicherweise 4ten Kern) und 100Mhz mehr Takt pro Kern schon investieren.

Der Idleverbrauch von x2 zu x3/x4 ist nahezu identisch. +- 0,5W was auch die Messtoleranz meines Energy Monitor 3000 sein kann. Momentan habe ich hier: Sempron@x2 , x2 240 , phenom x2 250 , x6 1055T und aus einer Laune heraus habe ich meinen x3@x4 verkauft. Die jeweiligen Stromverbräuche habe ich natürlich auch gemessen. Am besten kommt der x6 weg, aber der wäre wahrscheinlich zu teuer. Idleverbrauch ist aber fast identisch mit dem x2/x3/x4 nur die phenoms brauchen etwa 5W mehr durch den 6MB Cache. Der x6 hat trotz des Caches einen sehr niedrigen Idleverbrauch.

Mit dem neuen Prozessor kann ich dir K10stat für Linux nur wärmstens empfehlen. Bringt im Idle nochmal bis zu 5W und unter Last natürlich noch viel mehr

 

[BlackGhost]

Nächster Vorschlag, der aber wohl auch ein neues Board mit sich bringt .. ein Intel i5 dank EAS Hardware Verschlüsselung, sollte der nochmal richtig Schwung in die Bude bringen.

 

[therealJMC]

Achja:
unter Linux kannst du von ner 1,5TB doch nur 1TB als "linux raid" partitionieren und mit einbinden und die 500GB seperat partitionieren und nutzen? Spricht doch nix dagegen, ausser, dass du dann bei Zugriffen auf die 500GB u.U. die Performance deines Arrays komplett runterziehst

Aber Brachliegen muss sie bei mdadm nicht, das gilt (normalerweise) nur für Controller und so manches andere SW-Raid...

Gruß
Peter

 

[NuClEoNiD]

Der Idleverbrauch von x2 zu x3/x4 ist nahezu identisch. +- 0,5W was auch die Messtoleranz meines Energy Monitor 3000 sein kann. Momentan habe ich hier: Sempron@x2 , x2 240 , phenom x2 250 , x6 1055T und aus einer Laune heraus habe ich meinen x3@x4 verkauft. Die jeweiligen Stromverbräuche habe ich natürlich auch gemessen. Am besten kommt der x6 weg, aber der wäre wahrscheinlich zu teuer. Idleverbrauch ist aber fast identisch mit dem x2/x3/x4 nur die phenoms brauchen etwa 5W mehr durch den 6MB Cache. Der x6 hat trotz des Caches einen sehr niedrigen Idleverbrauch.

Mit dem neuen Prozessor kann ich dir K10stat für Linux nur wärmstens empfehlen. Bringt im Idle nochmal bis zu 5W und unter Last natürlich noch viel mehr

Bis x4 würde ich preislich ohne zögern mitgehen, bis 60€ kein Thema... Der x6 ist mir mit 80€ eigentlich zu teuer. Allerdings hätte ich dann leistungsmäßig wohl erstmal ausgesorgt...
Danke für deine Messwerte und den k10stat-Tipp. Habe mich schon geärgert das k10stat nix mit dem kleinen LE-1640(k8) anfangen kann.

Ich nutze zurzeit ein Asus M3A78-CM mit ACC und Kernfreischaltspaß ist da nix.

Nächster Vorschlag, der aber wohl auch ein neues Board mit sich bringt .. ein Intel i5 dank EAS Hardware Verschlüsselung, sollte der nochmal richtig Schwung in die Bude bringen.

Reicht für meine Zwecke nicht auch ein i3? Selbst wenn diesem EAS fehlt? Eigentlich wollte ich von Intel fernbleiben ... ich weiß nur nicht warum
So oder so würd ein Wechsel auf Intel ganz schön am Geldbeutel rütteln...

Ich Rate von einem Raid mit unterschiedlichen Platten generell ab. Unter Umständen geht die Performance massiv in den Keller weil eben die Platten nicht gleich beschrieben werden können.
...

Achja:
unter Linux kannst du von ner 1,5TB doch nur 1TB als "linux raid" partitionieren und mit einbinden und die 500GB seperat partitionieren und nutzen? Spricht doch nix dagegen, ausser, dass du dann bei Zugriffen auf die 500GB u.U. die Performance deines Arrays komplett runterziehst

Aber Brachliegen muss sie bei mdadm nicht, das gilt (normalerweise) nur für Controller und so manches andere SW-Raid...

Wie lassen sich diese beiden Aussagen vereinen? Die kleine 500GB Partition würde wenig genutzt werden, mir gefällt der Gedanke auch die große Platte mit ins RAID aufzunehmen.


Danke für eure Hilfe!

 

[therealJMC]

Ich geb Sonne natürlich recht, das ist nicht zu empfehlen, es ging mir nur darum, dass gesagt worden ist, dass es nicht möglich ist die Platten sollten nahezu gleichschnell sein, sonst bekommst du fiese delays rein... Hab ich einmal gehabt, man siehst dann z.b. In einer backplane mit Access LEDs dann sehr gut...

 

[Diablokiller999]

Jetzt fangt nicht noch an an seinem Board herum zu doktorn, mit einem Dual- oder Triple-Core reicht die Hardware vollkommen aus, auch die 3GB sollten reichen wenn das Teil nicht übermäßig mit Software überladen ist (Gnome etc.). Ich lass 'n mdadm RAID5 mit 3 (gleichen) HDDs mit TC verschlüsseln und selbst bei W-Zugriff übers GBit-Lan dümpelt der AMD-DC gelangweilt vor sich hin, RAM liegt ebenfalls total brach (2GB) und macht wohl schon Frust-Schreiben wegen Langeweile. Könnte da locker 2 VMs drauf packen die DHCP oder so'n Quatsch machen.
Kauf dir erstmal eine nette günstige DC oder Triple CPU und schieb' sie in den Sockel (schau mal im Board nach gebrauchten). Falls du unnötige Software drauf hast, schmeiß sie mit dpkg oder so runter. Sollte eigentlich schon reichen und dich nicht die Welt kosten. Das würde ich nämlich eher in die eine oder andere Festplatte stecken und vor allem die HDD-Kühlung.

 

[fdsonne]

Ich geb Sonne natürlich recht, das ist nicht zu empfehlen, es ging mir nur darum, dass gesagt worden ist, dass es nicht möglich ist die Platten sollten nahezu gleichschnell sein, sonst bekommst du fiese delays rein... Hab ich einmal gehabt, man siehst dann z.b. In einer backplane mit Access LEDs dann sehr gut...

Neja was heist gleichschnell... sie sollten die gleiche Struktur von Sektoren/Spuren usw. besitzen, sprich intern identisch sein. Sonst müssen die Platten unterschiedliche Kopfbewegungen machen, was extrem die Datenrate drücken wird, gerade wenn man mit kleinen Files agiert oder mehrere Zugriffe gleichzeitig auf das Array hat...

 

[NuClEoNiD]

Ich geb Sonne natürlich recht, das ist nicht zu empfehlen, es ging mir nur darum, dass gesagt worden ist, dass es nicht möglich ist die Platten sollten nahezu gleichschnell sein, sonst bekommst du fiese delays rein... Hab ich einmal gehabt, man siehst dann z.b. In einer backplane mit Access LEDs dann sehr gut...

Okay ... dann lassen wir das.

Jetzt fangt nicht noch an an seinem Board herum zu doktorn, mit einem Dual- oder Triple-Core reicht die Hardware vollkommen aus, auch die 3GB sollten reichen wenn das Teil nicht übermäßig mit Software überladen ist (Gnome etc.). Ich lass 'n mdadm RAID5 mit 3 (gleichen) HDDs mit TC verschlüsseln und selbst bei W-Zugriff übers GBit-Lan dümpelt der AMD-DC gelangweilt vor sich hin, RAM liegt ebenfalls total brach (2GB) und macht wohl schon Frust-Schreiben wegen Langeweile. Könnte da locker 2 VMs drauf packen die DHCP oder so'n Quatsch machen.
Kauf dir erstmal eine nette günstige DC oder Triple CPU und schieb' sie in den Sockel (schau mal im Board nach gebrauchten). Falls du unnötige Software drauf hast, schmeiß sie mit dpkg oder so runter. Sollte eigentlich schon reichen und dich nicht die Welt kosten. Das würde ich nämlich eher in die eine oder andere Festplatte stecken und vor allem die HDD-Kühlung.

Das is doch mal ne Ansage! Auf dem Server läuft ein Debian ohne GUI, ausserdem ein Apache und MySQL, sonst nur Truecrypt und mdadm. Ach richtig, Samba läuft noch.
Lass uns nicht die (HDD)-Kühlung ansprechen, da bekommt man graue Haare. Scheiß billig Gehäuse....

Neja was heist gleichschnell... sie sollten die gleiche Struktur von Sektoren/Spuren usw. besitzen, sprich intern identisch sein. Sonst müssen die Platten unterschiedliche Kopfbewegungen machen, was extrem die Datenrate drücken wird, gerade wenn man mit kleinen Files agiert oder mehrere Zugriffe gleichzeitig auf das Array hat...

Das RAID is vorallem mit RAWs gefüllt. Um die 18MB pro File. Denke mal das zählt zu kleinen Dateien. Da die momentan eh nur per 100Mbit abgeholt werden, ist die Datenrate wohl noch nicht so entscheidend. Wie gesagt, solang keine Verschlüsselung läuft passts im RAID auch wunderbar.

DC/TP - CPU ich komme

 

[fdsonne]

Gut bei 100MBit/sec schickt das schon...

Aber mit GBit LAN wirds wohl schwer werden... Andererseits, wenn es dir primär darum geht die RAWs vom Datenspeicher abzuholen, sprich vorrangig Lesezugriffe zu verzeichnen sind, dann hat auch die CPU nix groß zu tun. Wie es mit Verschlüsslung ausschauen würde, weis ich aber nicht, hab sowas nie getestet...

 

[NuClEoNiD]

Danke für die Tipps. Werd nach einer neuen CPU Ausschau halten. Bis dahin bleibt das Raid unverschlüsselt. Damit kann ich noch leben.

 

[Cantor]

mdadm (Linux Raid) benötigt bei RAID5 ordentlich CPU Leistung beim schreiben.
Truecrypt benötoigt sicher auch ordentlich CPU Leistung beim lesen und schreiben.
SCP benötigt für hohe Geschwindigkeiten (also >30MB/s) ebenfallss ordentlich CPU Leistung.

Wenn du also mittels SCP auf ein verschlüsseltes RAID5 schreiben willst, macht ein Triple Core durchaus Sinn.

Für 100MBit sollte selbst deine aktuelle CPU ausreichen, zur Not erstmal testen. Ich denk mal, 8MB/s solltest du damit locker schaffen.

Wenn du auf SCP verzichten kannst, würde ich dir NFS empfehlen, damit bist du deutlich flotter unterwegs. SMB ist etwas langsamer als NFS, bricht aber gnadenlos ein bei mehreren Zugriffen gleichzeitig.

 

[FDACC]

ein interessanter benchmark mit der AES-NI funktion der kleinen intel cpu's (i3/i5/i7):
Truecrypt 7.0 Linux AES-NI Benchmark with i7-620M on Dell Latitude E6510

 

[NuClEoNiD]

RAID5 über mdadm+lvm+dm-crypt:

server:~# hdparm -Tt /dev/mapper/daten1_crypt

/dev/mapper/daten1_crypt:
 Timing cached reads:   1806 MB in  2.00 seconds = 902.83 MB/sec
 Timing buffered disk reads:  138 MB in  3.02 seconds =  45.65 MB/sec

Truecrypt AES+Twofish auf einzelner Platte
(hohe CPU-Last beim Schreiben)

server:~# hdparm -Tt /dev/sdd1

/dev/sdd1:
 Timing cached reads:   1856 MB in  2.00 seconds = 927.94 MB/sec
 Timing buffered disk reads:  324 MB in  3.01 seconds = 107.64 MB/sec

Zumindest die hohe CPU-Last bin ich nun los...