[Guide] RAID5 - Windows RAID VS ICH10R - 01.01.09

[Cappo]

Servus Leute,

lange habe ich gesucht und verglichen, welches NAS soll ich nehmen, selber bauen?
Wenn man Verschlüsselung und Performance will gibts eigentlich nur Selbstbau.
Meine Dateigrößen bewegen sich so zwischen 3MB und 10GB, so dass ich eine große Clustersize nutzen kann.

Das habe ich mir überlegt:

-Windows RAID

-Onboard RAID Controller

-Raid Cotroller wie Perc5


Um die Kosten im Rahmen zu halten habe ich mir erstmal folgende Kombi zugelegt:
-Dual Celeron E3200
-Asus P5Q-EM (ICH10R)
-2GB RAM
-6*Seagate ST31500341AS (7200/32MB)
-Win2008 Server SP2

Bei meinem System werden 5 HDDs fürs RAID eingesetzt, eine nutze ich als Hotspare.
Generell sollten bei RAID5 optimalerweise immer die Regel Stripesize/(SUM_HDD-1HDD)=Ganze Zahl angwendet werden.
z.B. RAID5 mit 3 oder 5 Festplatten.
Zudem setze ich wo es geht Cache ein um die Performance zu erhöhen(was auch wirklich der Fall ist)



Als erstes habe ich das Windows RAID konfiguriert. Der Vorteil hiervon ist, dass man es in einen beliebigen anderen Rechner einbauen kann und dass System sofort wieder in Betrieb ist.
Einstellen kann man hier nicht viel.
Wichtig ist die GPT-Partition(größer 2TB) und die 64kb Clustersize, was den Berechnungsaufwand niedrig halten soll.
Hier die Werte ohne Verschlüsselung



Hier die Wert mit Standard Truecrypt AES Verschlüsselung





Als nächstes machte ich mich an den ICH10 RAID Controller mit Matrix Treiber.
Die Konfiguration erfolgte über das RAID-BIOS wobei ich eine Stripesize von 64kb(4*16kb+1*16Parity) und eine NTFS Clustersize von 4kb(früher 64kb hat aber zu Performanceeinbrüchen geführt dank an BlackGhost) wählte.
Die Synchronisation dauerte ca. 30h.
Hier die Werte ohne Verschlüsselung



Hier die Wert mit Standard Truecrypt AES Verschlüsselung



Zum Schluss setzte ich das Windows neu auf und spielte die Intel Rapid Storage Treiber ein.
Die Konfiguration und das RAID5 blieben dieselbe.

Hier die Werte ohne Verschlüsselung



Hier die Wert mit Standard Truecrypt AES Verschlüsselung


Mein Fazit:
Windows RAID ist ohne Verschlüsselung recht brauchbar, allerdings nicht sehr performant.
Gut ist das man extrem unabhängig von der Hardware ist.


ICH10 RAID bringts, besonders mit den Rapid Storage Treibern, sei es mit oder ohne Verschlüsselung, leider limitiert der Celeron die Truecrypt Leistung auf 170MB AES Mean Speed.
Gut finde ich Möglichkeit von Hotspares, die Performance und das Handling.
Da ich sowiso meist lesend auf die Daten zugreife, sowie keine Datenbank betreibe, dürften Stromausfälle für mich weniger das Problem sein, da ich mir wahrscheinlich eine kleine USV zulegen werde.


Wenn ich zeithabe werde ich das Thema noch etwas ausbauen und genauer Beschreiben.
Wichtig waren für mich erstmal die Werte zum Vergleich zur Verfügung zu stellen, da ich selber im Netz wenig dazu gefunden hatte.



1. Nachtrag
Ich habe nochmal den Vorschlag von Blackghost beherzigt und das Array mit 128kb Stripesize erstellt.
Das war leider nicht so erfolgreich die Werte beim Schreiben sind ziemlich eingebrochen. Wider 30h warten



Beim kopieren auf den Server komme ich auf ca. 75MB/s und davon lesend 120MB/s, ich denke das die Realtek NIC am Client das Problem ist.
Im großen und ganzen bin ich sehr zufrieden.


MFG

Josch

 

[BlackGhost]

RAID5 mit fünf HDDs plus Hotspare würde ich nicht machen sondern die letzte hotspare HDD auch ins RAID5 migrieren.
Hotspare lohnt für den privaten Gebrauch nicht, bei den zusätzlichen Kosten für eine HDD.
Bis acht HDDs RAID5 und ab HDDs RAID6 ist die sinnvollere Wahl!

Stripe-size bei Storage würde ich ebenfalls auf 128k erhöhen .. 64k ist eher sinvoll fürs OS, da hier mit sehr viele kleinen Dateien gehändelt wird.

Der Unterschied zu einem Hardware RAID Controller wie den Perc würde mich jetzt aber noch interessieren

 

[Cappo]

RAID5 mit fünf HDDs plus Hotspare würde ich nicht machen sondern die letzte hotspare HDD auch ins RAID5 migrieren.
Hotspare lohnt für den privaten Gebrauch nicht, bei den zusätzlichen Kosten für eine HDD.
Bis acht HDDs RAID5 und ab HDDs RAID6 ist die sinnvollere Wahl!

Stripe-size bei Storage würde ich ebenfalls auf 128k erhöhen .. 64k ist eher sinvoll fürs OS, da hier mit sehr viele kleinen Dateien gehändelt wird.

Der Unterschied zu einem Hardware RAID Controller wie den Perc würde mich jetzt aber noch interessieren

Hotspare ist mir lieber, keiner weiß wie lange Seagate für eine RMA benötigt. Sicher ist sicher.

Die Stripesize habe ich absichtlich auf 64kb gewählt, da die Partition auch mit 64kb Clustersize formatiert wird.
Evtl. werd ich des mal testen.
(grad gefunden, die Werte sind anscheinend net so relevant http://www.tomshardware.com/reviews/RAID-SCALING-CHARTS,1735-7.html)

Jetzt ist mir aber was anderes aufgefallen, irgendwie schaff ich übers Netzwerk nur 65-70MB/s, Die CPU ist auch nicht ausgelastet.
Beim verschlüsseln, hat mir das System konstant 114MB/s produziert.
Da muss ich nochmal schauen.

mfg

Josch

 

[BlackGhost]

Das liegt wohl am Onboard LAN Controller .. natürlich muss das Zielsystem auch z.B. 114MB/s aufnehmen können, sprich hier muss der Controller und die HDD/SSD auch schnell genug sein.

btw: die Clustersize beim formatieren (standard 4k) sollte man nicht ändern .. das führt eher zu Problemem als dass man überhaupt Nutzen davon hätte.

 

[Cappo]

Das liegt wohl am Onboard LAN Controller .. natürlich muss das Zielsystem auch z.B. 114MB/s aufnehmen können, sprich hier muss der Controller und die HDD/SSD auch schnell genug sein.

btw: die Clustersize beim formatieren (standard 4k) sollte man nicht ändern .. das führt eher zu Problemem als dass man überhaupt Nutzen davon hätte.

Ne des gleiche Prob hab ich auch mit meiner Intel-NIC.



Ich hab jetzt mal das Array mit einer Stripesize von 128kb angestoßen.

Mal gucken was des bringt.


MFG


Josch

 

[Karbe]

Netter Vergleich, was fehlt ist eine weitere Testreihe mit einem mdadm-RAID

Grüße

 

[Higgy]

Oh man!

Bin seit Tagen am zusammenstellen eines kleinen Raid Verbundes mit einem AMD System (AMD 790GX/SB750) und jetzt kommst du daher und haust hier so einen geilen Guide/Test rein das ich wieder von Vorne beginnen kann!

Aber jetzt weiss ich schonmal das ich ein ICH10R System brauche ^^
Echt cool von Dir!!! THX!

 

[Cappo]

Netter Vergleich, was fehlt ist eine weitere Testreihe mit einem mdadm-RAID

Grüße

Da war ich erlich gesagt zu faul dazu.
Allerdings muss ich auch sagen, dass ich bei Linux net so der Held bin.

Oh man!

Bin seit Tagen am zusammenstellen eines kleinen Raid Verbundes mit einem AMD System (AMD 790GX/SB750) und jetzt kommst du daher und haust hier so einen geilen Guide/Test rein das ich wieder von Vorne beginnen kann!

Aber jetzt weiss ich schonmal das ich ein ICH10R System brauche ^^
Echt cool von Dir!!! THX!

Das hat mir geholfen des System zu optimieren.
How to achieve superb write speeds with nForce onboard RAID5 - Storage Forums

Intel hab ich mir nur ausgesucht, weil die die besten Kapazitäten für Entwicklung und Treiber hat.


mfg

Josch

 

[Karbe]

Da war ich erlich gesagt zu faul dazu.
Allerdings muss ich auch sagen, dass ich bei Linux net so der Held bin.

So bleibt es ein Test von Kompaktwagen ohne den Klassenprimus "Golf".

Außerdem fehlt der Test mit einem Hardware-Controller, wie du ihn eingangs angekündigt hast..?

Grüße

 

[Cappo]

So bleibt es ein Test von Kompaktwagen ohne den Klassenprimus "Golf".

Außerdem fehlt der Test mit einem Hardware-Controller, wie du ihn eingangs angekündigt hast..?

Grüße

Linux hab ich in Kombination mit Verschlüsselung getestet, leider hat es nicht so hingehauen wie ich mir des vorgestellt habe.
Außerdem müssen noch andere den Server bedienen, die keinen Plan davon haben.

Es ist aber noch angedacht, dass ich mir ein Testsystem zulege mit dem ich etwas Linux-Testing machen kann.


Raidcontroller ist aber außen vor, mir nutzen die auf Arbeit und Tests gibts genug dazu.

mfg

Josch

 

[Higgy]

Also iwie klappt das bei mir überhaupt nicht

bei Atto Bench komme ich nicht über 20 -30 MB schreiben und beim Lesen ist das Maximum 250 - 300!

Ich bin mir sicher das es an den Einstellungen liegt aber genau da steig ich auch nicht durch...

Was für eine Stripe Einstellung muss ich beim erstellen im Intel Rapid einstellen?
So sieht es momentan aus:



Was stimmt hier nicht?

Das einzige was ich doch einstellen kann ist die Strip Size im Bios (16, 32, 64, 128)
Und eben die Größe der Zuordnungseinheit beim formatiren im Windows...

Und was hat das zu bedeuten:

Stripesize von 64kb(4*16kb+1*16Parity)

?????

 

[Cappo]

Stripesize würde ich die von Intel vorgeschlagene nehmen.

Mach mal im Gerätemanager unter dem RAID-Datenträger den Cache an, der hat bei mir auch noch einiges gerissen.

mfg


Josch

 

[Higgy]

Und was schlägt intel vor?
Also beim 1. mal hatte ich ja die 64kb strip size und der Cache war aktiviert!

Und das brachte eine Schreibperformance von 20 - 30 mb/s!

Kannst du mir mal sagen was für eine Block/Sector size deine HDD´s haben???

 

[Cappo]

Und was schlägt intel vor?
Also beim 1. mal hatte ich ja die 64kb strip size und der Cache war aktiviert!

Und das brachte eine Schreibperformance von 20 - 30 mb/s!

Kannst du mir mal sagen was für eine Block/Sector size deine HDD´s haben???

Ich hatte auch 64kb eingestellt.
Meine Sector Size lieg bei 512byte(noch eine von den alten).

Ich meine nicht nur den Controller Cache sondern auch den Datenträger Cache.

 

[Higgy]

Okay dann werde ich das nochmal mit 64kb stripsize testen...
Hast du das bei dir auch machen müssen:
Disk performance may be slower than expected when you use multiple disks in Windows Server 2003, in Windows XP, and in Windows 2000

 

[Cappo]

Okay dann werde ich das nochmal mit 64kb stripsize testen...
Hast du das bei dir auch machen müssen:
Disk performance may be slower than expected when you use multiple disks in Windows Server 2003, in Windows XP, and in Windows 2000

Welches OS hast du?

ab Vista/Server08 braucht man das net mehr.

 

[Higgy]

Aha, dann hat sich das ja erledigt ich nutze Windows Server 2008 R2!

Naja bin jetzt erstmal wieder 39h am initialisieren des Raid5 ^^

Werde mich dann nochmal melde!

Danke für die Info