Probleme mit 6x 3TB RAID5 (Softraid)

[walsmi]

Hallo,
ich habe derzeit ein Problem mit dem neuerstellten RAID 5 in meinem kleinen Server.

OS: Windows Server 2012
HDD: 6x 3TB WD Red
Controller: IBM M1015

(Kurz zur Anwendung: Der Server ist ein Multimedia Homeserver auf dem alle meine Blurays als ISO liegen, zudem ein paar Gb's an Bilder, Musik ... Bisher lief das ganze mit zwei Partitionen RAID1 a 3TB. Nun habe ich noch ein paar Platten gekauft und den Controller. Da ich nicht auf die Mega Performance angewiesen bin dachte ich ich mache wieder ein Softraid über die Computerverwaltung bzw. die Storage Spaces, damit bin ich gänzlich unabhängig vom Controller und brauch auch nicht viel Geld dafür opfern, sondern kann ihn als Sata Erweiterungskarte einsetzen.)

Problem:
Mal davon abgesehen das ich ca 2 Tage warten musste bis das Raid initialisiert war, hatte ich extreme Probleme mit der Schreib- /Lesegeschwindigkeit. Diese fing meist relativ gut so um die 100mb/s an (was zwar nicht viel ist mir aber schon reichen würde) und brach dann immer weiter ein bis auf einige MB/s, manchmal blieb die Fortschrittsanzeige beim kopieren sogar komplett stehen.

Hat mir jemand ne Idee oder Lösungsansatz?

Ich hatte mir überlegt vllt doch auf ein Hardware Raid umzusteigen und mir noch die Raid 5 Platine für den Controller zu bersorgen. Die Frage ist aber ob das mein Problem löst?! Gibt ja viele die ein Softraid 5 mit ordentlich Performance betreiben.

Grüße und Vielen Dank,
Mike

 

[mika2004]

Um einen Softraid zu betreiben, braucht Du richtig CPU-Power.
Ein Hardware-Raid ist unabhängig davon.
Als billigste Maßnahme kannst Du Dir ein Futurekey für diesen Kontroller besorgen.
Dann hast Du einen Raid5-Kontroller ohne Cache,der mit 7-12 Watt auskommt.
Die besseren LSI 9261-8i/9265-8i/9271-8i brauchen ca. 20 Watt.

Mit Marvelllösungen habe ich keine guten Erfahrung gemacht,
mit anderen Anbieten habe ich keine Erfahrung.

 

[walsmi]

Hi,
die CPU Last hatte ich auch zuerst in Vermutung da nur n kleiner i3 3220t verbaut ist. Im Task manager ist jedoch nicht viel Auslastung sichtbar. Das müsste ich doch sehen?!
Mit Future Key meinst die kleine Platine die RAIS 5 ermöglich, oder?
Danke schon Mal
Mike

 

[mika2004]

Ja diese Platine meine ich.
Ich habe einen M1015 zum LSI9211-8i mit IT (kein Bios) downgeflasht.
Den Raidkey habe ich zwar mitgekauft, aber nie getestet. Liegt irdendwo rum.....
Ich bin mit Kontroller nicht ganz zufrieden, weil 4K-Platten nicht die optimale Performace bringen.

Zur Analyse deines Problems, würde ich die mal den Resourcenmonitor ans Herz legen.

 

[walsmi]

Kannst ja mal schauen ob ihn noch hast, falls ihn abgeben magst und der Preis stimmt hätte ich Interesse...

Den Resourcenmonitor meinte ich ja mit "Task manager" dort steigt die CPU Last nicht über 20 % im normalen Betrieb.

 

[mika2004]

Zugegeben, ich verkaufe nicht gerne. Gibt hinterher möglicherweise nur Theater.
Hätte auch 5x1,5GB Samsung HD154UI, alle OK.

Aber zurück zu deinem Problem: Was sagt den der Reiter Diskträger, bzw. seine Anzeige?

 

[Eye-Q]

Als billigste Maßnahme kannst Du Dir ein Futurekey für diesen Kontroller besorgen.

Mit Future Key meinst die kleine Platine die RAIS 5 ermöglich, oder?

Nur so nebenbei: wenn überhaupt dann heißt das Ding Featurekey, da es Features (Eigenschaften) freischaltet, nicht die Zukunft.

Ich weiß nicht, ob die Berechnung der Parität beim Schreiben eines Software-RAIDs parallelisierbar ist, deswegen kann es gut sein, dass die CPU-Auslastung nicht über 20-25% steigt, was dann die Vollauslastung eines CPU-Kerns bedeutet. Da der i3-3220 zwei Kerne mit Hyperthreading besitzt, kann pro Single-Thread maximal 25% CPU-Auslastung anliegen.

 

[mika2004]

Vielen Dank für für Deine hilfreiche Korrektur.

 

[walsmi]

Ich mach grade nochmal n raid 5 über 3 platten (dauert eben ne zeit bis es initialisiert ist) und teste dann nochmal mit offenem Resourcenmonitor. (Bei den Raid 1 die grade laufen wird die CPU Last wunderbar auf alle kerne verteilt).
Zusätzlich suche ich mal nach nem Featurekey und hoffe das ein Hardwarraid mein Problem dann spätestens fixed.

 

[Holt]

Um einen Softraid zu betreiben, braucht Du richtig CPU-Power.

Das mag bei Windows zutreffen, die Windows SW-RAIDs sind ja für ihre miese Performance berüchtigt, aber bei LINUX / FreeBSD ist die CPU Auslastung mit SW-RAIDs gering. Bei meinem HP N54L braucht das SW RAID 5 mit 5 WD Red 3TB nur % der CPU und das ist eine kleine AMD 2.2GHz unter unter Linux zeigt Top die % pro Kern bis 100% an, nicht wie unter Windows, wo der Taskmanager nur 100% anzeigt, wenn alle Kerne voll ausgelastet sind.

Den Resourcenmonitor meinte ich ja mit "Task manager" dort steigt die CPU Last nicht über 20 % im normalen Betrieb.

Wie schon gesagt und auch von Eye-Q erwähnt, sind 25% das Limit was Windows bei einer solche CPU für einen Thread anzeigen kann. Von daher bist Du nahe am Limit. Windows SW RAIDs sind berüchtigt für ihre Lahmheit und ich würde von daher eher auf einen HW RAID Controller oder einen LINUX/FreeBSD Server setzen. Es gibt da genug fertige Distributionen wie OpenMediaVault oder FreeNAS/NAS4Free. Die sind als Server ungleich besser geeignet und ähneln dem, was auch von den ganzen Consumer-NAS verwendet wird. Die schaffen mit einem kleinen Atom oder (Marvell)ARM mit 1.5 oder 1.6GHz locker 50 bis 80MB/s für ein RAID 5 mit 4 Platten.

Vergiss nicht: Ein RAID ersetzt kein Backup!

 

[Schlingel_INV]

Der IBM M1015 ist aber selbst mit Featurekey kein "echter" HW-Raid-Controller.

Und: 6x 3TB im Raid5!? Ich würde da lieber auf Raid6 gehen. Beim Rebuild wäre sonst das Auftreten von Lesefehlern fast gesetzt.

 

[Alex2108]

Kann ich auch nur empfehlen: Wenn RAID, dann ein echter HW-Raid Controller und keine Softwarelösung. Und bei 6 HDDs auf jeden Fall RAID6. Bei RAID5 wird es beim Ausstieg 1 HDD schon brenzlig, dann darf aber auch nichts weiter passieren. Ein Rebuild ist schon relativ belastend für die HDDs, da ist das Risiko eines Ausfalls doch recht hoch. Ich würde da lieber auf die Kapazität einer HDD verzichten und auf RAID6 migrieren.

 

[Digi-Quick]

Der IBM M1015 ist aber selbst mit Featurekey kein "echter" HW-Raid-Controller.

das musst du jetzt mal begründen
Ein ROC/Prozessor (LSI SAS 2008) ist auf der Karte vorhanden. das ist eigentlich das Unterscheidungsmerkmal zwischen Hard- und Softwareraid.

Der Vorteil ist halt, daß man den Controller auf IT-Modus umflashen kann, dann verhält er sich wie ein "dummer" HBA.

 

[walsmi]

-Das Raid 5 mit 3x 3Tb ist jetzt dann bald fertig initialisiert. Dann schaue ich mir die Auslastung genau an.
-Feature Key ist mal unterwegs zu mir.

Zum Thema Raid 5/6 gebe ich euch recht. Raid 6 wäre bei der Größe fast sinnvoller, kann mein Controller aber nicht. Ein Controller für >200 Eu mag ich mir derzeit auch nicht leisten. Ich denke man muss immernoch sehen dass sich das ganze im Privatbereich befindet und nicht im Firmenbereich, sprich ich will
1. die Kosten noch in gewissen Grenzen halten und
2. Ist der Datenverlust (falls es dazu kommt) nicht so tragisch wie bei einer Firma. Die wichtigsten Daten werden bei mir separat in bestimmten zyklen gebackupt. Die Bluray Rips sind zwar ein wenig zeitraubend könnte ich aber sowieso jederzeit wiederholen
3. Keine meiner Platten lasse ich älter als 2-3 Jahre werden dann migriere ich immer zu größeren, neuen Platten. Frei nach der Badewannenkurve laufen die Platten bei mir einige Tage bevor ich sie in den Server baue.

Vllt mache ich auch zwei kleinere Raid 5 mit je drei Platten.

Ich danke euch wirklich für die Tipps und weiß die sind gut gemeint. In die Thematik eingelesen habe ich mich und habe für mich Preis/Leistungs und Andwendungsbezogen damit meine momentanen Interessen umgesetzt.
Jetzt solls eigentlich erstmal darum gehen mein RAID 5 sauber ans laufen zu bekommen

 

[Schlingel_INV]

Das ist für mich wieder so eine Zwischenlösung. Genauso gabs des schon vor langer Zeit (Rocket-Raid). Dem Ding fehlt der Cache. Ich tippe drauf, dass sich der ROC den Ram vom System schnappt. Deshalb "echt". Für mich gehört zum echten HW-Raid nen Cache um das Dingen autark zu haben.

@€dit: Der Cache wird ja nicht nur als Zwischenspeicher genutzt sondern auch als Controller-RAM.

das musst du jetzt mal begründen
Ein ROC/Prozessor (LSI SAS 2008) ist auf der Karte vorhanden. das ist eigentlich das Unterscheidungsmerkmal zwischen Hard- und Softwareraid.

Der Vorteil ist halt, daß man den Controller auf IT-Modus umflashen kann, dann verhält er sich wie ein "dummer" HBA.

 

[walsmi]

Guten Morgen zusammen,
Raid 5 hatte fertig initialisiert.
Ich habe zum Test nun mal ne etwas größere Datei genommen und auf das RAID 5 kopiert. Quelle war dabei ein Software RAID 1, wobei die Platten am M1015 hängen. Wie zuletzt auch brach die Geschwindigkeit ruckzuck komplett ein. Siehe Screenshot.

Wenn ich von selbiger Quelle auf die OS SSD kopiere komme ich nicht unter 120 mb/s ...

Da kein CPU voll ausgelastet ist, gehe ich davon aus, dass ein generelles Problem mit dem SOFT Raid 5 in Kombination mit dem IBM m1015 ist. Zum Verifizieren könnte ich die Platten mal direkt am Board anhängen, so könnte man ausschließen ob s ein Problem des Systems ist oder obs am IBM M1015 liegt...

Danke und Gruß,
Mike

 

[the_pi_man]

Ich kann @Holt nur zustimmen: Weg von Windows hin zu Linux oder FreeBSD oder Omnois und Konsorten. Dort läuft ein Software Raid 5 geschmeidig und ohne großen Probleme, auch am 1015.
Ich gebe meinen N54L mit Omnios nie wieder her. !!

 

[mika2004]

Das sieht mal übel aus, langsamer als ein USB-Stick.
Hast Du mal eine eine einzelne 3TB-Platte anschlossen und getestet?
Was passiert, wenn Du von der SSD auf das Raid kopierst?

 

[walsmi]

Linux fällt für mich flach, da ich teilweise noch Windows only Software laufen habe auf dem Server.

Einzelne Platten und RAID1 geht einwandfrei von der Performance her.

Auch von SSD aufs RAID sind die EInbrüche zu verzeichnen, sprich sowohl beim Lesen wie auch beim Schreiben.

Gruß

 

[DecaTec]

Ich denke man muss immernoch sehen dass sich das ganze im Privatbereich befindet und nicht im Firmenbereich, Vllt mache ich auch zwei kleinere Raid 5 mit je drei Platten.

OK, dann muss ich aber mal fragen: Warum dann RAID5 und dazu mit solch großen HDDs? Auch wenn du Backups machst: die Wahrscheinlichkeit, dass die zweite HDD beim Rebuild aussteigt ist recht hoch.
Also ich würde da nach dem Motto "entweder ganz oder gar nicht" rangehen. Wenn du unbedingt RAID brauchst, dann RAID 6 mit einem richtigen HW-Controller (mit BBU). Kostet zwar, aber damit wirst du am wenigsten Stress haben (sowohl bzgl. Performance als auch bzgl. Ausfallsicherheit).

Mir erschließt sich aber der Sinn von RAID im Privatbereich auch nicht wirklich (gerade bei dem Einsatzgebiet, das du oben beschreibst)...

 

[walsmi]

-Große HDD's weil ich ne Menge Speicherplatz brauche. Pro Bluray ISO zw 25 und 50GB.
-Warum ein RAID: Wenigstens ein klein wenig Ausfallsicherheit. Die Daten können zwar wieder hergestellt werden aber das Rippen, Scrapen usw ist doch einiges an Aufwand.

Thema ganz oder gar nicht:
Ich probiere es auch noch mit Feature Key oder hole evtl nen anständigen HW Raid controller mit Raid 6 möglichkeit. Trotzdem versuche ich gerne Probleme zu analysieren und die Ursache zu verstehen und darum gehts mir jetzt eigentlich gerade. Vllt hilft es anderen die ähnliche Ansätze verfolgen auch dabei Geld und Mühen zu sparen.

 

[mika2004]

Gute Einstellung..

 

[Digi-Quick]

Das ist für mich wieder so eine Zwischenlösung. Genauso gabs des schon vor langer Zeit (Rocket-Raid). Dem Ding fehlt der Cache. Ich tippe drauf, dass sich der ROC den Ram vom System schnappt. Deshalb "echt". Für mich gehört zum echten HW-Raid nen Cache um das Dingen autark zu haben.

@€dit: Der Cache wird ja nicht nur als Zwischenspeicher genutzt sondern auch als Controller-RAM.

Das ein Raidcontroller ohne physikalischen Cache nicht so performant sein kann, wie einer mit, sollte für jeden klar ersichtlich sein.
Der Cache ist aber nicht der Arbeitsspeicher für den Prozessor, der dürfte auf dem ROC/Prozessor integriert sein - einige MByte dürften ausreichen.


@Topic, Die Geschwindigkeit sieht eher danach aus, daß die Plattencaches selbst abgeschaltet sind, was zwar in der Theorie richtig ist, aber praktisch zu genau dieser Geschwindigkeit führt. Die Plattenelektronik hat bei deaktiviertem (Schreib-)Cache keine Chance die eigenen Optimierungsalgorithmen für den Zugriff anzuwenden!

 

[walsmi]

Danke für die Hypothese Digi-Quick:
Lt. Windoof ist der Schreibcache bei den betroffenen Platten aktiviert.


Im Megaraid Storage Manager kann ich gegebenenfalls nur den Schreib / Lese Cache aktivieren wenn ich ein Hardwareraid mache...
Gibts Tools um zu sehen ob der Cache aktiv ist?


Edit:
Hier noch n Screenie beim Versuch von der SSD auf das RAID5 zu kopieren:

Was auffiel war:
1. Übertragungsrate begann bei 300MB/s für einige Sekunden.
2. Dannach ein Einbruch auf 9,61MB/s. Diesen Wert zeigt es dann einige Minuten an (im Ressourcenmanager haben die Platten aber dennoch weiterhin Vollast).

 

[mika2004]

Das ist nicht der Schreibcache der Platte, sondern von Windows

 

[walsmi]

Dachte ich mir schon.
Gibts ne Möglichkeit den der Platten einzusehen?

 

[Roadrunner2k]

Hat dein RAID-Controller ein BIOS?

Wenn ja was hast du da eingestellt?

 

[Holt]

Beim Hp N54L kann man dem im BIOS einstellen, zumindest im Mod-BIOS. Bei Server-Boards sind die gerne mal per Default deaktiviert, der Datensicherheit wegen. Das dürfte aber wohl nur für Platten am Chipsatz gelten, ich glaube kaum, dass das BIOS des Rechners auf den Cache von Platten an Zusatzcontrollerkarte wie der M1015 beeinflussen wird, das wäre dann eine Funktion des BIOS der Karte.

 

[mika2004]

Ich versuche das gerade mal mit win2008R2 und 3xUI154 nachzubauen.
Dauert aber sicher die Nacht.

Mal ne blöde Frage, hast schon mal mit ATTO gebencht?

 

[walsmi]

Ich komme blöderweise nicht ins WEBBIOS des Controllers bisher Habe mir schon einen abgewurstelt. (Board im Server ist derzeit ASROCK Z77 PRO 4M .)
Die sinnigste Anleitung war bisher die:

Here’s the simplest procedure I could come up with, to enter LSI WebBIOS at power on:

1.Power On
2.Press Ctrl+H when prompted by LSI BIOS
3.Press F11 when “Press F11 for Boot Menu.” appears
4.Use down arrow or mouse to choose “RAID: PCI ROM Setup, B01 D00 F0” and double-click (or press Enter)
5.Choose Adapter No. 0 and Select Start
6.You are now in the WebBIOS and able to use short cut keys (Alt+underline character) or mouse to navigate menus.
If the mouse ceases to move, instead of rebooting, try moving the USB cable to another USB 2.0 port.

Bis 4. funktionierts dann startet er aber einfach das OS.
@ Mika 2004: Danke schonmal, bin gespannt wies bei dir aussieht!