LSI MegaRaid und Dell Perc 5/6 SAS/SATA PCIe [5]

[maddis]

keine bange, ich bin schon im stande gewisse hardware "erkennungsdienstlich" zu erfassen, ich habe hier bei mir demnach zwei "richtige" Perc5/i zu liegen...
und anhand der preisentwicklung und des alters sind diese definitiv im einstigsbereich für hw-raidcontroller dieser größe anzusiedeln...

die von mir angegebenen daten und erfahrungen sind prinzipiell nur für MICH maßgebend, und sollten hier nur eine/n möglichkeit/dankanstoss geben...
ergo: andere systeme -> andere daten...
den einbruch via smb hatte beiweilen nicht nur ich zu beklagen, und wird sicherlich dem zusammenspiel der hw geschuldet sein...

und warum bitte darf ein softRAID6 nicht "schneller" sein als ein hwRAID5 eines mitlerweile in die jahre gekommenden Perc5/i...?

so long, mad

 

[Mete888]

Das RAID 5 des Percs hat mit 300mb/s nicht ausgereicht um dein 1GBit Lan auszulasten?? Da stimmt dann aber auch etwas anderes nicht.

Auch irritierend finde ich, dass bei dir ein RAID5 am Perc mit 8 HDs langsamer ist als ein Software RAID6. Das widerspricht allen meinen Erfahrungen, außer der Perc5 ist wirklich deutlichst schwächer als der Perc6, was zumindest sein LSI Gegenpart (und bei dem handelt es sich genau so wie bei den "richtigen" Percs um alles andere als Einstiegsmodelle).

Bist du dir wirklich sicher, einen vollwertigen Hardwareraid Perc 5i zu betreiben und nicht eine der weitaus öfter bei Ebay etc. anzutreffenden Billigversionen, die im grunde nur ein Softwareraid bieten?

Ein Softwareraid muss nicht langsamer als ein HW Raid sein... Und ja, ein Software Raid kann sogar schneller sein als ein HW Raid...

Gruss Mete

 

[pajaa]

Was immer gerne ausgeblendet wird: Auch das RAID eines RAID-Controllers ist letztlich in Software realisiert, nur daß die ganzen Berechnungen auf einem dedizierten Prozessor laufen. Und gerade der ist auf dem Perc 5/i langsam.

 

[XTaZY]

Ein Softwareraid muss nicht langsamer als ein HW Raid sein... Und ja, ein Software Raid kann sogar schneller sein als ein HW Raid...

Gruss Mete

Siehe z.B. ZFS / Raidz

 

[dako]

Ein Softwareraid muss nicht langsamer als ein HW Raid sein... Und ja, ein Software Raid kann sogar schneller sein als ein HW Raid...

Ich habe nicht behauptet, dass es langsamer sein "muss", jedoch ist meine Erfahrung, dass ein Software RAID6 langsamer ist als ein Hardware RAID5 am Perc5. Wenns dann zum Ernstfall der Wiederherstellung kommt eh.

Davon abgesehen ist der Perc 5 bei einem RAID 5 nicht furchtbar langsamer als ein Perc 6 oder auch ein LSI 9260, vorallem nicht so furchtbar langsamer, als dass man dass hinter einer 1Gbit leitung noch irgendwie merken würde.

Und mir erschließt sich schlichtweg nicht, wieso es ein RAID mit 300mb/s nicht schafft, eine 1GBit Lan Leitung ausreichend zu bedienen.

Wie gesagt: Nach Perc 5i, 6i, LSI 9260 und Perc h700 sowie diversen Sofwareraids widerspricht das all meiner Erfahrung. Vorallem das LAN Problem. Dass es nun mit dem Softwareraid mehr als 100mb/s am anderen Ende des Kabels gibt ist sicherlich nicht den langsamen 300mb/s des Perc geschuldet.

 

[SlotkuehlerXXL]

...
Davon abgesehen ist der Perc 5 bei einem RAID 5 nicht furchtbar langsamer als ... ein LSI 9260...

Da liegen Welten dazwischen! Mit einem 9260 erreicht man durch die Bank mit 4 Platten gleiche, größtenteils sogar bessere Ergebnisse als ein Perc5 mit 8 Platten bei sämtlichen Testgrößen. Bei vielen kleinen Zugriffen sieht der Perc kein Land mehr und wenn noch ein Expander mit X zusätzlichen Platten dran soll ist es ganz aus. Der Perc5 setzt sich doch kaum von den Raid-Leistungen von der ICH9R ab. Selbst sequenziell bei Raid0 fährt man schnell ans Limit weil bei 550-600MB/sec. der Perc dicht macht.

 

[dako]

Ja, aber das ist alles irrelevant, wenn wie hier ein 1GBit LAN bedient wird. Das obige Problem liegt auch nicht an irgendwelchen Verbauten Expandern usw. Da wird geschrieben, dass der Perc 5i mit seinen 300mb/s das 1GBit Lan nicht ausgelastet bekommt, das Software RAID dann aber aufeinmal mit 400irgendwas mb/s schon. So furchtbar langsam kann der Perc 5 gar nicht sein, vorallem, wenn offensichtlich intern 300mb/s gemessen werden.

Beim Wechsel Perc 5 zu 6 zu LSI 9260 merk ich schlichtweg hinter der 1GBit Leitung keinerlei Unterschied. Alle kommen schön über 100mb/s.

 

[Schlingel_INV]

Ja, aber das ist alles irrelevant, wenn wie hier ein 1GBit LAN bedient wird. Das obige Problem liegt auch nicht an irgendwelchen Verbauten Expandern usw. Da wird geschrieben, dass der Perc 5i mit seinen 300mb/s das 1GBit Lan nicht ausgelastet bekommt, das Software RAID dann aber aufeinmal mit 400irgendwas mb/s schon. So furchtbar langsam kann der Perc 5 gar nicht sein, vorallem, wenn offensichtlich intern 300mb/s gemessen werden.

Beim Wechsel Perc 5 zu 6 zu LSI 9260 merk ich schlichtweg hinter der 1GBit Leitung keinerlei Unterschied. Alle kommen schön über 100mb/s.

jopp da liegt der hund irgendwo anders begraben. lesen selbst von kleinen dateien ging beim 5er auf nen 6er trotzdem noch mit gut 150MB/s. bei großen dateien warens dann 200 bis 250MB/s, was wohl dann auch am 6er ziel lag. schreiben ging von controller zu contoller beim 5er ziel ebenfalls deutlich der 120MB/s.

was aber stimmt ist, dass die Dell-FW beim 5er schwache leitsung bei alles um die 64K bringt. das konnte ich damals schon bei den vergleichbenches mit der LSI-FW zeigen. das hw-limit des 5ers liegt jedenfalls mit der Dell-FW noch nicht an.

@€dit: und dako wird mir beipflichten, dass alles über 500MB/s eines raids für den einsatz im heimnetzwerk perlen für die säue ist - ganz unabhänig von den 120MB/s

 

[maddis]

leute, nun beruhigt euch doch mal wieder...
wir haben ja nun eindeutig festgestellt, dass der Prec5/i etwas "schwachbrüstig" in heutiger zeit anzusehen ist, und ein softRAID unter ubuntu (mit einem T7600 befeuert und ausreichend RAM unterstützt) durchaus einen höheren Leistungsdurchsatz erbringt...
für meinen fall habe ich somit auch noch ein günstiges RAID6...

ich habe allerdings dem Perc5/i nie die schuld daran gegeben, dass der datendurchsatz unter smb einen einbruch hatte. ich betrachte das jetzt eher als seiteneffekt der hw-konstellation, welcher sich nun bei mir in wohlgefallen aufgelöst hat...

zerbrecht euch also im himmels willen nicht euren kopf um ein problem, welches keines mehr ist...


gruss mad

 

[Mete888]

Davon abgesehen ist der Perc 5 bei einem RAID 5 nicht furchtbar langsamer als ein Perc 6 oder auch ein LSI 9260, vorallem nicht so furchtbar langsamer, als dass man dass hinter einer 1Gbit leitung noch irgendwie merken würde.

Moin Dako

Naja, der Perc 5 erreicht doch ca. 300-350mb/s im Raid5? Mein LSI 9265 (Dualcore ROC) erreicht 1500-1600mb/s im Raid5. Der 9260 sollte 750-800mb/s erreichen im Raid5, das nenn ich doch nen grossen unterschied, immerhin das doppelte...

Gruss Mete

 

[Schlingel_INV]

nochmal um das richtig zu stellen:

im bench ist bei ca. 300MB/s schreiben schluss beim 5er. mehr geht einfach nicht (bedingt durch die hw). beim lesen sind aber durchaus 500-600MB/s möglich beim passenden bench bzw beim cached copy. das der controller einbricht wenns um kleine dateien oder mehrere zugriffe geht ist klar und das passiert auch bei neueren controllern.

deshalb sind diese angaben ob nun 1500MB/s oder 500MB/s total irrelevant um hier ne aussage für die normale anwendung zu ziehen. wenn man ssds einsetzt mag das nen thema sein - für hdds eher uninteressant. wenn überhaupt macht da nen neuerer controller nur sinn in hinblick auf 4K AF.

 

[dako]

Naja, der Perc 5 erreicht doch ca. 300-350mb/s im Raid5? Mein LSI 9265 (Dualcore ROC) erreicht 1500-1600mb/s im Raid5. Der 9260 sollte 750-800mb/s erreichen im Raid5, das nenn ich doch nen grossen unterschied, immerhin das doppelte...

Mit welchen HDs kommst du bei 8HDs und RAID5 auf 1600mb/s? ... wohlgemerkt: bitte nicht den Cache messen ...

Und zweite Frage: Du merkst das hinter einer 1GBit Leitung? Darum ging es ja.


Da mich die von dir genannten Werte dann doch dank meiner 10gbit Verbindung interessieren und ich selbst nur einen 9260 hab hab ich mir einen Test bei Tomshardware angesehen, die betreiben 8 Fujitsu 147GB SAS HDs bei 15k rpm am LSI 9265 im RAID 5 und kommen beim sequentiellen Lesen auf ca. 840 und beim Schreiben auf 475 mb/s.

 

[Mete888]

Mit welchen HDs kommst du bei 8HDs und RAID5 auf 1600mb/s? ... wohlgemerkt: bitte nicht den Cache messen ...

Und zweite Frage: Du merkst das hinter einer 1GBit Leitung? Darum ging es ja.


Da mich die von dir genannten Werte dann doch dank meiner 10gbit Verbindung interessieren und ich selbst nur einen 9260 hab hab ich mir einen Test bei Tomshardware angesehen, die betreiben 8 Fujitsu 147GB SAS HDs bei 15k rpm am LSI 9265 im RAID 5 und kommen beim sequentiellen Lesen auf ca. 840 und beim Schreiben auf 475 mb/s.

Nulldaten lesen von 4x OCZ Vertex 3 120GB im Raid5. Selbiges Ergebniss ergibt sich bei 8x 470er Samsungs der Grösse 128GB, somit ist dies wohl das Maximum des Kontrollers...

MFG

 

[dako]

Nulldaten lesen von 4x OCZ Vertex 3 120GB im Raid5. Selbiges Ergebniss ergibt sich bei 8x 470er Samsungs der Grösse 128GB, somit ist dies wohl das Maximum des Kontrollers...

Ja, das erklärt es, es geht bei dir um SSDs ... und was hat das mit einem HD Verbund (noch dazu hinter einem 1GBit Lan) zu tun? ... genau ... nichts!

Mal ein Beispiel aus dem Alltag: 9260 mit 6 1TB HDs im RAID 5 und einer Testfilegröße die mehrfach größer als der Cache ist: lesend 400 mb/s und schreibend 430mb/s.

Gleiche Kombi an einem Perc 6i und an einem Perc 5i war nicht dramatisch langsamer. Der Perc 6i schlägt sich defacto gleich, der Perc 5i ist schreibend eben bei 300mb/s, lesend hatte ich auch an die 400mb/s ... alles, wenn es um das Bedienen eines Durchschnitts 1GBit Netzwerkes geht, so gut wie nebensächlich.

 

[candyman09]

Sorry, muss diese Diskussion mal eben unterbrechen...

Habe gerade aktuell größte Probleme, in Windows 2008 R2 die Firmware des 5/i upzudaten. Was immer ich tue, entweder kann das Programm keine 64bit, oder das Package verweifert, wiel es kein kompatibles Devise im System findet.

Wollte mit der 521 zum Ausprobieren beginnen und habe diese Datei: FRMW_WIN_R168188.EXE Diese Fehlermeldung kommt: (s.u.)
Geht das nur über DOS oder hab ich das falsche Package ?

Was muss/kann ich tun ??

 

[maddis]

@dako: komm bitte wieder runter! du hast vielleicht verpasst, dass die gbit-geschichte nur beiläufig von mir erwähnt wurde. kernaussage war, dass der 5er weniger dampf mit meinen 8xHD154UI im RAID5 hatte, als ein softRAID6 unter Ubuntu10.06_x64 welches die platten als 8x"RAID0" vom Perc bekommt...basta...

@candyman09: ich habe die updates via DOS von USB-stick eingespielt, ging problemlos...


gruss mad

 

[bitschieber]

@Candyman09
Grundsätzlich geht das unter Windows. Ich denke, Du hast das falsche Package. Pack das mal manuell mit Zip/Rar aus.
Bitte genau prüfen, ob Du evtl. einen Perc 5/i Integrated hast. In die Falle tappt man schnell - der benötigt andere Firmware Packages.

Guckst Du mal hier unter SAS Raid Controller.

Gruß,
Frank

 

[candyman09]

Danke für den Tipp, Frank!

Ich dachte immer, der "integrated" wäre auf einem MB integriert und nicht als Karte ausgeführt. In der Dell Software wird er mir tatsächlich als "integrated" angezeigt.

Was ist denn der Unterschied zwischen 5/i und 5/i integrated ?

 

[maddis]

Documentation

hier was von Dell...


gruss mad

 

[bitschieber]

Soweit ich das verstanden habe: der Integrated war wohl ursprünglich für den Einsatz in Dell-Kisten mittels Einschubtray und ohne Slotblende vorgesehen. Nach Demontage des Trays und Nachrüsten einer Slotblende funktioniert der aber auch als normale PCIe Karte. Es wird u.U. geringe Hardware-Unterschiede geben, die aber anscheinend für den Einsatz in Nicht-Dell-Geräten nicht ins Gewicht fallen.

Slotblenden gibt es für kleines Geld z.B. bei Ebay. Mal nach "Perc Slotblende" suchen und die Artikeltexte bei der Suche mit einschließen.Gruß,
Frank

 

[candyman09]

Danke für eure Antworten !

Da scheint dann offensichtlich auch die Firmware abzufragen, welchesModell in Betrieb ist... Die aktuelle Firmware für "integrated" habe ich bei DELL gefunden, aber nicht die davor (521, R168188). Und genau DIE würde ich gern noch mal ausprobieren um bei meinem Problem (s.o) auszushließen, dass es die Firmware ist.

Kann mir jemand die zur Verfügung stellen ? (Oder hat einen direkten Link ?)

Danke und Gruß
Claus

 

[Mete888]

@dako: komm bitte wieder runter! du hast vielleicht verpasst, dass die gbit-geschichte nur beiläufig von mir erwähnt wurde. kernaussage war, dass der 5er weniger dampf mit meinen 8xHD154UI im RAID5 hatte, als ein softRAID6 unter Ubuntu10.06_x64 welches die platten als 8x"RAID0" vom Perc bekommt...basta...

gruss mad

Verwendest Du MD oder LVM?

Gruss Mete

 

[maddis]

md...


gruss mad

 

[ManOki]

Merkwürdiges Slot Verhalten

Hallo,

vorweg meine Konfiguration:
LSI 1078 Chip mit 256MB auf einem FSC D2516-A11
8* 2TB WD EARS/EARX im Raid 5

Ich stehe vor einen merkwürdigem Phänomen. Letztes Wochenende sind beim Lesezugriff auf mein Raid kurz hintereinander 2 Platten ausgefallen, erst Slot 3, dann 5. Nach einigem Hin und Her habe ich herausgefunden, dass 5 wirklich defekte Sektoren hat, die 3 hingegen völlig in Ordnung ist. Also habe ich die 3 wieder online gesetzt und die 5 durch eine frische Platte ausgewechselt. Empfohlen wird zwar, die andere Platte online zu nehmen, um mögliche Änderungen nicht zu gefährden. Geht bei mir nicht, da Platte defekt, sollte aber dennoch kein großes Problem sein, da nur Lesezugriff stattgefunden haben sollte.

Beim Rebuild kommen im 3-10 Sekundentakt nun folgende Meldungen:
[Information]: Unexptected Sense: Information unit CRC error detected ...

Nach ca. 1 Stunde wird schmeißt der Controller die Platte aus der Konfiguration und ich muss neustarten, damit ich sie wieder sehe. Dann ist die Platte erstmal wieder aus dem Raid draußen, ich kann nur auf "Unconfigured good" setzen und die "Foreign Configuration" laden.
Danach startet der Rebuild der Platte und es kommen weitere Meldungen

[Fatal, 3]: Unrecoverable medium error during recovery ...
[Fatal, 3]: Puncturing bad block ...

Irgendwann ist der Plattenrebuild beendet und ich will einen Consistency Check starten, womit die Schleife komplett wäre.

Am Slot 5 habe ich bereits mehrere neue Platten ausprobiert und auch das Kabel habe ich bereits gewechselt. Es hat alles nicht genutzt. Ist eher das Raid oder der Controller beschädigt? Aufgrund der Größe des Raids kann ich nicht alle Daten sichern, die wichtigen schon. Dennoch möchte ich nicht einfach aufgeben und versuchen, wieder in einen stabilen Zustand zu kommen.
Mit einem Dateisystemcheck habe ich bisher gewartet, da ich diesen nicht ohne ein konsistentes Raid durchführen will. Ist diese Annahme berechtigt?

Vielen Dank für eure Hilfe

ManOki

 

[dv2130n]

@ManOKI
"Ist eher das Raid oder der Controller beschädigt?"

im raid-5 darf nur 1 platte ausfallen, das weisst du doch
fällt eine zweite aus, ist das raid kaputt


"Nach einigem Hin und Her habe ich herausgefunden, dass 5 wirklich defekte Sektoren hat, die 3 hingegen völlig in Ordnung ist."

du hoffst also, dass in wirklichkeit nur eine platte ausfiel,
die frage ist daher, wie hast du sicher festgestellt, dass nr.3 ok ist?
ist denn das raid jetzt degraded oder gar nicht mehr benutzbar?, was genau meinst du also mit instabil?

 

[ManOki]

Hallo dv2130n,

Ich weiß, dass nur eine Platte ausfallen darf. Dennoch kann man einfach die Platte wieder als normal einstufen und hoffen, dass alles glatt geht. Deswegen sollte ja auch die zuletzt ausgefallene wieder online genommen werden, weil danach ja keine Änderungen mehr möglich sind.

Ich habe die Platten einzeln mit dem WD-Diagnose Tool durchgetestet, bei der defekten wurde der Test abgebrochen mit der Meldung "Too many bad sectors".
Die andere lief normal durch und ich erreiche das Raid auch im "Degraded" Zustand und sehe sogar die oberste Ordnerstruktur usw. Ob es im Detail Dateisystemschäden gibt, konnte ich bisher nicht feststellen, da ich wie gesagt kein Dateisystem-Check machen wollte.

Einen konsistenten Zustand bekomme ich nicht mehr hin, weil immer die neue Platte bei einem entsprechendem Consistency-Check ausgeworfen wird.

mfg

ManOki

 

[dv2130n]

also ich würde eigentlich leider annehmen, dass das raid kaputt ist, und zwar wegen dieser controller-meldungen

[Fatal, 3]: Unrecoverable medium error during recovery ...
[Fatal, 3]: Puncturing bad block ...

wenn während des rebuilt eines raid-5 (wegen ausfall einer platte) ein einziger block (zur rekonstruktion müssen alle sektoren aller verbleibenden platten gelesen werden) nicht mehr lesbar ist, dann bedeutet das, dass das raid nicht mehr rekonstruierbar und leider verloren ist

der controller kann das raid dann nicht mehr in einen normalzustand bringen wegen fehlender block-informationen
ich kann dazu leider nichts aufhellenderes sagen, sorry
das scheint einfach die bei raid-5 gefürchtete Situation zu sein, dass sich ein weiterer Fehler ereignete, nachdem schon eine platte ausgefallen war

 

[andichen]

ManOki: Hmja, also die Fehlermeldung sagt es ja eigentlich leider selbst schon, dass es während der Wiederherstellung einen nicht wiederherstellbaren Festplattenfehler gab und somit ist offenbar das eingetreten, was dv2130n schon sagte.

Was ich zu der Situation noch bemerken würde: Es ist schon ziemlich "mutig", 8 Platten im Raid5 laufen zu lassen und dann noch 4K-Platten. Also bei 8 Platten in einem Verbund wäre schon mind. Raid6 angebracht. Eine Platte kann schon schnell mal weg vom Fenster sein und die Wahrscheinlichkeit, dass bei einem Rebuild auf Grundlage von 7 Platten wieder ein Fehler auftaucht ist natürlich ziemlich hoch, da reicht eben schon ein kleiner Block, um alles hops gehen zu lassen. Der Mix von EARS/EARX sollte da zwar nicht den Ausschlag geben, aber zu 100% empfehlen kann man das natürlich auch nicht.

Klar - hinterher ist man immer schlauer, aber das bestätigt mal wieder meine eigene "Theorie", dass "auf vier Platten mind. eine austauschbar sein sollte".

Nur mal so am Rande, mich würde da interessieren, ob du die Platten hast ordentlich "einlaufen" lassen, wie lange das Raid schon in dieser Konfiguration läuft und welches (gemittelte) Alter die Platten haben.

 

[maddis]

mir ist es auch schon passiert, dass der 5er während des rebuild einfach eine funktionierende platte dropped hat...
da blieb nur eines: die platte mit dem unfertigen rebuild raus aus dem verbund, die dropped hdd wieder online gesetzt und per "import foreign config" wieder reingeholt...backup angeschmissen und die daumen gedrückt...

notiz am rande: nen wenig mit den configs gespielt, und schon bringt meine eigenbau softRAID6 ~520mb/s, eine für mich äusserst zufriedenstellende leistung...der Perc ist also vielseitig einsetzbar...


gruss mad

 

[dv2130n]

... ob du die Platten hast ordentlich "einlaufen" lassen, ....

Anwärmen hab ich ja schon gehört mit allem, was sich so anbietet, Reifenheizdecken, Wärmkissen, ... Wäschetrockner fresseusw.,
nur sollte das möglichst nicht in Regionen oberhalb von ungefähr 55-60°C
führen, weil darüber die Platten gerne vorzeitig ausfallen, aber auch unterhalb von 30°C, so die google-zusammenfassung der grossen festplatten-zuverlässigkeitserhebung
aber "einlaufen" ist mir jetzt neu, wie machste das