[Sammelthread] IBM M5014 Raid-Controller [ Flash-Anleitung, Benchmarks, etc. ]

BBU disabled
BBU cannot support Data retention


Häng da 'ne neue BBU ram dann flutscht das wieder (nachdem die dann voll geladen ist).
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
joa aber dieselbe degraded BBU war auch dran als ich die Reconsruction bzw das OCE angefangen hab, und da flutschte es pervers gut. Gerade kopier ich in 20 min etwa 200 MB vom Raid runter und der MSM reagiert jede 30 sekunden mal auf Klicks, das ist nicht normal. =(

Ich klemm die BBU erstmal komplett ab, mal sehen was passiert. Wüsste nich wo ich zu nem guten Preis ne neue BBU herbekomme. Mal in der Bucht suchen.

Edit: bis ich Feierabend mach hab ich mal nen Battery Leran Cycle getriggert - der Controller is mit der BBU erst seit ner Woche verbaut also lief noch kein Zyklus druch. Vielleicht akzeptiert er danach die BBU.
 
Zuletzt bearbeitet:
aaaaaaalter. Fixed. Ich weiß nicht wieso oder was aber letzendlich habe ich Platte Slot 0 auf Slot 7 umgesteckt, und schon gehts fix again.

Nun habe ich auch diese Informationen nicht mehr im Log:

Controller ID: 0 Unexpected sense: PD
= -:-:0Power on, reset, or bus device reset occurred, CDB = 0x9e 0x00 0x00 0x00 0x00 0x00 0x00 0x02 0x40 0x00 0x00 0x00 0x00 0x00 0x00 0x00 , Sense = 0x70 0x00 0x06 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x29 0x00 0x00 0x00 0x00 0x00
Zum Vergrößern anklicken....

aber wie gesagt, die Meldungen hab ich schon immer gehabt und es lief Tage lang mit >500 MB/s. Seltsam seltsam zumal es nur eine "Information" ist. Fuck. Aber hey, zum Glück noch alles da! Und schwubs schon 35% im Rebuild. Robust ist es jedenfalls, der Controller hing komplett und nach 45 min Win hochfahren wars mir zu blöd, also Saft hab ich öfters gezogen, bei der Rekonstruktion.

Edit:
Ich werde die Tage, nachdem das Raid komplett ausgebaut ist, schauen ob es an Kabel oder Wechselrahmen liegt. Ich habe letzteres im Blick. Ich hatte die Platte 0 einige Minuten an Anschluss 7 und da lief es top, hatte im LSI Log keine Fehler oder Informationen.
Daraufhin hab ich das Kabel am Wechselrahmen in Slot 0 getaucht und Anschluss 7 angesteckt, so läuft es bisher auch aber der Controller wirft folgende Informationen während der Rekonstruktion:


Controller ID: 0 Unexpected sense: PD = -:-:1-Information unit CRC error detected, CDB = 0x88 0x00 0x00 0x00 0x00 0x00 0xc1 0x9c 0xfb 0x00 0x00 0x00 0x01 0x00 0x00 0x00, Sense = 0x70 0x00 0x0b 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x47 0x03 0x00 0x00 0x00 0x00
Zum Vergrößern anklicken....

CRC Fehler, dieses mal aber Dhysical Disk 1 (?!). Platte selbst scheint aber iO. Auswirkungen hab ich bisher aber keine, ergo besser als dieser urspüngliche Fehler. Diesen CRC Fehler hatte ich aber auch nie.

Dafür ist jetzt der hier weg (Phsysical Disk 0).

Controller ID: 0 Unexpected sense: PD
= -:-:0Power on, reset, or bus device reset occurred, CDB = 0x8a 0x00 0x00 0x00 0x00 0x00 0x80 0x3d 0xe1 0x00 0x00 0x00 0x01 0x00 0x00 0x00 , Sense = 0x70 0x00 0x06 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x29 0x00 0x00 0x00 0x00 0x00
Zum Vergrößern anklicken....

Kein Plan, mir wärs am liebsten keine Meldungen. Dazu werd ich mal alle Platten direkt am Controller ohne Wechselrahmen testen müssen.
 
Zuletzt bearbeitet:
Desperaty schrieb:
wenn der Rechner gestartet wird und F/W Initializing wird angezeigt dauert es ca. 20 - 25 Sekunden bis es weiter geht. Ist das auch normal?
Zum Vergrößern anklicken....

Hallo,

kennt jemand eine Möglichkeit wie man diese "Wartezeit" von 20-25 sec. abkürzen kann?!

Macht es in dem Zusammenhang einen Unterschied, ob man den Controller mit oder ohne BBU betreibt?! Das OS wird von einer separaten SSD gebootet, die nicht am LSI-Controller hängt.

Im WebBIOS kann man das Controller Bios disablen, aber ich bin mir nicht sicher, ob das a.) eine gute Idee ist und b.) ob das die Wartezeit verkürzt. Standardmäßig ist es aktiviert (so auch bei mir), wobei das Handbuch schreibt, daß dies nur notwendig sein, wenn die Bootplatte an dem Controller hängt (ist ja bei mir nicht der Fall).
 
glaub so einige seiten davor bzw irgendow im Thread steht das. Ich meine via CLI geht das. Irgend eine Config auslesen, anpassen, und wieder einspielen.
 
Vielen Dank für den Hinweis. Das war mir ob des Umfangs dieses Threads nicht aufgefallen.

Der Beitrag #533 zielt aber wohl eher auf das Verkürzes des Boot-Delays beim IBM-Controller auf LSI-Niveau. Ich würde gerne die Bootzeit beim LSI-Controller verkürzen. Ansätze dafür bietet Post #579 in diesem Thread. Hat jemand eventuell noch konkretere Hinweise?! Eventuell ob man das in einer .ini-Datei (welche wäre das?) per Editior ändern kann (Parameter delayPOST)? Per MSM direkt geht es nicht. Vorzugsweise würde ich ohne CLI oder DOS USB-Bootsticks arbeiten wollen, aber manche Einstellungen lassen sich wohl nur auf diesem Wege ändern.
 
Oh wai ;) ich hab grad mein Raid zerschossen, zum Glück hab ich die mir wichtigsten sachen noch. Den rest werd ich von anderen zusammenkopieren müssen.

Mein ASrock Server Board hat sich gestern spontan verabschiedet wähend dem 5x4 TB zu 6x4TB raid migration. Raid 5. Neue Hardware rein (alt Hardware), System bootet und läuft. Dann dacht ich so, "gut fahr ich runter, bau andere cages ein" weil einer der Käfige hat n defekten Slot. Gesagt getan, alle Platten wieder am System (Reihenfolge anders) und wieder hoch gefahren. Raid rekonstruction geht weiter... Filesystem augenscheinlich da und iO.

Nun das Komische. Die eigentlich 6. Platte die bei der Rekonstruktion eigentlich ausgeblendet wurde ist nun als "unconfig good" da, die Rekonstruktion läuft aber weiter.

Paar Min später fällt mir auf... Manche Ordner gingen nich zu öffnen, Filme laufen nicht, 99% der Dateien sind korrupt.
Ich meine ich hab 128k Stripe Size, lustigerweise gehn kleine Datein zum Teil, große nicht.

Ich mein schaut euch das an... Bilder sehen so aus wenn sie aufgeben



WTF?

Ich würde sagen... shit happens. 10TB Filme im Nirvana, aber zum Glück hab ich das Wichtigste wie Musik, Benutzerdaten, Software noch gesichert.
Aber mal ernthaft, was hat der LSI da zusammengerechnet. So was verrücktes ^^
 
Zuletzt bearbeitet:
:P ich auch nicht unbedingt. Aber wie gesagt, on the fly hab ich nie umgesteckt. Die Frage is etwas wieso der Kontroller sich nicht merkt welche Platte er hinzufügen soll zum Raid , also bei der Rekonstruktion, und trotzdem weiter macht wenn sie fehlt ^^ nix downgrade oder Fehler.

Rebooten generell ist kein Problem dabei.

Seis drum. Ausgemistet, zum Glück hab ich ja wie gesagt alles Wichtige noch. Filme sind ersetzbar und eh irgendwo als 2. Kopie bei jemand aufm HTPC rumfahren... sicher nicht alles aber die alten Schinken brauch ich eh nicht mehr. :heul:

Finds n bisschen faszinierend was dabei rauskommt. Ordnerstruktur zu 70% in Takt, Bilder gehn teils auf teils nicht und manchmal zerhackt - sehr strange.
 
So etwas hatte ich mal bei einem Perc5i, bitter.

Ich würde aber auch die eine Raiderweiterung niemals online machen, sondern immer neu aufsetzen.

Seit ich ein Full-Backup habe, habe ich null Probleme mit meiner Konfig/Festplatten.
Als wüsste der Rechner, das er mich jetzt nicht mehr ärgern kann :stupid:
 
joa passt schon, ich hatte auch fast n Full Backup aber die Filme waren jetzt nich wert gesichert zu werden ;)

Das Raid5 läuft nun über 6 Platten. Läuft gut. Benches kommen nachher.

Übrigens ist offensichtlich das Kabel kaputt, wenn gleich es ein neues HQ Kabel is. Die CRC Fehler usw sind weg seitdem ich auf andere Slots ausgewichen bin. Dachte es liegt am Cage oder an einer Platte, Fehlanzeige.

Jetzt muss nur noch ein paar coole XEON-D Bretter kommen dann gibts n neues Innenleben ;)
 


passt würde ich sagen, fw is die 0048 Sun.

Edit: Okay nun wirds etwas crazy.

Ich hab das Board in Server eingebaut:
https://www.alternate.de/ASRock/Q1900M-inkl-Intel(R)-Celeron(R)-J1900-Mainboard/html/product/1137549

weils hier rumlag ... und sparsamer is ;)

Dabei hab ich einen Versuch gewagt. Das board frisst nur Karten mit PCIe 1x und eine 16er, die höhe meines Server lässt das nicht zu - hab aber ewig viele 1x riser Cards da. Gesagt getan, mit dem Messer die Riser Karten hinten aufgefeilt damit ne lange PCIe Karte reingeht, ans Board angesteckt - läuft. Nun Betreibt der ATOM nen LSI und ne dual 10GBe Karte die eig je 8x haben ^^
Meine eigentliche flache 90 Grad Riser 16 geht nicht weil diese Drecks SATA bei dem Bord im Weg sind... brauch ich aber fürs OS.

Ggf kann ich den LSI ncoh mit ner 16er Flex Riser ausstatten dass er Fullspeed macht.

Copy Lan Server -> Desktop sieht so aus:


Der Controller allein macht das:



Probleme machts bisher keine.

Bilder:

Nun is aber Deckel mit Fan drauf.

:wayne:

EdiT:

Bin noch nicht sicher ob ich den LSI weiter einsetz. Bisher ist der Mehrgewinn zum Intel Raid 5 auf H57 sehr gering. Dazu 20W mehr Verbrauch idle.

Mit 16k Stripe und 64k Cluster Size kam ich auf einem alten H57 Mainboard mit i5 mit 5x2 TB im Raid5 auf diese Werte.

raid5stripe16kcluster6qv69.jpg


find ich erstaunlich für nenn onboard Raid und das lief tadellos mit Spin Down. Sind aber nur 6 Anschlüsse. Ich messe mal heute Abend genau den Verbrauch nach, des LSI 9260 als auch den des Dual 10G COntrollers. Gut möglich das letzter auch heftig zieht (da dual)

Auch hier gut zu sehen auf welchem Niveau sich ein Intel Raid 5 bewegt
http://www.tomshardware.de/southbridge-ich10r-sb750-780a,testberichte-240374-13.html
(heute noch besser)
Schade nur dass die Intel Mainsream Plattform max 6 Ports bietet.

Edit:

Okay also mit PCIe 16x ist er am Baytrail Mainboard auch nicht schneller. Da scheint der SOC zu limitieren. 400MB/s lesen, 350MB/s schreiben.
 
Zuletzt bearbeitet:
Hi ich habe einen M5014 in einem x3650 M3 im Einsatz. Egal was ich für ein Array mit 6x Samsung 850 PROs baue, ich komme nicht über 680 Mb/s beim lesen/schreiben. Diverse Settings habe ich bereits ausprobiert.
Firmware 12.15.0-0199


Hat wer eine Idee wie ich die Fesseln hier löse?
 
WebY schrieb:
Hi ich habe einen M5014 in einem x3650 M3 im Einsatz. Egal was ich für ein Array mit 6x Samsung 850 PROs baue, ich komme nicht über 680 Mb/s beim lesen/schreiben. Diverse Settings habe ich bereits ausprobiert.
Firmware 12.15.0-0199


Hat wer eine Idee wie ich die Fesseln hier löse?
Zum Vergrößern anklicken....

Meine Vermutung:
der Controller hat 6Gigabit/s Ports. Das sind in der Theorie 6 * 1000 / 8 = 750Megabyte/s. Du hast netto 680, das sind wir mit Overhead am Limit, denke ich.
 
Zuletzt bearbeitet:
-=TmC=- schrieb:
Du hast 6Gigabit/s Ports. Das sind in der Theorie 6 * 1000 / 8 = 750Megabyte/s. Du hast netto 680 + Overhead = Limit.
Teures Spielzeug kaufen reicht leider nicht immer, manchmal muss man auch gucken, was das Spielzeug kann :)
Zum Vergrößern anklicken....

Keine Angst der Server ist hier über gewesen und dient nun für Testzwecke. Die 6 Gigabit sind doch pro SAS Port. Somit müsste ich ja bei zwei Expandern eigentlich keine Probleme bekommen?
 
WebY schrieb:
Keine Angst der Server ist hier über gewesen und dient nun für Testzwecke. Die 6 Gigabit sind doch pro SAS Port. Somit müsste ich ja bei zwei Expandern eigentlich keine Probleme bekommen?
Zum Vergrößern anklicken....

Hatte meine Antwort schon etwas angepasst, bevor du zitiert hattest, weil ich mir bei dem Punkt selber nicht sicher war :)
Außerdem fand ich, der zweite Satz könnte überheblich wirken, dafür dass ich selber kein Experte bin :d
 
Zuletzt bearbeitet:
-=TmC=- schrieb:
Hatte meine Antwort schon etwas angepasst, bevor du zitiert hattest, weil ich mir bei dem Punkt selber nicht sicher bin :)
Zum Vergrößern anklicken....

Habe gerade im Redbooks Artikel folgende Passage gefunden:

The ServeRAID M5015 and ServeRAID M5014 adapter cards have the following specifications:
Eight internal 6 Gbps SAS/SATA ports

Zu dem habe ich hier viele M5014 Screenshots jenseits der 1400 Mb/sec gesehen.

Der PCIe 8x 2.0 sollte mit 4000 MB/s inkl. Overhead auch genügend Reserven haben.


\\EDIT: Im ATTO schafft er etwas mehr 789 Mb/sec. Hier sieht man aber ganz klar das ab 128kb alle Werte konstant gleich sind.
 
Zuletzt bearbeitet:
Magst Du mal deine Config vom Controller hier reinstellen?
 
mika2004 schrieb:
Magst Du mal deine Config vom Controller hier reinstellen?
Zum Vergrößern anklicken....

SERVER---
Server IP: 10.1.157.60
Server Name: XYZ
OS name: Windows Server 2012
OS Version: 6.2
OS Architecture: x86_64
Driver Name: megasas2.sys
Driver Version: 6.706.06.00
Application Version: MegaRAID Storage Manager - 14.11.01.05

HARDWARE---
Controller: Controller0: ServeRAID M5014 SAS/SATA Controller(Bus 1,Dev 0,Domain 0)
Status: Optimal
Firmware Package Version:12.15.0-0205
Firmware Version: 2.130.403-3835
BBU: YES
Enclosure(s): 1
Drive(s): 8
Virtual Drive(s): 2

BBU---
BBU Type: IBBU08
BBU Status: Optimal

Enclosures---
PRODUCT NAME TYPE STATUS
Backplane Sgpio OK

Drives---
CONNECTOR PRODUCT ID VENDOR ID STATE DISK TYPE CAPACITY POWER STATE
Port 0 - 3 MBF2300RC IBM-ESXS Online SAS 278.465 GB On
Port 0 - 3 MBF2300RC IBM-ESXS Online SAS 278.465 GB On
Port 0 - 3 SamsungSSD850 ATA Online SATA 237.486 GB On
Port 0 - 3 SamsungSSD850 ATA Online SATA 237.486 GB On
Port 4 - 7 SamsungSSD850 ATA Online SATA 237.486 GB On
Port 4 - 7 SamsungSSD850 ATA Online SATA 237.486 GB On
Port 4 - 7 SamsungSSD850 ATA Online SATA 237.486 GB On
Port 4 - 7 SamsungSSD850 ATA Online SATA 237.486 GB On

Virtual Drive(s):---
TARGET ID NAME CAPACITY STATE RAID LEVEL MegaRAID RECOVERY
0 - 278.465 GB Optimal RAID 1 NO

1 RAID 1.392 TB Optimal RAID 0 NO










Zusatzinfos:

Der M5014 steckt in der dafür bereitgestellten Riser-Card (Auslieferung von IBM)
Der 8 HDD Enclouser ist mit zwei Kabeln vom M5014 verbunden
 
Zuletzt bearbeitet:
Ich kann erst mal keine Fehlkonfiguration feststellen.

Ich würde den Atto mit 8MB Total Length laufen lassen.
Damit wird die Geschwindigkeit nur vom PCIe und vom Cache getestet.

Mal schauen, was da raus kommt.

Edit:

Meine Konfig ist leider nicht vergleichbar (neidisch guck) ;)

Nur eine 830er am 9265-8i. Die besten ATTO-Ergebnisse habe ich mit 16K-Stripsize erreicht.
Always Read Ahead
Always Write Back
Direct IO
 
Zuletzt bearbeitet:
mika2004 schrieb:
Ich kann erst mal keine Fehlkonfiguration feststellen.

Ich würde den Atto mit 8MB Total Length laufen lassen.
Damit wird die Geschwindigkeit nur vom PCIe und vom Cache getestet.

Mal schauen, was da raus kommt.

Edit:

Meine Konfig ist leider nicht vergleichbar (neidisch guck) ;)

Nur eine 830er am 9265-8i. Die besten ATTO-Ergebnisse habe ich mit 16K-Stripsize erreicht.
Always Read Ahead
Always Write Back
Direct IO
Zum Vergrößern anklicken....



Folgendes schreibt AVAGO ehemals LSI:

Under Windows and Linux using SSDs:
When the volume is created, use write through caching (i.e. write cache will be disabled)

Use Direct IO (and not Cached IO)

Use RAID 0 for the highest performance (note: the loss of a single SSD will result in the loss of all data)

In general, the dual core controllers (e.g. 9265/9285) perform faster than the single controllers (e.g. 9260/9280)


Quelle: Support

Das beweisen auch diverse Artikel, weil der kleine Mini Cache nicht mit der Performance eines großen SSD RAIDs mithalten kann. Leider konnte ich mein "Flaschenhals" Problem aber noch nicht lokalisieren und beheben.



\\EDIT - Nachtrag:

Ich habe nun einen M5015 mit PCIe Riser Card aus einem anderen Server genommen. Mit Disk Cache enabled bekomme ich die gleichen Werte wie beim M5014. Schalte ich diesen aus, ist die Schreibleistung unter 30 Mb/sec. --> Lösung: Mit einem Firmware Upgrade konnte dieses Teil-Problem gelöst werden.


\\ Weitere Infos:
LSI's general recommendation is to use NOReadAhead / Direct / WriteThrough for SSDs. By bypassing the HBA cache at all times you're supposed to see less latency than if everything is cached.

http://confluence.wartungsfenster.de/display/Adminspace/SSD+Guides
 
Zuletzt bearbeitet:
Schlingel_INV schrieb:
Hat jemand ne Combi M5014/5015 mit nem aktuellen ASRock Z97 (am besten ITX) laufen? Gibt es Probleme oder läuft alles super?
Zum Vergrößern anklicken....

Ich benutze einen 9260-4i im Asrock Z97 Extreme4 und das läuft absolut problemlos. Das ist jetzt natürlich keine Gewähr für den M5014/5015, aber zumindestens steigen die Chancen, dass es funktioniert. ;)
 
Leider hat das umflashen des M5015 auf einen LSI 9260-8i keinen Erfolg gebracht:





\\EDIT:

Ich habe nun die nötigen Kabel bestellt und werde das ganze dann in einer aktuellen Workstation testen.
 
Zuletzt bearbeitet:
Ich habe nun die Kabel heute erhalten und sofort losgelegt. Leider ist der Prozessor des Controllers für die Schreibleistung beim RAID 5/6 zu langsam. Daher habe ich mich nun doch dagegen entschieden, dass ganze ausführlich mit diversen Blockgrößen zu dokumentieren. Ich kann euch aber diesen Artikel ans Herz legen...hier wird klar, was mit einem potenten Controller möglich ist --> SSD RAID Load Testing Results from a Dell PowerEdge R720 - Brent Ozar Unlimited® by Brent Ozar Unlimited®

Ich habe trotzdem einige Konstellationen mit Screenshots dokumentiert und stell euch diese hier zur Verfügung: Share-Online - dl/07XVUDPNF0U
 
@WebY
Keine Ahnung was du meinst. Der LSI Prozessor auf der Karte hat genug power für RAID 5/6.
 
Romsky schrieb:
@WebY
Keine Ahnung was du meinst. Der LSI Prozessor auf der Karte hat genug power für RAID 5/6.
Zum Vergrößern anklicken....

Aber nicht um mit 6 bzw 8 SSDs im Gb/sec Bereich zu arbeiten bzw. die Paritäten zu berechnen. Sieht man auch an dem stagnierten Wert im RAID 5/6. Im RAID 0 ist dieses nicht der Fall, weil hier die ROC-Last nicht so hoch ausfällt. Neuere Controller schaffen laut diverser Artikel fast den gleichen Wert, wie beim lesen.
 
Hab mein M5015 jetzt seit ein paar Tagen und bin ziemlich zufrieden.
Ist auf LSI mit Firmware 0048 geflasht.

raid5m0q4z.png


Perfomance mit Raid 6 ist fast Identisch.
 
Moin moin,

ich fange jetzt grad erst an mit dem Thema Riad und so und daher will ich einfach mal nachfragen ob das so funktioniert:
Ich hab nen HP Proliant N54L mit einer 64GB Intel SSD als System Platte. Nun möchte ich mir gerne den IBM M5015 mit BBU und 4x 6TB WD Red holen (Bitte nicht über Sinn oder Unsinn der 6TB WD Red reden) und sie im Raid 5 betreiben. Es geht hier in erster Linie um ein Datengrad für Filme und Fotos. Ich möchte den Raid nach dem einrichten nicht mehr ändern, also nicht vergrößern oder so (maximal Platte tauschen wenn eine defekt ist). Funktioniert das erstmal so von der Konfig her?
Und dann wäre noch meine Frage, kann ich den Raid ganz einfach wieder einbinden wenn ich Windows neu aufsetze?

//Edit:
Ganz vergessen. Ist es möglich auch den M5015 so zu flashen das er Spindown bei allen Platten unterstützt?

Danke schonmal für eure Hilfe.

Schöne Grüße
Bootscreen
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh