LSI 9265-8i + Intel RES2SV240, Probleme bei Arrays über mehr als einen SFF8087 Port

e1nste1n

Enthusiast
Thread Starter
Mitglied seit
06.08.2009
Beiträge
46
Hallo liebe Community,

seit kurzen habe ich mir die o.g. Konfiguration zugelegt, möchte daran erst mal ein RAID6 aus 10 HDDs WD 2TB RE2-GP betreiben, später noch mehr.

so sieht das physikalisch @MSM aus:
2.PNG
Das Array (bzw "VD" wird es im MSM genannt) wird mit folgenden Properties angelegt
3.PNG
Dies führt nun (ob mit fast-Init, ohne Init oder Full-Init) bei Zugriffen (lesend oder schreibend) zu haufenweise Warnings im MSM, hier mal ein Screenshot von den ersten Augenblicken eines Full-Inits. Den ganzen Spass habe ich auch schon mal >24h laufen lassen. Die Warnings hören nicht auf, keine Platte wird gedropt, Status des Arrays die ganze Zeit "optimal"
1.PNG
Das an sich ist auch nicht mal mein "Problem", viel eher: das kurz bevor die Warning "Command Timeout on PD" kommt gibt es einen Stillstand bei der Übertragung vom / aufs Array, auch davon gern ein Screen ... HDTune-Read, auf Fast Init-Raid 6, Volume nicht im Windows Initialisiert, keine Partition erstellt, BGI: aus. Beim READ kommen die Drops alle paar hundert GB, beim WRITE sieht die Sache noch schlimmer aus, da kommt es geführt alle paar MB :(
4.PNG
Auch bei einer Dateiübertragung im Windows Filesystem kommen die Aussetzer wenn ich zB eine DB-Sicherung von mehreren GB darauf fahre. Man sieht die gleichen Knickser auch in der Dateiübertragung oder eben im Netzwerktraffic. Einige Sekunden später geht es mit Full-Speed (und den Warnings im MSM-Log) weiter ...

Nach einigem rumprobieren, umstecken, fluchen, umkonfigurieren, rumspielen an den Parametern des R6, etc., bin ich auf die Idee gekommen mal ein SFF8087 (incl. der 4 HDDs dran) direkt in den zweiten Port des LSI zu stecken, siehe da, die Warnings kommen nur noch für die Platten am Expander ... Nächster Test: einen Anderen SFF8087 in den zweiten port des LSI, sieh an: die Fehler kommen wieder für die restlichen 6 HDDs am Expander.

Merkwürdig nun ... mein nächster Test: erstelle ich zum Beispiel ein Raid 0 aus zwei Platten am Expander, aber: "Port" 0 und 4 (also auch 2 SFF8087 Ports, jedoch nur 1 SATA dort connected), dabei gibt es keine Probleme. Daraufhin mal ein R5 aus 4 HDDs, von Port 0 bis 3 erstellt ... auch kein Problem.

Ich habe mich bereits durch die Versionen der Perc/LSI-Threads hier im Forum gewühlt und einige Zeit bei Google verbracht, konnte aber bzgl. der Timeouts nicht viel finden (bzw. nur Posts betreffs Consumer HDDs oder wirklich fehlerhafter Sektoren, etc.), die Unexpected Sense sollen wohl nicht problematisch sein, sind ja auch nur im "Information"-Status.

Nun zur Auswertung, bzw. Schlussfolgerung und meinen daraus resultierenden Fragen:
Da die HDDs im Mischbetrieb beim raid6@10 platten @Expander und Controller selbst verteilt keine Command Timeouts kommen schließe ich Kabel und HDDs aus (kabel habe ich aber auch schon getauscht (sowohl die SFF8087 to 4xSata, als auch die Verbindung von LSI zu Intel RES2SV240). HDDs und Sata-Kabel liefen vorher mehrere Monate (Jahre) einwandfrei an einem Areca 2131ML @2x Raid 5.
Eben aus o.g. Grund würde ich auch einen Defekt am LSI ausschließen.

Was haben mir die Timeouts konkret zu sagen? Timeout der Lese / Schreib-Operation @HDDs? Dafür sollen es doch die RE's von WD sein? Ist der Expander zu langsam mit der Antwort? daher "Timeouts"?
Was mich stutzig macht ist jedoch das das Raid 0 aus 2 hdds, auf 2 SFF8087 aufgeteilt auf den ersten Blick keine Timeouts wirft. Ebenso das R5 auf 4 HDDs an einem SFF8087. Kann man das als Fehlfunktion im Expander werten? Auf der Suche nach einer aktuellen Firmware bin ich in einigen Foren gelandet, jedoch bekomme ich da nur die Info das es keine für den Intel gibt.

Edit:
Noch kurz ein paar Versionen:
Firmware des 9265-8i: mit 3.140.15-1320 und auch nach Update mit 3.160.15.1559 nachgestellt
MSM: 12.01.03.00
Intel RES2SV240 Revision Level: 0b00
WD RE2-GP, unterschiedliche Firmware, von 1G01 bis 5G05 (mit der zeit dazugekauft) auch HDDs mit der aktuellen liefern die Timeouts
der LSI steckt in einem PCI-E x16, der Expander wird extern mit Strom versorgt.
Nettzteil ist ein Enermax 85+ .. 500W iirc, das gesamte System zieht keine 150W, die Festplatten und Controller sollten gut versorgt sein :)

Kann mir hier wer weiterhelfen, der eine ähnliche Konstallation ohne die Einbrüche bei der Übertragung - und die Timeouts, die die Ursache zu sein scheinen am Laufen hat bitte?

mfg ... eini
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hi Mete, danke für die schnelle Antwort / Rückfrage.

Ja er bekommt Strom, steckt nicht im mainboard, sondern bekommt über Molex.

Sollte das etwa einen Unterschied machen?
 
Moin

Ob Molex oder PCIe spielt keine Rolle. Meiner war bis vor einigen Tagen im PCIe, nun aber per Molex angeschlossen.
Wüsste jetzt auch nicht was es sein könnte. Ich würde einmal das SAS Kabel zwischen LSI und Expander ersetzen und beim LSI eventuell das Kabel mal in den anderen Mini SAS reinmachen.

Die Firmware vom Expander solltest du glaub im MSM sehen, wähle dazu einfach den Expander in der linken Liste aus.

Gruss Mete
 
Zuletzt bearbeitet:
Wird der Sas expander ausreichen gekühlt, ich habe schon öfters gehört, das es bei starker belastung => hohe temperaturen zu aussetzern kommt. Der expander hat leiter keinen Temperaturfühler. Mach doch mal testweise den Temperaturfingercheck am Expander :),
 
Hallo Skynet.com, Hallo Mete888,

@Kühlung, danke für den Hinweis, habe ich auch schon gelesen. Der Fingercheck war auch mein erster Gedanke, mann kann den Finger "schmerzfrei" 10 Sekunden auf dem Kühlkörper lassen. Ergo hab ich mir noch nen 40mm Lüfter genommen und im Passiv-Kühler verschraubt. Danach war der passive nur noch lauwarm, kein Problem den Finger da dran zu halten...

Direkt "daneben" ist im Case noch nen zügig drehender 120er verbaut, das sollte auch für ein wenig geringere Temperaturen sorgen, dann steht das Ding im Keller bei max 17°C Raumtemp. Ich meine das ich damit keine Probleme habe, danke für den Hinweis trotz allem :)



@Mete

Danke für deine Erklärung und den Versuch der Hilfe, Kabel sind bereits gewechselt worden, der SFF8087@LSI ebenfalls schon. Das Kuriose ist ja: wenn ich nen array aus 8 HDDs direkt am Controller betreibe lüppts alles. Ich habe immer mehr den Expander im Verdacht, das der da Mist baut. Ich werde mal horchen was LSI dazu sagt.

Ansonsten werde ich mich wahrscheinlich mal als Versuchskaninchen betätigen und den hier ausprobieren: Link ... der steht zumindest in der Komp-Liste von LSI drin :(

@all
Gibt es da generelle Erfahrungen, blockt LSI schnell ab, da der Intel Expander ja nicht mit exakt dem Modell in deren Kompatibilitätsmatrix steht?

@Expander-Firmware: korrekt, habe ich vorher wohl übersehen, Danke für den Hinweis Mete: Version 0b00


Edit
Kann mir wer exakt sagen, WAS die Timeout-Warnings überhaupt genau Aussagen sollen? Oder "Wer" die Timeouts in meiner Situation produziert?

mfg ... eini
 
Zuletzt bearbeitet:
Die ID 115er sind kein Problem bzw. die bekomme ich mit meinem Chenbro ab und an auch. Direkt am Controller (Perc 6/E) hab ich auch keine Meldungen. Erst seit der Expander dazwischenhängt gibt es jene.

was bez. der Warnungen/Timeouts noch interessant wäre: Wie lang sind die SSF->4xSATA? und: Welcher Hersteller + welche Schrimung?
 
Hi Schlingel

schön von jemand zu lesen der ein ähnliches Verhalten erlebt, du meinst die 113er? 115er habe ich ich (noch) nicht bei mir gesehen :) Mir gehts bei den Problemen auch eher um die 267 (Command Timeout on PD) und 268 (PD Reset).

Hast du exakt den von mir verlinkten Chenbro?

@Warnings,

SFF->4xSATA: iirc waren die bei meinem Vorgänger-RAID-Controller (Areca 1231ML) dabei und haben dort anstandslos funktioniert. Dank neuer HDDs habe ich mir nun noch eins von Adaptec dazugeholt, welches Qualitativ etwas hochwertiger ausschaut. Nein, auch damit keine Verbesserung der Warning-Thematik.

Und zum SFF8087->SFF8087, also Controller zum Expander: es kamen mit dem Expander 2x sehr kurze mit (vllt. 20cm), habe beide durchprobiert. Zusätzlich habe ich auch noch ein originales LSI-Kabel da (CBL-SFF8087-05M). Mit allen Varianten probiert ... keine Besserung :(

Zu Schirmung der einzelnen Kabel kann ich nichts sagen, da würde ich doch mal davon ausgehen das die Hersteller mitgedacht haben und diese ausreichend sein sollte?!

@all
Hat sonst schon wer Erfahrungen mit dem LSI-Sup gemacht und weiß wie die Kollegen da auf nicht-ganz-der-Kompatiobilitätsliste-entsprechende Hardware und Anfragen darauf reagieren?
Ebenfalls würde mich eure Meinung zur Beseitigung des Fehlers interessieren? Expander tauschen?

mfg ... eini
 
Je nach dem wer vom LSI Support antwortet, sind sie sehr hilfsbereit. Hatte aber auch schon einen vom Support der sagte "this is not our problem".... Ich würde es versuchen.
Ich würde einmal den Expander austauschen... Ich hatte lange in meiner Windows Box am Intel Expander 4x 146GB 10K SAS als RAID5 laufen, sowie ein RAID1 aus 2x 500GB SATA. Ich hatte nie irgendwelche Timeouts oder Resets bei den SAS Platten, bei den SATA hatte ich ab und zu solche, die haben jedoch keinerlei Probleme verursacht.

Jetzt hängt das Ding im ESXi Server und deshalb sehe ich nicht ob es irgendwelche Resets oder so hat... Aber die Performance stimmt bei mir jedenfalls.

Gruss Mete
 
Ich hatte das auch mit einem meiner 9260 mal, allerdings mit den Platten direkt am Controller, nicht am Intel Expander - Wurde in einem Firmware Update von LSI behoben - bin derzeit aber wieder auf ne alte FW zurück wegen Spindown in configured Arrays...
 
Hmmm, na dann scheint das Problem ja doch öfter aufzutreten als mich google und die Forum-Suche hat glauben lassen.

Die E-Mail an LSI ist raus ... wenn die sich nicht bis Ende der Woche zurückmelden werde ich den Intel Expander zurückschicken und den von mir verlinkten Chenbro bestellen, danke für eure Antworten!

mfg ... eini
 
Hmmm, na dann scheint das Problem ja doch öfter aufzutreten als mich google und die Forum-Suche hat glauben lassen.

Die E-Mail an LSI ist raus ... wenn die sich nicht bis Ende der Woche zurückmelden werde ich den Intel Expander zurückschicken und den von mir verlinkten Chenbro bestellen, danke für eure Antworten!

mfg ... eini

Ich würde es über deren Support Tool machen, geht meistens schneller :) Dafür nur auf englisch soviel ich weiss

Submit a Support Request

Gruss Mete
 
Naja, der Intel steht nicht explizit drauf, aber da die Controller ja auch als Intel gebrandet verkauft werden (der 9260 z.B.) und die auch mit dem Expander Kompatibel sind wäre ich da schon zuversichtlich
 
@Mete ... sry, missverständlich ausgedrückt. Ich habe nen Support Request exakt über den Weg angelegt. die Bezeichnung "Mail ist raus" kam mir nur eher in den Sinn :)

@therealJMC: danke für deine Zuversicht, ich gebe auf jeden Fall Ergebnisse bekannt, welcher Art auch immer!

mfg ... eini
 
Ändert sich immer nur die letzte Stelle bei den Fehlermeldungen? Kannst du ggf. mal die zweite und dritte HDD vertauschen und berichten ob die Nummern gleich bleiben oder ob aus dem 3:2 dann ein 3:1 wird?

... verstehe ich nicht ganz. Die dahinterstehende Frage ist ob sich die Meldungen nur auf bestimmte Festplatten beziehen?

Die Meldungen kommen für alle 10 HDDs also von "Port 0 - 3:2:0" bis "Port 0 - 3:2:9", wenn ich eine HDD am Sata-Port@Expander tausche kommt die Meldung für die HDD trotzdem, ja :)

Edit:

was ich schon mal getestet hatte war den Expander in den zweiten Port@LSI zu stecken, dann kommt: "Port 4 - 7:x:y". "x" blieb auch in dem Fall gleich.

Die erste Angabe sind die SFF8087 Ports@LSI, die zweite ist das Gerät an den Ports hängende (also bei mir der Intel Expander, eine Backplane oder anderes), die dritte sind dann die einzelnen HDDs ... wenn ich das richtig verstehe?!

---------- Post added at 09:25 ---------- Previous post was at 08:43 ----------

weiteres kurzes Statusupdate: von nem Arbeitskollegen nehme ich heute nen LSI 9260-4i mit und teste den mit dem Expander ... heute Abend oder morgen gibt es damit neues.
 
Zuletzt bearbeitet:
Die WD RE (Raid Edition) stehen jedenfalls in so ziemlich allen Kompatibilitätslisten von Intel, Adaptec, LSI, Areca, etc ...

Hatte bevor ich mir die Kombi geholt habe kurz in der Richtung HDDs und Expander recherchiert, aber nichts gefunden was mich davon abgehalten hätte die zusammen einzusetzen. Gibts da gegenteilige Infos?

mfg ... eini
 
Also ich hatte RE4-GP 2TB am Intel dran ohne Problem zusammen mit einem 9260-8i/4i
 
Wichtig wäre da dann aber die aktuelle FW auf dem 9260 - mit einer alten FW hatte ich das wie gesagt auch mit einem 9260 (mit und ohne Expander afair)
 
Controller scheint ok ...

Okay ... auch mit dem 9260-4i keine Änderungen am Verhalten.

Habe für heute wie gesagt von Arbyte aus ein gutes Stück mitsamt Kabeln mitnehmen dürfen, welches schon mal getestet und als gut befunden wurde.

Alte FW: 2.70.03-0862
Read: 1.jpg und Write: 2.jpg

Neue FW: 2.120.24.3-1482
Read: 4.jpg und Write: 5.jpg


Das Raid6 wurde nicht initialisiert, für die obigen Tests keine Partition erstellt, es läuft kein BGI, alles Super meiner Meinung nach.
Die eindeutigen Zacken sind auch im Einbruch der Übertragung von Daten auf das Array zu sehen (dann logischerweise mit Dateisystem), die Übertragung kommt bei dem Controller sogar gefühlt noch länger zum Stillstand als beim 9265. Die Infos gehen gleich an LSI als Zusatz raus, bisher noch keine Antwort von der Richtung.

Hat jemand weitere Ideen oder Wünsche? ... oder kommt sgar aus dem Raum Berlin und könnte mit mir mal seinen Expander verknoten und testen? Bring- und Abholservice so wie ein Bierchen wären incl. :d

mfg ... eini
 
Zuletzt bearbeitet:
Hier die Antwort vom LSI-Support,

ich werde sehen das ich heute noch den anderen Expander bestelle, Neuigkeiten werden sich somit einige Tage in die Zukunft verzögern.


Hello ***,

The events that the controller are logging suggest there may be an interconnect issue, as the drives on a few ports are being reset due to invalid commands being passed. If possible, try swapping the expander as this may be the root cause.


05/29/12 20:02:21: EVT#20301-05/29/12 20:02:21: 113=Unexpected sense: PD 14(e0x08/s0) Path 5001e6739ebd6fe0, CDB: 28 00 02 54 46 00 00 02 00 00, Sense: 6/29/00

05/29/12 20:02:21: Raw Sense for PD 14: 70 00 06 00 00 00 00 0a 00 00 00 00 29 00 00 00 00 00

05/29/12 20:02:21: EVT#20302-05/29/12 20:02:21: 113=Unexpected sense: PD 13(e0x08/s4) Path 5001e6739ebd6fe4, CDB: 28 00 02 54 46 00 00 02 00 00, Sense: 6/29/00

05/29/12 20:02:21: Raw Sense for PD 13: 70 00 06 00 00 00 00 0a 00 00 00 00 29 00 00 00 00 00

Thank you for contacting LSI technical support! Please, don’t hesitate to contact us for further assistance.

Kindest Regards,

***
Technical Support Engineer
RAID Storage Division




Noch mal nachgetreten: ... in DE nur 1 Shop, der den Expander aber sogar lagernd hat ... Aussage war: in 2 Tagen ist das Ding bei Ihnen! ... ich bin gespannt :)
 
Zuletzt bearbeitet:
Und um das Thema auch hier abzuschließen ... mit dem bestellten Chenbro CK23601 gibt es keine Probleme mehr. Die Warnings kommen nicht mehr, bisher nur 2 113er (Unexpected Sense von PD xy (der Expander)) Infos

Aktuell wird mit >200 MB/s auf das R6 mit den 10 WD's geschrieben, während der Controller ein weiteres R5 mit 5x 3TB Hitchis initialisiert, ein weiteres kommt gerade hinzu. Keine Performance-Einbrüche, so langsam bin ich begeistert :d

Thx noch mal für die Antworten hier, Thema für mich abgeschlossen :)
 
Falls noch interessant... Es gibt für den Intel SAS Expander RES2SV240 ein Firmware-Update auf V13, das die Timeout-Probleme vollständig beseitigt. Jetzt ist der SAS Expander endlich bei mir verwendbar.

Auszug aus der Readme:
=============
Fixes/Updates
=============
v13
- SMP fix (Populate ATTACHED DEVICE NAME instead of using SAS Address.
- SMP fix send BREAK if SMP frame lenght exceeds maximum lenght allowed by the SAS 2 specification.

v12
- Significantly reduce the likelihood and frequency of link resets, this was causing IO timeouts with SATA drives.
- Zoning fixes
 
Zuletzt bearbeitet:
Wie kann man das Firmware Update aufspielen?

Ich Frage das mal vorbeugend, falls ich einmal Probleme mit dem Expander bekommen sollte.

Danke dir

Gruss Mete
 
Danke dir...
Dann muss ich wohl den Expander mal in eine Windows Gurke Packen, unter ESXi wird das ja wohl nicht möglich sein xD....

Danke und Gruss
Mete
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh