Bootprobleme Supermicro M11SDV-8CT-LN4F + Broadcom MegaRAID 9260-8i

[haudegen1993]

Hi Leute,
ich bin so langsam ein wenig am Verzweifeln.
Oben genannte Hardware Kombi bereitet mir starke Kopfschmerzen und ich bekomms nicht zum Laufen.

Sowohl unter UEFI only, Legacy only, als auch Dual Mode probiert.
Alle Einstellungen im Bios durch probiert.
Im UEFI Modus hängts bei: DXE--Bios PCI Bus Enumeration 92
im Legacy Modus rebootets dauernt mit der Fehlermeldung: F/W is in Fault State - MFI Register State 0xFFFFFFF F/W has indicated system reset is required. System will reboot now...

Das komische ist - zwischendurch fährt er dann doch mal hoch und ich hab keinen Plan warum...
Habe den selben Raid Controller nochmal hier liegen, einmal mit FW aus 2013 und einmal mit der letzten FW - bei beiden das Problem.

Hoffe ihr habt vll noch nen Tipp für mich.
restliche System:
2x16GB DDR4 2133 regECC
4x Seagate Ironwolf 500GB 125 NAS SSD im Raid 10

 

[Holt]

Hoffe ihr habt vll noch nen Tipp für mich.

Probiere es mit dem Supermicro X11SDV-4C-TLN2F (hat dann auch gleich 10GbE), dessen Xeon-D ist ein Skylake-SP, also Intel Server CPU die seit Jahren Standard ist und dürfte nicht solche Kompatibilitätsprobleme machen wie eine CPU die von AMD als "AMD EPYC™ Embedded 3000 Series" klassifiziert ist, also eine Embedded und keiner Server CPU ist. Ich glaube kaum, dass allzuviele Leute im Embedded Segment SAS RAID Controller nutzen.

Aber wozu 4 SSD mit nur 500GB im RAID 10, wenn man nicht einmal 10GbE hat? 2 mit je 1TB im RAID 1 wären da nicht schlechter gewesen und wozu den RAID Controller? Das Mainboards hat doch vier SATA Ports, da kannst Du sie dranhängen und das Systemlaufwerk als M.2 in den M.2 Slot packen, dies spart dann auch einiges an Energie ein.

 

[bakhtar]

Hallo,
ich habe kein M11SDV, aber X11SDV (-4C-TP8F). Die X11SDV wird ohne einen aktiven Kühler geliefert; braucht aber definitiv einen aktiven Kühler.
Am Controller (MegaRAID 9361-8i) hängen 4x4TB HDD (R5) und 4x240GB SSD (R10, CacheCade) ohne Probleme.
Ebenfalls keine Probleme mit MegaRAID 9270-8i an beiden PCIe-Slots (x16, x8)
Die Slots sind als EFI konfiguriert.
Zu M11SDV kannst sicher eine Lösung im STH-Forum finden. Da gibt es einige Posts zu EPYC-Boards/RAID-Controllern/HBA/DXE - Bios PCI Bus Enumeration- Problemen.

Gruß

 

[haudegen1993]

@Holt mal davon abgesehen dass wir beim derzeitigen ist Zustand sind, also die Sachen ja schon hier sind. Kostet das von die genannte Board fast 700€, fast 300€ mehr als ich für das M11 bezahlt hab.
Raid 10 aus den Gründen von Sicherheit ohne ganz auf Speicherplatz verzichten zu müssen - würde ja Raid 5 oder 6 nehmen, aber das verursacht dann doch zu viele "unnötige" Schreibvorgänge.
Für 10GB braucht man dann auch die 10GB Gegenstellen - auf der anderen Seite hat das Board 4 Gigabit Ports welche man für Load Balancing nutzen kann - also "verliert" man da auch net allzuviel.

@bakhtar meinst ServeTheHome? da schaue ich mal vorbei.

 

[bakhtar]

Ja.

 

[Holt]

Da gibt es einige Posts zu EPYC-Boards/RAID-Controllern/HBA/DXE - Bios PCI Bus Enumeration- Problemen.

Wobei man hier aber darauf achten muss, dass die 3000er EYPC ganz andere CPUs als die großen 7000 EPYC sind, nur letztere sind bei AMD wirklich Server CPUs!

wird ohne einen aktiven Kühler geliefert; braucht aber definitiv einen aktiven Kühler.

Die sind ja auch dafür gedacht in ein Servergehäuse gebaut zu werden, welches eine Reihe Lüfter in der Mitte hat und damit den nötigen Luftzug erzeugt. Daher ist es bei Serverboards auch nicht ungewöhnlich das alles, selbst CPUs mit mehr als 200W TDP, passive Kühler haben und dies bedeutet eben nicht, dass sie ohne den entsprechenden Luftstrom auskommen. Zumindest früher waren bei Supermicro die Versionen mit Lüfter auf dem Kühler mit einem + in der Modellbezeichnung versehen und eben für den Einbau in Gehäuse ohne diese Reihen von Lüftern in der Mitte vorgesehen.

derzeitigen ist Zustand sind, also die Sachen ja schon hier sind. Kostet das von die genannte Board fast 700€, fast 300€ mehr als ich für das M11 bezahlt hab.

Was nutzt es Teile zu haben die nicht zusammenarbeiten? bakhtar hat auch ein X11SDV, also eines mit dem Intel Xeon-D und bei ihm geht es.

Raid 10 aus den Gründen von Sicherheit ohne ganz auf Speicherplatz verzichten zu müssen - würde ja Raid 5 oder 6 nehmen, aber das verursacht dann doch zu viele "unnötige" Schreibvorgänge.

Die Schreibgeschwindigkeit ist zwar bei RAID 5 und 6 schlechter als bei RAID 10, aber zumindest bei RAID 5 wird ingesamt weniger geschrieben als bei Deinem RAID 10, denn bei RAID 1 oder 10 wird ja alles auf zwei SSDs geschrieben, insgesamt wird also auf die SSDs doppelt so viel wie von Host geschrieben wurde. Bei RAID 5 wäre es bei 4 SSDs nur ein Drittel mehr was alle SSDs schreiben müssen als von Host kommt und RAID 5 reicht bei der guten UBER von SSDs locker aus, ein RAID 6 wäre total unnötig. Mit Deinen 4 SSDs mit jeweils 500GB hättest Du dann 1,5TB statt 1TB Nutzkapazität.

 

[haudegen1993]

Gut bei Raid 5 geb ich dir recht, hatte iwie mehr TBW im Kopf durch die extra Daten die geschrieben werden müssen.
Nichts desto Trotz, ist das n stink normales Retail Board und n stink normaler Raid Controller. Und beides gibt es nicht erst seit gestern. Also darf man ja wohl erwarten dass das funktioniert und nicht, joa das ist AMD das ist scheiße musst Intel kaufen.

 

[Holt]

Erwarten kann man alles, aber es ist ein Boards mit einer Embedded Plattform und da sind wie gesagt Hardware RAID Controller wie Deiner keine übliche Anwendung und die Kompatibilität dazu zu prüfen/gewährleisten, dürfte nicht gerade weit oben auf der Prioritätenliste stehen. Es ist damit kein "stink normales Retail Board", da die meisten Retail Boards eben entweder die Mainstream oder HEDT Plattformen der Hersteller haben und schau Dir an welche Probleme die Jungs im Thread Ryzen 3700X mit ASRock X470D4U als ESXi-Virtualisierungshost mit Dingen wie dem Durchreichen von PCIe Geräten haben. AM4 ist eben eine reine Desktopplattform, während Intels S.115x Plattformen alle auch Server- und Workstationversionen in Form der Xeon-E haben, bei S1200 sind es jetzt reine Workstation Xeon-W geworden. Die Xeon-E und deren Chipsätze sind mit den Desktopmodelle vom Die her identisch und daher waren die ganzen Desktopplattformen von Intel auch für Enterpriseanwendungen ausgelegt und unterstützen so Dinge wie eben das Durchreichen von PCIe Geräte in Virtualisierungsumgebungen.

Das ist genau der Grund warum nicht nur ich, sondern auch die großen OEMs für Server nur eine Plattform nehmen die vom Hersteller auch für Server gedacht ist und für Workstations eine die für Workstations gedacht ist und nicht einfach eine Desktopplattfom, weil die ja billiger ist, auch wenn sie genug Leistung bietet:

A key challenge with using Ryzen in servers, as we mentioned in our recent Intel Xeon E-2288G Review, is that the Ryzen platform is supported by AMD’s desktop team, not the server team. That means AMD’s support resources for the Ryzen platforms are targeted more at desktop applications.

Beim Release der RYZEN 3000 CPU beim Bug des Zufallszahlengenerators der dazu geführt hat das viele aktuelle Distributionen mit systemd nicht liefen, worauf hin man wohl erahnen kann wie wenig umfangreich die Tests mit Linux gewesen sein dürften. Auch bei den TR3000 waren die Tests wohl vor allem auf Windows:

Given the AMD EPYC 7002 "Rome" processors already to market and the Ryzen 3000 series, going into this I wasn't anticipating any Linux issues at all for these 7nm Zen 2 Threadripper CPUs. But I was quickly greeted by one big surprise...

Die EPYC sind reine SoC, während TR auch einen externen Chipsatz haben, die Plattform unterscheidet sich also, auch wenn die CPUs im Grunde identisch sind.

With either the ASUS or MSI motherboards and with both the 3960X and 3970X, Linux distributions like Ubuntu 19.10 weren't booting!
...
there were signs pointing to an MCE (Machine Check Exception) problem.
...
When reaching out to AMD's Linux engineers about it, on 21 November they did release an AMD x86 MCE patch for the Linux kernel.

Sie haben es gefixt, aber es zeigt wo die Prioritäten der Entwicklung liegen und nur die EYPC 7000 sind eben gemäß AMD die Server CPUs in ihren Programm, während die 3000er eben als Embedded vermarktet werden und damit dürfte klar sein, wo auch der Fokus für dessen Entwicklung / Unterstützung liegt. Auch wenn einem das Markting egal ist, so hat es eben Einfluss darauf was unterstützt/getestet wird und wenn Du richtig Pech hast, dann gab es eben Inkompatibilitäten mit wichtiger Server Hardware / Software die man nicht einfach beseitigen konnte und muss die EYPC 3000 deswegen als Embedded statt (Entry Level) Server vermarktet.

Solche Feinheiten waren früher weniger relevant als Intel den Markt dominiert hat, weil bei denen praktisch jede Plattform, eben auch eine Serverplattform war, sogar von den Atoms gibt es ja Serverversionen. AMDs Resourcen sind aber offenbar nicht so üppig oder die sehen da nicht genug Marktpotenial um auf Basis aller Plattformen auch Serverversionen anzubieten und entsprechend können sie es sich auch die dafür üblichen Validierungen der Unterstützung und Kompatibilität sparen. Auch auf AM4 scheint es mit dem MegaRAID 9260-8i zumindest am Anfang Probleme gegeben zu haben, wie eine Googlesuche zeigt:

Topic: No POST/BIOS Splash with RAID card inserted ;Ryzen
Posted: 29 Jun 2018 at 3:44pm
Ahoy!

I replaced my old server setup (Intel Pentium G4400 / ASRock B250 Pro4) by a new one, using a Ryzen R7 1700 CPU and an ASRock X370 Killer SLI Motherboard.

I want to keep using my LSI MR SAS 8708EM2 RAID card but some problemes occured.
I tried several Ryzen Motherboards (GIGABYTE AB350 Gaming 3 / ASRock AB350 Pro4) but im unable to boot when my LSI card is inserted.

Its working fine with my Intel system but when i try to boot my Ryzen system, i only get a black screen, no way to enter the bios or something, it simply hangs.

What can i do? I dont want to go back to Intel, just to use my old rusty RAID controller.
I wanted to buy a new one like LSI 9260 8i but i dont know if the same problem will occur.

 

[haudegen1993]

Die Kiste steht hier grad im offenen Aufbau zwecks Fehlersuche....
Stutzig gemacht hat es mich, dass der erste Bootversuch nach ner Std. Pause rum ohne Probleme läuft.
Jetzt kam mir grad der Gedankengang - der Controller wird ja sch... heiß. Also mal nen 80mm Fan drauf pusten lassen und bisher scheint es zu gehen. - Kiste läuft jetzt seit 1,5h. mehrere Neustarts und geht. Wenns jetzt wirklich nur die Temps von dem Controller waren... uff... den hab ich schon n paar mal verbaut und nie solche Probleme gehabt.

 

[Holt]

der Controller wird ja sch... heiß. Also mal nen 80mm Fan drauf pusten lassen

Meinst Du mit Controller die CPU? Die braucht mit 55W TDP definitv eine ordentlichen Luftstrom zu Kühlung und wenn das Gehäuse diesen nicht bietet, hättest Du besser die M11SDV-8C+-LN4F Version mit dem Lüfter auf dem Kühler nehmen sollen, wie gesagt haben die Versionen mit dem + in der Bezeichnung eben einen Lüfter auf dem Kühler und sind für den Einbau in Gehäuse die eben keinen ausreichenden Luftstrom für die passive Kühlung erzeugen.

 

[haudegen1993]

Ne meinte mit Controller schon den Raidcontroller - Broadcom LSI Megaraid 9260-8i - den Kühler davon kann man nicht anfassen, verbrennt man sich direkt - die AMD SoC hat ne TDP von 30W nebenbei und wird nicht so heiß.

 

[Holt]

Ne meinte mit Controller schon den Raidcontroller - Broadcom LSI Megaraid 9260-8i - den Kühler davon kann man nicht anfassen, verbrennt man sich direkt

Auch für den gilt, dass die passive Kühlung nur funktioniert, wenn das Gehäuse einen ausreichenden Luftstrom produziert und ihn damit entsprechend kühlt. Serverhardware ist eben meistens passiv gekühlt, weil die normalen Servergehäuse diesen Luftstrom mit einer Reihe starker Lüfter in der Mitte des Gehäuses erzeugen und erst damit die passiven Kühler ermöglichen, also letztlich Kühler und Lüfter räumlich trennen. 30W TDP sind übrigens immer noch viel zu viel um diese wirklich mit dem Kühlkörper auf der CPU des Boards ohne entsprechenden Luftstrom kühlen zu können.

 

[haudegen1993]

Mir ist schon klar, dass die Passiv Kühler nen Luftstrom brauchen. Aber wie gesagt hab hier mehrere 9260er im Einsatz und teils in stink normalen Tower Gehäusen und bisher hats die nicht groß interessiert.

 

[bakhtar]

Ne meinte mit Controller schon den Raidcontroller - Broadcom LSI Megaraid 9260-8i - den Kühler davon kann man nicht anfassen, verbrennt man sich direkt - die AMD SoC hat ne TDP von 30W nebenbei und wird nicht so heiß.

Die zugelassene Umgebungstemperatur ist ca. 55°C. Beim ROC, meine ich gelesen zu haben, ca.115-125°C (muss man sicher nicht ausreizen .
Unter realen Bedingungen sind es be mir ca. 70°C (passiver Luftstrom, 80er Lüfter davor/ 90er dahinter). Ich habe einen kleinen Lüfter (40x10) aufm ROC-Heatsink. Damit hat der Chip eine Temperatur von ca. 50-55°C.

 

[Supaman]

Ist richtig, der Broadcom LSI Megaraid 9260-8i benötigt zwingend entweder einen Gehäuse Luftstrom vom Blade Server oder einen Slotkühler wie z.B. sowas hier:

Titan TTC-SC07TZ VGA-Kühler mit 2X 95mm Lüfter schwarz: Amazon.de: Computer & Zubehör

Titan TTC-SC07TZ(RB) VGA-Kühler mit 2X 95mm Lüfter schwarz - Kostenloser Versand ab 29€. Jetzt bei Amazon.de bestellen!

www.amazon.de

Steht aber auch nicht wirklich in der Doku.

 

[Holt]

Steht aber auch nicht wirklich in der Doku.

Doch, dies steht bei solchen Enterprisekomponenten mit passivem Kühler eigentlich immer in der Doku, so auch hier in der User Guide:

LSI Corporation- 74 -6Gb/s MegaRAID SAS RAID Controllers User Guide
...
3.3.4.4Operating and Nonoperating Conditions for MegaRAID SAS 9260 RAID ControllersFor the MegaRAID SAS 9260-4i, SAS 9260-8i, SAS 9260CV-4i, SAS 9260CV-8i, and SAS 9260DE-8i RAID controllers, the operating (thermal and atmospheric) conditions are as follows:
Relative humidity range is 20 percent to 80 percent noncondensing.
Airflow must be at least 200 linear feet per minute (LFPM) to avoid operating the LSISAS2108 processor above the maximum ambient temperature.

Man muss die Anleitung aber natürlich auch lesen, um es zu finden!

Supermicro schreibt zum M11SDV-8CT-LN4F:

Note: To avoid possible system overheating, please provide adequate airflow to your system.

Ohne Angabe wie viel es sein sollte. Auch servethehome.com schreibt:

Airflow wise, all of the initial Supermicro M11SDV platforms, with the exception of the 8C+, are passively cooled. The AMD EPYC 3251 is a part that needs airflow over the heatsink. The passive heatsink design allows one to utilize redundant cooling fans on the platform.

 

[haudegen1993]

Airlow für die CPU ist ja gegeben, was mich nur verwundert hat ist wie oben genannt, dass ich den Raid Controller schon n paar mal im Einsatz habe und bisher selbst ohne direkten Airlow nie Probleme gab hier jetzt aber nach n paar Minuten (scheinbar) das Teil schon gefühlt am Schmelzen ist.

Hab mir jetzt noch nen Slot Lüfter bestellt und hoffe das war des Rätsels Lösung.

Edit: Das der Epyc 3251 mit seinen 55W TDP mit diesem bisschen Kühler auch nicht passiv gekühlt werden kann ist klar - der Epyc 3201 mit seinen 30W TDP sieht da n bisschen anders aus.
Testweise mal nen Cinebench R23 laufen lassen, was ja keine Alltagslast ist und selbst bei offenem Case (also ohne wirkliche Airflow) kommen folgende Temps raus - Case zu sind die Temps 8-9° niedriger
Cinebench r23 run: cpu tctl/tdie max 58°C - cpu die average max 89°C
Also die 30W TDP im Zaum zu halten ist absolut kein Problem.

 

[Holt]

Das der Epyc 3251 mit seinen 55W TDP mit diesem bisschen Kühler auch nicht passiv gekühlt werden kann ist klar - der Epyc 3201 mit seinen 30W TDP sieht da n bisschen anders aus.

Den Hinweis aus dem User Manual des Board ich ja zitiert, ich würde schon zusehen, dass dessen Kühler auch einen gewissen Luftstrom abbekommt.

 

[Supaman]

Doch, dies steht bei solchen Enterprisekomponenten mit passivem Kühler eigentlich immer in der Doku, so auch hier in der User Guide:
Man muss die Anleitung aber natürlich auch lesen, um es zu finden!

Ich korregiere bzw formuliere es anders: Eigentlich gehört so eine Angabe in die Auflistung der Controller Specs, z.B. auf der Webseite oder auch im Produkt Steckbrief, da steht davon aber nichts. Die Angabe zur notwendigen Kühlung ist sehr gut im Handbuch versteckt und wird wie in diesen Fall, oft nicht gefunden.

 

[Holt]

Eigentlich gehört so eine Angabe in die Auflistung der Controller Specs, z.B. auf der Webseite oder auch im Produkt Steckbrief

Der Hersteller ist aber offenbar der Meinung diese Angabe würde in den User Guide gehören und damit ist er nicht alleine, meist steht es nicht in einfachen Datenblättern und man kann ja auch auf die Anleitungen zugreifen, ohne das Produkt kaufen zu müssen. Ich kann auch generell nur empfehlen da für jede Hardware, gerade auch für Mainboard schon vor dem Kauf mehr als nur einen flüchtigen Blick reinzuwerfen, denn da steht eben all solche Dinge drin, für die auf der Produktseite oder dem Datenblatt kein Platz ist oder die man dort auch nicht reinschreiben möchte, um Interessenten nicht abzuschrecken. Bei Mainboards findet man z.B. teils nur im Handbuch welche Slots und Ports sich gegenseitig ausschließen, weil sie sich Resourcen teilen müssen. Aber ich weiß auch, dass viele User selbst dann das Handbuch nicht lesen, wenn sie irgendwelche Probleme haben, da es immer wieder Threads gibt wo Fragen (bzw. Probleme) gestellt werden, die im Handbuch beantwortet werden.

 

[besterino]

Es heißt ja auch RTFM und nicht RTFSpecSheet, RTFWebsite oder RTFWerbebroschüre. Ich verstehe aber auch, wenn man das nicht unbedingt als erstes macht: ich musste auch das ein oder andere Jahrzehnt Erfahrung ansammeln, bis ich - trotzdem zähneknirschend - eingesehen hab, dass das Prinzip „kann ich auch später wenn ich nicht mehr weiterkomm (wastotalunwahrscheinlichistichweissjaeigentlichallesundsonstgesunderMenschenverstandundso)“ nicht der schnellste bzw. effizienteste Weg zum Ziel ist... Ikea-Möbel eingeschlossen.

Dass ich mach aber dazu immer noch regelrecht zwingen muss, ist wahrscheinlich falsche Erziehung oder so.

 

[Holt]

Es heißt ja auch RTFM und nicht RTFSpecSheet, RTFWebsite oder RTFWerbebroschüre.

Eben und jeder der Ahnung und Erfahrung mit Enterprise Hardware hat, weiß auch das diese in aller Regel zwar passive Kühler besitzt, aber eben nur weil die typischen Servergehäuse eben in der Mitte eine Reihe starker Lüfter haben und so für den Luftstrom für alle Komponenten sorgen, statt wie bei Consumerhardware die Kühler mit eigenen Lüftern zu versehen, sofern dies nötig ist. Man erkennt diesen Unterschied auch an der Ausrichtung der Komponenten wie z.B. der RAM Slots auf den Boards, die verlaufen bei den Serverboards eigentlich immer parallel zu den PCIe Slots, eben um den Luftstrom abzubekommen statt ihn abzulenken, während sie bei Consumerboards häufig quer verbaut sind.