Eventuelle Hilfestellung zu Supermicro Boards?

[mwittrock82]

Ich lese hier im Forum schon des längeren mit.

Ich habe mir ein Supermicro SuperServer 5019C-FL Barebone bestellt, da ich noch CPU, RAM und Festplatten aus meinen HPE Microservern Gen10+ hier rumliegen habe.

Aus dem Supermicro möchte ich mir eine Art Exsi-Spielwiese bauen.

Weiss jemand - da ich garantiert auf irgendwelche Fragen und Probleme stossen werde - ob es im deutschsprachigem Raum ein Forum für Supermicro gibt?

Ist mein erstes Supermicro Board, und ich denke alles wird anders sein als beim iLo von HP...

Danke schon mal ;-)

 

[Kullberg]

Ich bin mir sicher, dass sich hier einige Leute mit Supermicro auskennen. Ich habe / hatte diverse Supermicro Boards. Dein Barebone hat IPMI, es kann allerdings sein, dass er kein iKVM hat.

 

[mwittrock82]

IPMI hat das Board definitiv... Verbaut ist das X11SCL-iF

 

[Kullberg]

Das letzte Supermicro Mainboard, was ich gekauft habe, hat in der Beschreibung iKVM explizit erwähnt, bei Deinem ist das nicht der Fall. Von daher fürchte ich, dass man nur über vpro / AMT KVM kriegt. Ist aber nur eine Vermutung. Über IPMI kann man dann nur ein/ausschalten, Hardware überwachen und Firmware Updates machen.

 

[underclocker2k4]

das F steht für IPMI und IPMI ist mit iKVM, immer.

On-Board Devices
Chipset	Intel® C242
SATA	Intel® C242 controller for 4 SATA3 (6 Gbps) ports; RAID 0,1,5,10
IPMI	ASPEED AST2500
Graphics	ASPEED AST2500 BMC
Network Controllers	Dual LAN with 1GbE with Intel® I210

Ohne -F bzw. IPMI wäre vPro.

 

[Kullberg]

Ich hatte mal ein Intel Mobo, das nur IPMI hatte ohne iKVM. Für iKVM musste man ein extra Modul dazu kaufen, dann gab es auch dedicatet LAN dazu, ohne war nur shared möglich. Hab mich damals intensiv darüber geärgert.

 

[besterino]

Fragen einfach hier im Forum stellen, am besten mit einem aussagekräftigen Titel.

 

[underclocker2k4]

Ich hatte mal ein Intel Mobo, das nur IPMI hatte ohne iKVM. Für iKVM musste man ein extra Modul dazu kaufen, dann gab es auch dedicatet LAN dazu, ohne war nur shared möglich. Hab mich damals intensiv darüber geärgert.

Wir reden hier von einem Supermicro Board (und auch von denen habe ich gesprochen), auch wenn da eine Intel CPU drauf ist, hat das mit einem Intelboard und der dezent beschissenen Lizenzpolitik nichts mit SM-Boards zu tun. Da gibt es noch andere Hersteller, die da ein klein wenig neben der Spur sind.

Wenn andere Mütter hässliche Töchter haben, heißt das ja nicht, dass alle Töchter hässlich sind.

 

[Kullberg]

Ist mir schon klar. Aber über Supermicro hab ich auch schon geflucht - z.B. über fiese BIOS Bugs.

 

[underclocker2k4]

Fragen einfach hier im Forum stellen, am besten mit einem aussagekräftigen Titel.

Generell dürfte es wenig Fragen geben. SM-Boards sind da nicht anders als andere Boards, außer dass sie robuster laufen.
Für alles andere findet man in aller Regel auch alle Infos bereits im Netz.
Generell sollte man davon absehen, irgendwas speziellen zu verdrehen, wenn man es nicht braucht und vor allem auch nicht weiß, was man da tut.
Board/Rechner auspacken, CPU rein, Kühler drauf, RAM rein, Storage rein, ESX von USB installieren, VMs installieren, fertig.
Das geht in unter 1h.

 

[mwittrock82]

Danke erst mal für Eure Antworten ☺️ Ja, demnächst wird der Treadtitel aussagekräftiger 😅

Mein Plan ist folgender:

CPU soll erst mal ein G5420 werden, den habe ich noch

2x 8GB RAM aus dem Gen10+ (DDR4-2666)

Ein 64GB Modul für den SuperDOM - da soll dann ESXI drauf (7.0 benötigt wohl mindestens 32GB, da hab ich direkt zum 64GB gegriffen)

Eine Samsung 1TB NVME (ist zwar eine Consumer-SSD, aber Übergangseweise wird sie es tun) für die VMs

Und noch 2x 2TB 2,5“ im RAID1 für sonstige Daten

Das sollte doch so funktionieren, das ich neben der NVME SSD den SuperDOM zum booten bekomme, oder?

 

[underclocker2k4]

das ich neben der NVME SSD den SuperDOM zum booten bekomme, oder?

Was meinst du mit neben zum Booten?
Du bootest entweder vom DOM oder von der NVMe.

 

[mwittrock82]

Ok, das hat meine Frage schon beantwortet… Dachte vielleicht gibt es Probleme wenn beides verbaut ist

 

[Trambahner]

@mwittrock82 : Dir ist klar, dass ESXI mit Intel Chipsatz-Fakeraid nichts anfangen kann und auch kein Softraid von sich aus kann? Das ging nur mit der HP-Anpassung/Treiber und dem Microserver Gen8 seinerzeit.

> Software-Raid funktioniert bei ESXI bei nur einer einzelnen Maschine nur mit der "All-In-One ESXI + StorageVM und Passthrough"-Lösung, wie sie manche hier im Forum nutzen.
Oder halt per NFS/iSCSI-Anbindung an einen extra Storageserver, der das Raid verwaltet und Speicher übers Netz zur Verfügung steht.

Der Basis-ESXI als Solo-Maschine ist super für Virtualisierung, aber für lokalen Storage ist er recht beschränkt und kann nur einzelne Geräte oder Hardwareraid für Karten, wo Treiber existieren/integriert sind. Mit vSan schauts dann wieder besser aus.

 

[mwittrock82]

Hmm… So weit hab ich mich mit ESXI noch nicht befasst… Bisher läuft bei mir nur der Windows Server Essentials…
Aber schon mal danke, dann wird das mit dem RAID Verbund nichts… Aber wichtige Daten kommen da eh nicht drauf, dafür hab ich meine Synology inkl. Backup.

Dann wird meine nächste Lektüre wohl mal der ESXI Thread werden…

 

[besterino]

Einfach ein bisserl rumprobieren. Wenn Du bei Windows-Server schon mit VMs gespielt hast, wirst Du Dich schnell in ESXi zurecht finden. Zum Thema Storage unter ESXi kannst du mal bei napp-it.org unter „all-in-one“ stöbern und dort die Handbücher mal durchflippen. Sind m.E. ein gar nicht schlechter Start und für ein Grundverständnis musst du im ersten Durchgang auch nicht alles im Detail lesen/verstehen.

Zum Beispiel:

https://napp-it.org/doc/downloads/napp-in-one.pdf

 

[Bierjpg]

Supermicro Mainboards rennen eigentlich echt verdammt gut. Teilweise besser als alles was sonst am Markt ist.
Allerdings kann auch Supermicro nicht zaubern. Z.b. mein Epyc system aus der ersten Gen mag keine AMD Vega 64.
Allerdings habe ich auch mit AMD Zen eher schlechte Erfahrungen bisher gemacht ....

 

[flxmmr]

Supermicro Mainboards rennen eigentlich echt verdammt gut. Teilweise besser als alles was sonst am Markt ist.

bis man dann irgendwann "die Nodes stürzen immer ab, aber wir wissen nicht warum" erlebt. Das ganze eine zeitlang debuggt. (und ne, "die Nodes stürzen ab und zu ab" debuggt vmtl. kein Systemhaus). Nachdem man dann am Ende das ganze auch mit einem Mainline-Kernel reproduzieren kann: "ach bitte nehmen Sie doch nochmal Almalinux". Einen Tag später: "ach, Supermicro hat sich gemeldet, Ihre Boardrevision hat einen Bug und hängt sich bei AVX-Code auf". Nach der Erfahrung liest sich dieses Forum hier gerade relativ lustig - man muss allerdings sagen die Alternativen sind genauso Mist und doppelt so teuer.

 

[besterino]

Und bei den Alternativen meldet sich im Zweifel niemand, woran es liegt/lag.

 

[underclocker2k4]

Nach der Erfahrung liest sich dieses Forum hier gerade relativ lustig - man muss allerdings sagen die Alternativen sind genauso Mist und doppelt so teuer.

Was isn daran lustig?
Dass ein Hersteller Probleme mit seiner HW/SW hat?
Dann bist du wohl noch nichts besonders lange in der IT unterwegs.
Jeder, aber auch jeder Hersteller hat so seine Probleme. Selbst ein einfacher Abakus kann mal klemmen.
Ich kenne das seit 30 Jahren so und davor war es auch nicht anders.

Ich habe gerade für 250k EUR HW eines großen Herstellers auf dem Tisch stehen und der verliert beim Booten ab und zu mal die Netzwerkkarte.
Und der Hersteller testet und validiert das vorher alles.

Wer damit nicht klarkommt, sollte evtl. überlegen, ob es nicht einfacher wäre, mit einer Harke in den Wald zu gehen und dann dort den Wald zu harken. Aber Vorsicht, auch die Harke kann sich mal verhaken oder der Stil kann mal abbrechen.

Es geht bei einem "guten" Hersteller nicht darum, dass er 100% fehlerfrei ist, sondern dass sich das im Rahmen hält und wie er mit Fehlern umgeht.
Und das man bei einer Fehlermeldung nicht sofort mit dem Finger auf die Ursache zeigt, ist auch normal. Das wird erst besser, wenn man den Effekt zum 1000. Mal hat und den noch im Vollsuff erkennt.
Es gibt keine 100% funktionsfähigen Systeme und damit sollte man dann auch klarkommen oder, wie gesagt, den Job wechseln.

 

[flxmmr]

Und bei den Alternativen meldet sich im Zweifel niemand, woran es liegt/lag.

Das war der Punkt . Supermicro weiß seit 2 Jahren von dem Problem, unser mittelgroßes Systemhaus kam da aber nicht auf uns zu.

Was isn daran lustig?

Das hier Leute umherlaufen, die Supermicro abfeiern "Teilweise besser als alles was sonst am Markt ist.". Meinen Erfahrungen nach sind die (und die assoziierten Systemhäuser, die tlw. noch nichtmal in der Lage sind, Dinge, die man spezifiziert anzubieten) einfach die gleichen Kapitalisten wie woanders auch. Verkaufen halt über den Preise und ich würde sagen, an manchen Stellen merkt man es dann auch .

Ich kenne das seit 30 Jahren so und davor war es auch nicht anders.

Jo. Sagte ich auch.

Und der Hersteller testet und validiert das vorher alles.

Ich sagte auch, dass das woanders nicht anders aussehen wird. I.d.R. braucht man dann eben einen Supportvertrag. Den hat der TE leider nicht und bei den Dingen, die Probleme machen, hilft das Forum vmtl. auch eher gar nicht.

und wie er mit Fehlern umgeht

In unserem Fall (samplesize=1) - ggü. dem Systemhaus abstreiten, dass ein Fehler besteht und dann ein bisserl weiter oben im Support am nächsten Tag einräumen, dass die Hardware hin ist. Finde ich persönlich alles andere als gut. Eigentlich würde man da eine Mail erwarten... Und ja, ein Absturz einmal im Monat ohne Logs ist halt ein bisserl nervig.

Es gibt keine 100% funktionsfähigen Systeme und damit sollte man dann auch klarkommen oder, wie gesagt, den Job wechseln.

Damit komme ich klar, ich finde es allerdings reichlich seltsam, wenn man auf Hardwarefehlern, die Nodes unter Last manchmal crashen lassen, sitzen bleibt. Wenn das das Beste am Markt ist (was ich nicht beurteilen kann), dann wird sehr bald ein Zeitpunkt kommen, an dem wir alle wieder an die Harke dürfen, weil der Müllhaufen (Illustration für Software im Link) zusammenbricht .

 

[Thokar]

Vielleicht solltet ihr das "Systemhaus" wechseln...

 

[Bierjpg]

Das "Systemhaus" hat Garnichts mit dem Hersteller zu tun. Support kann ich persönlich auch nicht beurteilen.
Allerdings ist meine Erfahrung mit Supermicro Mainboards besser als mit allen anderen.
Einbauen, Bootreihenfolge (evlt Uhr) einstellen, rennt.
Natürlich kenne ich nicht jedes Mainboard von Supermicro / allen anderen Herstellern am Markt. Und evlt hat es sich in der letzten Zeit gewandelt.

Auf jedenfall lief bisher alles was ich von denen hatte verdammt gut. Wobei ich dazu sagen muss, dass ich nicht immer mit dem neusten vom neusten unterwegs bin. Ich habe hier z.b. seit Jahren Supermicro Xeons auf 771 am laufen. Und wie will man einen Hersteller besser beurteilen als daran, was seine Hardware 10 oder 20 Jahre später macht?

 

[flxmmr]

Vielleicht solltet ihr das "Systemhaus" wechseln...

Vielleicht. Waren aber immerhin die einzigen, die auf die Anforderung "RDMA-fähiges 40G+ Ethernet mit Switch" nicht irgendwelche Intel-10G-Karten reingeworfen haben...

@Bierjpg: ja, wie du habe ich ein Einzelfall-Beispiel gebracht . Nachdem es sich bei Dir offensichtlich um den Einzelfall-Einzelfall handelt auch noch unser andere Fall: ein 3.5a altes 4-Wege-Board (also eigentlich für die Leute, die das vmtl. länger laufen lassen, weil Scale-Up und alte Prozesse) hat sich mit geplatzten Kondensatoren verabschiedet. Drin waren Xeon Gold 6134, also nichts, was die 2kW-Netzteile auslastet. Und das hatte ich im übrigen bewusst nicht gebracht, weil das eben ein Einzelfall ist. Hingegen 2a auf dem Hardware-Bug zu sitzen ist... interessant.

Und wie will man einen Hersteller besser beurteilen als daran, was seine Hardware 10 oder 20 Jahre später macht?

Wenn das Teil 5a irgendwo im Rack durchhält, wird es auch bei Dir im Minilast-Betrieb durchhalten. Imho nicht sinnvoll und die eigentlichen Statistiken hat man nur, wenn man ein paar 100 davon betreibt. Und da glaube ich mit unserer Einzelfall-Expertise eher daran, dass das halt über den Preis läuft .