Die Suche nach der eierlegenden Wollmilchsau...

[Potz]

Oh, interessant. Aber scheint ja nur bei vereinzelten Core-i Modellen so zu sein, dass sie ECC unterstützen.. Typisch Intel

Bei C242/246 war es noch einfach. Celeron, Pentium, Core i3 und Xeon können ECC. Es mag Ausnahmen gegeben haben, aber soweit die Regel.
Bei C242/246 war es noch einfacher, aber weniger gut: Pentium/Xeon haben ECC (da den Pentiums aber die zusätzlichen 4 Lanes fehlen, sind viele Mainboards Murks).
Einen direkten Nachfolgechipsatz gibt es noch nicht, aber mit LGA1700 hat sich die Situation grundlegend verändert. Eine leicht zu merkende Regel ist mir hier nicht bekannt.

Hatte ich auch überlegt - Aber zusammen mit den Adapterkabeln auf SFF8643 ist das am Ende teurer als der Aufpreis -i auf -NT

Die Kabel sind doch genau die gleichen, oder nicht? Die AOC-SLG4-2E4T hat doch den gleichen Anschluss wie die Mainboards. Davon abgesehen hast du recht, dass die Karte teurer ist als der Preisunterschied zwischen den Mainboards.

 

[java4ever]

Die Kabel sind doch genau die gleichen, oder nicht? Die AOC-SLG4-2E4T hat doch den gleichen Anschluss wie die Mainboards. Davon abgesehen hast du recht, dass die Karte teurer ist als der Preisunterschied zwischen den Mainboards.

Das Problem ist, dass es zumindest original von Supermicro keine passenden Kabel gibt, um eine Karte mit SlimSAS mit einer SFF8643 Backplane zu verbinden.
SlimSAS auf SFF8643 gibt's von Supermicro nur gewinkelt, und das passt nicht in die Karten rein...

Man hätte dann die PCIe3.0 Variante (AOC-SLG3-4E4T) nehmen müssen, die hat OCulink. Da gibt es Kabel auf SFF8643, aber da läppern sich dann die Kosten

 

[Speeddeamon]

Spannender Fred.

Aber so ganz passt irgendwie nicht alles zusammen?

Was ist denn das Ziel des ganzen?
Ist das geschäftlich? Oder mehr oder minder Spieltrieb zu Hause?

Auf der einen dann Super doll Strom Sparen und so günstig wie möglich, aber 16+ Kerne mit mehreren NICS / HBAs (Wofür die noch? Wie sieht denn der Storage aus? Der ja bestimmt auch Strom ohne ende Frisst)
Dann auch noch 3Node Cluster und Option für 100G und 16Port 100G switch ist schon da, für wieviel? Was kostet so ein ding? Fünfstellig oder fällt das häufiger mal vom Laster bei dir? Eine GPU soll auch überall rein.

Komme da nicht ganz mit.

Wenns halt stabil laufen soll konfigurier nach deiner Leistungsanforderung und sch**** auf irgendwelche Stomsparoptimierung. Sorgt am Ende für mehr Probleme als Lösungen.

Ist alles etwas diffus...

 

[java4ever]

Was ist denn das Ziel des ganzen?
Ist das geschäftlich? Oder mehr oder minder Spieltrieb zu Hause?

Beides.
Hobby ist (mehr oder weniger) Beruf und so.

Auf der einen dann Super doll Strom Sparen und so günstig wie möglich, aber 16+ Kerne mit mehreren NICS / HBAs (Wofür die noch? Wie sieht denn der Storage aus? Der ja bestimmt auch Strom ohne ende Frisst)

Die Server *sind* Storage. Pro Kiste 8*14TB + 4x 1.92TB NVMe nach aktueller Planung

16Port 100G switch ist schon da, für wieviel? Was kostet so ein ding? Fünfstellig oder fällt das häufiger mal vom Laster bei dir?

Ebay Profi und so
Die kleinen 100G Switche hab ich zusammen mit einem Geschäftspartner aus Kanada importiert für um die 1000€ pro Stück.
Meine 32-Port 100G Tomahawk 2 switche lagen bei $500 pro Stück.

Wenns halt stabil laufen soll konfigurier nach deiner Leistungsanforderung und sch**** auf irgendwelche Stomsparoptimierung. Sorgt am Ende für mehr Probleme als Lösungen.

Irgendwo muss man halt den Kompromiss finden, sonst könnte ich da auch drei dicke Dual Socket Kisten aus dem Cluster umfunktionieren. Braucht dann halt 200W IDLE pro Kiste.

Komme da nicht ganz mit.

Ist alles etwas diffus...

Die Ziele und was alles an Software drauf laufen soll steht im Ursprungspost

 

[Potz]

Man hätte dann die PCIe3.0 Variante (AOC-SLG3-4E4T) nehmen müssen, die hat OCulink. Da gibt es Kabel auf SFF8643, aber da läppern sich dann die Kosten

Da wäre es ja im Zweifelsfall sinnvoller neue Backplanes zu kaufen. Ohnehin kommt mir das sinnvoll vor solange du die teuren Kabel nicht schon hast.

 

[java4ever]

Da wäre es ja im Zweifelsfall sinnvoller neue Backplanes zu kaufen. Ohnehin kommt mir das sinnvoll vor solange du die teuren Kabel nicht schon hast.

Die kosten leider auch richtig Asche.
BPN-SAS3-LA26A-N12 wäre die richtige - ca. 300€ pro Stück.

 

[Speeddeamon]

Beides.
Hobby ist (mehr oder weniger) Beruf und so.

Aber ist damit nicht automatisch wie hier im Forum häufig geschrieben die "Bastelei" außen vor?

Heißt oberste Prio ist Leistung/Features und Zuverlässigkeit.
rest dann nachgelagert?

 

[sch4kal]

MZ32-AR0 aus ebay + Delock 90077 Karte und du bist immer noch günstiger als ein H12SSL-NT.
Damit sparst dir passenderweise auch gleich die Backplane, außer die NVMe müssen unbedingt von vorne erreichbar und hot-pluggable sein.

Idle-Verbrauch reiche ich für meinen noch nach, ist aktuell noch im Aufbau.

 

[Potz]

MZ32-AR0 aus ebay + Delock 90077 Karte und du bist immer noch günstiger als ein H12SSL-NT.
Damit sparst dir passenderweise auch gleich die Backplane, außer die NVMe müssen unbedingt von vorne erreichbar und hot-pluggable sein.

Verstehe ich nicht. Die Karte macht doch das gleiche wie der große Bruder der angesprochenen AOC-SLG4-2E4T, nur halt ohne Retimer, was einerseits Strom spart, andererseits aber dazu führen kann, dass PCIe 4.0 nicht stabil oder gar nicht möglich ist. Wo ist da jetzt der Unterschied, der die Backplane einspart?

Edit: Ah ich sehe, dass Kabel dazu gehören. Ändert aber trotzdem nix, da es solche Kabel auch von Supermicro gibt. Da die 2U Rackgehäuse auch eh gesetzt sind, bringt die Herangehensweise mit solchen Kabel allerdings nur Nachteile. Man muss die SSDs ja auch irgendwo unterbringen.

Edit2: Der Preis ist verrückter Weise sogar leicht höher als bei Supermicro trotz des "fehlenden" Retimers.

 

[sch4kal]

Verstehe ich nicht. Die Karte macht doch das gleiche wie der große Bruder der angesprochenen AOC-SLG4-2E4T, nur halt ohne Retimer, was einerseits Strom spart, andererseits aber dazu führen kann, dass PCIe 4.0 nicht stabil oder gar nicht möglich ist. Wo ist da jetzt der Unterschied, der die Backplane einspart?

Edit: Ah ich sehe, dass Kabel dazu gehören. Ändert aber trotzdem nix, da es solche Kabel auch von Supermicro gibt. Da die 2U Rackgehäuse auch eh gesetzt sind, bringt die Herangehensweise mit solchen Kabel allerdings nur Nachteile. Man muss die SSDs ja auch irgendwo unterbringen.

Edit2: Der Preis ist verrückter Weise sogar leicht höher als bei Supermicro trotz des "fehlenden" Retimers.

Achso, ne das war nur als Beispiel gedacht. Evtl. setzt er dann ja doch nicht mehr auf das SM Case, sondern vielleicht ein noch günstigeres oä.

 

[java4ever]

Evtl. setzt er dann ja doch nicht mehr auf das SM Case, sondern vielleicht ein noch günstigeres oä

Die SM Cases sind, wie erwähnt, schon vorhanden

Zudem sind die günstigen Cases allesamt Kernschrott

 

[Potz]

Was spricht eigentlich dagegen die Rear-Windows zu tauschen und auf das H12SSW-iNL zu setzen? Die Kosten wegen der Riser? Mir gefällt die Flexibilität des WIO-Konzepts bzgl. FHFL und der Stromverbrauch sollte geringer sein, weil das Board kein 10GBaseT aber 3x SlimSASx8 hat.

Wie ist das eigentlich mit einem Air-Shroud für das H12SSL-* in einem 2U Gehäuse das für EATX gebaut ist? Passen diese Universaldinger, die da in der Regel mitgeliefert werden? Ich hatte etwas Stress mit einem H12SSL-NT in einem CSE-514-R407W. Das H12SSW-NT(L) war nicht lieferbar und das Case ist für den Zweck perfekt. Beim H12SSW-iNL würde ich hoffen, dass das Shroud aus dem AS -2114S-WN24RT passt, auch wenn die Position nicht die gleiche ist.

 

[java4ever]

Was spricht eigentlich dagegen die Rear-Windows zu tauschen und auf das H12SSW-iNL zu setzen? Die Kosten wegen der Riser?

Ich hab sogar noch irgendwo WIO Rear Windows mit ggf. passenden Risern

Das Board hatte ich auch eruiert, aber ich habe etwas Bedenken zwecks Wiederverkaufswert. H12SSW werde ich wohl schwierig jemals wieder loskriegen.

Wie ist das eigentlich mit einem Air-Shroud für das H12SSL-* in einem 2U Gehäuse das für EATX gebaut ist? Passen diese Universaldinger, die da in der Regel mitgeliefert werden? Ich hatte etwas Stress mit einem H12SSL-NT in einem CSE-514-R407W. Das H12SSW-NT(L) war nicht lieferbar und das Case ist für den Zweck perfekt. Beim H12SSW-iNL würde ich hoffen, dass das Shroud aus dem AS -2114S-WN24RT passt, auch wenn die Position nicht die gleiche ist.

Supermicro sagt der MCP-310-82603-0B würde passen.

 

[tolga9009]

Hallo Tolga,

kannst du Auskunft über deine BIOS Einstellungen geben? Habe aktuell:
H12SSL-i + EPYC 7302 + 4x 32gb DDR4 + 7x 80mm default Supermicro Lüfter + 2x NVMe SSDs + Supermicro AOC-STGN-i2S ~4-10W (2x 10G SFP+) mit power draw dafür aber die onboard LAN's via Jumper deaktiviert. Aktueller Idle mit einem clean debian ~220W lt. powertop aber >99% in C2...
Denke jetzt nicht, dass der Epyc 7252 so viel weniger idle als der 7302 hat, vermute eher irgend einen Hardwarefehler aktuell...

Solche Werte kriege ich bei mir unter 100% Last. Vorweg muss man sagen, dass die 80mm Supermicro Lüfter natürlich auch Strom fressen können. Wenn das die Modelle mit 6000 - 7000RPM sind, sind die mit 12V 1.1A gerated, also max. 13W pro Lüfter. Bei 7 Lüfter kann sich das schon addieren, erklärt aber den großen Unterschied zwischen ~50W vs. ~220W nicht. Auch wenn deine Lüfter vllt. nicht mit maximaler Geschwindigkeit laufen, laufen die im "Standard" Fan Profil (50% PWM) dann immernoch mit ~3000RPM, mit "Optimized" Fan Profil (30% PWM) wären es entsprechend weniger. Die Einstellung findest du im IPMI. Sollte nochmal paar Watt rausholen.

Im BIOS habe ich alles auf Standard, bis auf CSM Support -> Disabled und Boot -> UEFI Boot. Ich vermute schon fast, dass dein Netzwerkadapter ASPM nicht unterstützt - das lässt sich herausfinden, wenn du die Ausgabe von "sudo lspci -vvv | grep -i aspm" postest. Wenn eine einzige Komponente ASPM nicht richtig unterstützt - kann auch mal eine Onboard Komponente sein - führt das leider dazu, dass ASPM dann standardmäßig global ausgeschaltet wird, was dazu führen kann, dass die CPU die tieferen Powerstates nie erreicht. Falls möglich, kannst du mal probieren, den Strom mit ausgebauter Supermicro Netzwerkkarte zu messen? Alternativ kannst du ASPM im aktuellsten BIOS auch unter Advanced -> PCIe Configuration -> ASPM forcieren. Aber: wenn eine Komponente ASPM nicht unterstützt und du das forcierst, kann das zu Problemen führen.

 

[benjaminflesch]

• BMC lässt sich per Jumper deaktivieren

@tolga9009 ich kann über Google-Suche leider keine Informationen darüber finden, wie das BMC des H12SSL per Jumper deaktiviert wird. Kannst du hierzu eventuell weitere Details teilen? Vielen Dank!

 

[Holt]

Ja das wäre interessant, denn in der Liste der Jumper im Handbuch finde ich ihn auch nicht:

Jumper Description Default Setting
UID SW Unit ID switch (push-button toggle switch ON/OFF) Off
JBT1 Clear CMOS Open (Normal)
JPG1 VGA Enable/Disable Pins 1-2 (Enabled)
JPS1 SAS Enable/Disable (H12SSL-C & H12SSL-CT only) Pins 1-2 (Enabled)
JWD1 Watch Dog control Pins 1-2 (Reset)
JPL1 LAN Enable/Disable Pins 1-2 (Enabled)
JCFG1 JNVMe0/SATA0~7 Swtich (H12SSL-i & H12SSL-NT only) Pins 1-2 (SATA)/Pins 2-3 (NVMe)
JCFG2 JNVMe1/SATA8~15 Swtich (H12SSL-NT only) Pins 1-2 (SATA)/Pins 2-3 (NVMe)
JUID UID Switch Header