AM5 ECC-Server – Erfahrungen auch ggf. im Vergleich zu AM4/Intel

[HansBohne]

Hmmmw was micht am B650M-CT etwas stört ist dass es im BIOS so weit ich das im Handbuch gesehen habe kein SMI gibt und auch die Event Logs wohl auch keine ECC Fehler protokollieren - da hätte ich den grossen Verdacht, dass in dem Boards zwar ECC Rams laufen aber die ECC Funktionalität nicht genutzt wird.

 

[MrWahoo]

Also, im Handbuch steht die Einstellung, ECC-Funktion zu aktivieren schon explizit drin, zudem gibt es wohl die folgende Einstellung:

Advanced > AMD CBS > UMC Common Options -> DDR Options > DDR RAS -> Disable Memory Error Injection

Zum B650M-CT finde ich leider keine explizite Bestätigung, aber eben generell für viele ASUS-Boards mit dem selben BIOS-Handbuch.

 

[MrWahoo]

Zum eigentlichen Topic passend:
Habe gerade etwas überrascht gesehen, dass ein ASRock Rack B650D4U3-2L2Q/BCM seit gestern in den Preisvergleichen aufgetaucht ist. Nicht ganz günstig, aber wenn man auf 2x SFP gehen will, gar nicht so daneben. Juckt mich schon schwer, muss ich sagen

 

[pwnbert]

25g sfp onboard sind zwar geil, aber imho problematisch wegen der Switch-Sache, imho eine Preis und Leistungs/Lautstärken Region, in der man von "heimtauglich" recht weit weg ist, insofern hat man vom Onboard da nicht so viel (zudem die 25g sfp NICs ja relativ günstig sind, auch neu, um 160€ ist man dabei https://geizhals.at/mellanox-connec...t-host-management-mcx4121a-acat-a2380368.html ).

Ich finde die PCIe Slot Konfiguration schlecht. Die PCIe 4.0x4 und 4.0x1 Slots sind ja elektrisch in Ordnung, mechanisch aber auf die gleiche Größe begrenzt, was imho ein Problem ist. Alle sinnvollen NICs (okay, die kann man sich hier sparen), HBAs etc. sind x8 Karten, die dann nicht passen, obwohl die elektrische Anbindung allemal ausreichend wäre. Die 2 kommen auch nicht von der CPU, also passthrough wsl. eher problematisch?
Inwiefern ein einzelner M.2 5.0x4 auf so einem Board tatsächlich sinnvoll ist (und das als PCIe Slot nicht besser gewesen wäre), naja.

Für mich ist das Board nicht so interessant, wenn ich genauer hinsehe. Liegt aber bestimmt auch an meinem "mixed use usecase".

 

[MrWahoo]

Wenn ich an die 100G-Fraktion hier denke, sind SFP28 ja wohl mittlerweile normal hier
Aber nein, man muss ja auch nicht deshalb zwangsweise die ganze Netz-Infrastruktur auf 25G umrüsten, 10G-SFP+ ist ja auch kompatibel und das ohne zusätzliche Karte. Daher finde ich das tatsächlich spannend, denn da sehen wir ja mittlerweile immer mehr Switches und Router für den (ab-)gehobenen SOHO-Bereich. Mich würde das in meiner Planung für nächstes Jahr tatsächlich voll abholen. Da rechne ich aber natürlich auch mit einem (kleinen) Rack und werde einen CRS309-1G-8S+IN dazu einplanen.

Bei der PCIe-Konfiguration bin ich bei dir, das ist halt der Nachteil der AM5-Plattform. Allerdings sehe ich auch wie du, dass man sich ja zumindest die NIC spart. Blieben einige Optionen mit Adaptern oder Risern. Aktuell habe ich allerdings auch nur ein 1 HE Gehäuse da, sollte ich das weiter verwenden wollen, würde das sowieso so bleiben.

 

[pwnbert]

Joa, aber die Sache ist ja, dass privat diese "Uplink"-Sache eigentlich uninteressant ist.
Bei dem ganzen Enterprise-Kram hast ja viele "langsame" Ports und dann wenige schnelle für die Verbindung von Knotenpunkten etc...

Privat ist das ja anders, da will ich ja eine schnelle Verbindung zwischen meinen 1-3 Haupt-Clients, meinem NAS/V-Host und ggf. Backupserver.
Da hab ich ja keine "Engstelle" die durch die vielen Zugriffe der unterschiedlichen Clienten entsteht, wo ich dann die schnelle Verbindung brauche.

Insofern braucht man privat imho (natürlich je nach dem) eher eine überschaubare Anzahl gleich schneller Ports - der CRS309 ist da z.B. ganz passend, dazu dann noch so ein 1-2xSFP+ +8-16x1/2,5GbE (um kleineren Kram ans Netz zu hängen).
Insofern seh ich da (noch länger) keinen Platz für 25gig, auch wenn es natürlich interssant ist, NICs, Transceiver und Kabel recht "billig" sind... 25gig geht imho nur von NIC zu NIC halbwegs kosteneffizient... also den Hauptrechner direkt ans NAS hängen und/oder direkt an den Backupserver. 4 PCIe 3.0 Lanes reichen immerhin um eine 25gig Verbindung ordentlich zu befeuern , 4 PCIe 4.0 für beide, so rechnerisch zumindest... man braucht halt nen mechanisch längeren Slot, aber mit 4 Lanes elektrisch läuft das schon.

Na wie auch immer, soll nicht groß das Thema sein... wollte halt nur auf die Sache mit den 25gig hinweisen.

das ist halt der Nachteil der AM5-Plattform.

Jein, mein Asrock B550 Riptide (als gutes Beispiel) hat das ganz fein gelöst.
Zu haben sind hier nur 4 PCIe 3.0 lanes, entweder läuft der mittlere Slot mit 4 Lanes oder die 3 Slots laufen mit 1/2/1 Lanes... aber überall sind längere Karten steckbar.
Ist natürlich nicht die große Bandbreite, aber besser als nix, und für irgendwelche "einfacheren" Karten reicht das ja allemal aus - besser die Bandbreite etwas begrenzt als man bekommts gar nicht rein.
Das MC12L0 hat ja auch nen offenen PCIe 4.0x4 Slot, wo man entsprechend längere Karten reinbekommt.

... insofern hätte man das schön schöner lösen können hier.

Aktuell habe ich allerdings auch nur ein 1 HE Gehäuse da, sollte ich das weiter verwenden wollen, würde das sowieso so bleiben.

Ja klar, wahrscheinlich weht der Wind daher... die HEs im Rechenzentrum möglichst kompakt zu halten, insofern braucht man so ein kleines Board (damit das NT noch daneben hin passt) mit dem Kram onboard.

Als Home User ist es ja eher interessant gleich auf 4 HE zu gehen, weil man dann flexibel den großteil seiner ATX Hardware verwenden kann... Insofern sind für mich auch eher Full-Size-ATX Boards interessant, welche es aber aus diesem Server-Bereich kaum gibt (kaum mit Desktop-Sockeln), da ist auch einfach mehr Platz um die PCIes schön "auszubreiten", wie es für uns Home-User fein wäre.

 

[MrWahoo]

Insofern braucht man privat imho (natürlich je nach dem) eher eine überschaubare Anzahl gleich schneller Ports - der CRS309 ist da z.B. ganz passend, dazu dann noch so ein 1-2xSFP+ +8-16x1/2,5GbE (um kleineren Kram ans Netz zu hängen).

Ja, das beschreibt mein Vorhaben ziemlich genau. Daher wäre das B650D4U3-2L2Q auch recht passend, finde ich. NAS und Server mit 10 GBit/s hatte ich schon vor.

Jein, mein Asrock B550 Riptide (als gutes Beispiel) hat das ganz fein gelöst.
Zu haben sind hier nur 4 PCIe 3.0 lanes, entweder läuft der mittlere Slot mit 4 Lanes oder die 3 Slots laufen mit 1/2/1 Lanes... aber überall sind längere Karten steckbar.
Ist natürlich nicht die große Bandbreite, aber besser als nix, und für irgendwelche "einfacheren" Karten reicht das ja allemal aus - besser die Bandbreite etwas begrenzt als man bekommts gar nicht rein.
Das MC12L0 hat ja auch nen offenen PCIe 4.0x4 Slot, wo man entsprechend längere Karten reinbekommt.

Ja, das stimmt. Leider sehe ich das bei allen Server-AM5-Boards aber so. Nur das Supermicro kann dank zwei x16-Slots da etwas mehr Spielraum bieten. Das MC13-LE1 hat ja sogar nur zwei Slots insgesamt.

Als Home User ist es ja eher interessant gleich auf 4 HE zu gehen, weil man dann flexibel den großteil seiner ATX Hardware verwenden kann... Insofern sind für mich auch eher Full-Size-ATX Boards interessant, welche es aber aus diesem Server-Bereich kaum gibt (kaum mit Desktop-Sockeln), da ist auch einfach mehr Platz um die PCIes schön "auszubreiten", wie es für uns Home-User fein wäre.

Auf jeden Fall. Gibt da auch günstig sehr gute Gehäuse, daher bin ich mir auch noch nicht sicher, wie ich planen will.
Aktuell habe ich eben ein 813MFTQC-350CB2 wo das Gigabyte MJ11-EC1 werkelt. Schon geil, aber im Grunde brauche ich auch die externen Laufwerkseinschübe nicht unbedingt...

 

[pwnbert]

Was ich mitbekommen hab, kann man die CPU-PCIe Lanes schön alle einzeln "Durchreichen", bei den Chipsatz-Lanes & Geräten hat man immer die IMMOU-Gruppen-Katastrophe.
Das ist wohl auch einer der bedeutenden Unterschiedungspunkte zwischen Desktop und Server Hardware...

Das kann man aber nur nach genauerer Betrachtung sagen, das mit den IMMOUs wsl. meistens überhaupt erst nach ausführlicher Testerei.

Musst halt überlegen was du willst, dir vorher bissl nen Plan machen, das mit der eierlegenden Wollmilchsau ist nicht so einfach (ist es schon, einfach nen dicken Epyc kaufen).

 

[pwnbert]

Ich wärme hier mal auf, es gibt Neues.

Und zwar können die neuen Asrock B850 Bretter nun offenbar ECC, zu testen wäre es noch, Geizhals listet das aber so, im Manual steht es ebenfalls und bei AM4 hat das funktioniert wenns im Manual gestanden ist. Ich gehe also davon aus, dass wir hier ECC bekommen.

ASRock B850 LiveMixer WiFi ab € 206,90 (2025) | Preisvergleich Geizhals Österreich

✔ Preisvergleich für ASRock B850 LiveMixer WiFi ✔ Produktinfo ⇒ Formfaktor: ATX • Sockel: AMD AM5 (LGA1718) • Chipsatz: AMD B850 • CPU-Kompatibilität: Ryzen 7000 , Ryzen… ✔ AMD Sockel AM5 ✔ Testberichte ✔ Günstig kaufen

geizhals.at

Um 200€ gibts ein B850 Brett, dem ich eine gewisse Sparsamkeit gegenüber X670/870(E) vorhersagen würde.
2x M.2 (1x 5.0/ 1x 4.0) auf der CPU
1x PCIe 5.0x16 CPU, Bifuricaton müsste man checken, wenn alle AMD üblichen Kombinationen (speziell x8x4x4 / x4x4x4x4) gehen, wäre das super.
1x M.2 am Chipset (bzw 2x mit dem shared)
2x PCIe 4.0x4 (im x16 mech. Slot) am Mainboard (oder 1x PCIe und 1x M.2, einer der Slots ist geshared)
2,5 Gbit Realtek ist besser als sein Ruf

(Bildquelle Geizhals.at)
Zu checken wäre halt noch, ob die IMMOU Verteilung taugt.

Etwas meh ist, dass die beiden PCIe 4.0x4 Slots auf der Southbridge hängen, sich also die PCIe 4.0x4 Chipsetanbindung zur CPU teilen. Für unsere Home-User-Tätigkeiten sollte da aber ausreichend sein, ein großer HBA sollte trotzdem eine 10gbit NIC auslasten können mit dieser Bandbreite.

Ob man mit dem USB etwas macht oder nicht, ist ein anderes Thema. USB imho erstaunlich gut für Passthrough auf Proxmox geeignet, die C-Stecker sind auch gar nicht so schlecht. Imho könnte man damit schon eine SSD, NIC oder so an eine VM geben.

=> Insgesamt interessant, da die Zen 4/5 CPUs ja eine iGPU haben und ECC können. Mit nem NanoKVM dran wird daraus eine runde Sache und man ist auch das fehlende IPMI los (ist nicht ganz das gleiche, für daheim aber allemal gut).

Man würde also ein System bekommen mit:
- 6-16 Zen 4/5 Cores (ausreichend VRM für alles, PBO / CO etc. sollte ja alles verfügbar sein auf dem Brett)
- DDR5 UDIMM ECC (leider recht teuer) 96gb zuverlässig, Vollbestückung müsste man halt etwas austesten
- bis 7x M.2 (6x an der CPU mit ner Hyper-Card, 1x Chipset)
- 2x PCIe 4.0x4 (x16) für ne dicke NIC + HBA (9400-16i sind leistbar und sparsam)


Ich denke, das Live-Mixer ist eine tolle Basis um einen Homeserver mit richtig Power zu bauen, der auch von den Schnittstellen und Features her nicht so beschränkt ist.
Ich selbst benötige die Leistung gar nicht und bin mit dem 5750G / 128gb RAM noch überversorgt und muss erstmal die Software so hinbekommen, wie ich will... Hardwarelimit hab ich keins.

Wenn jemand gerade überlegt einen etwas leistungsfähigeren AM5 Server zu bauen, wäre das imho ein interessantes Konzept...
... vielleicht ist mein Brainstorming-Output hier ja für jemanden nützlich.