AM5 ECC-Server – Erfahrungen auch ggf. im Vergleich zu AM4/Intel

[eehm]

Hallo,

ich habe mir aufgrund des Preises ein Gigabyte Mainboard MC12-LE0 zugelegt.
Leider musste ich feststellen, dass RAM und CPU für das Alter doch noch sehr teuer sind. Somit ist es ggf. doch sinnvoll nochmals über die „gesetzte“ Plattform nachzudenken.

Für mich persönlich ist IPMI nicht so wichtig und somit denke ich, dass folgendes Board ggf. eine gute Basis sein könnte.

ASUS ProArt B650-Creator

Es wäre trotz vieler PCIE Slots nicht so teuer.
Auch die CPUs sind nicht so teuer und man könnte sich zwischen Ryzen 7000/8000 oder gar den Epyc 4004 austoben.

Hat schon jemand Erfahrungen zu der AM5 Plattform in Verbindung mit ECC-RAM?
Gibt es größere Nachteile gegenüber AM4?
Wie sieht der Stromverbrauch aus?
Mich interessieren hier einfach eure Gedanken bzw. Erfahrungen.

Wenn man mehr Geld für das Board in die Hand nimmt, dann wäre auch folgendes denkbar.

ASRock Rack B650D4U

Hier dürften dann wahrscheinlich fast keine Wünsche mehr übrig bleiben.
Allerdings ist man dann preislich vom Board schon ziemlich abschweift und wäre schon bald bei Sockel 1700.

Hier gäbe es dann folgendes als Beispiel für Intel und Sockel 1700:

Supermicro X13SAE-F

Ist aus eurer Sicht die Intel 1700 Plattform der AM5 überlegen?
Hat hier ggf. schon jemand Erfahrungswerte im Serverbereich insbesondere zum Stromverbrauch?

 

[p4n0]

Heyho,
ich nutze das von dir angesprochene Board mit samt einer 7945PRO CPU seit ca Anfang des Jahres.
Es sind aktuell 4x32GB ECC installiert. Laeuft alles einwandfrei.

Meiner Meinung nach ist die 'Entry AM5' Server-Sparte bzw. die Workstation-Dinger dem 1700er Pendants von Intel deutlich ueberlegen.
Du hast ECC und die deutlich modernere CPU(Architektur).
Stromverbrauch im Idle wird hoeher sein. Habe meinen Schrank im Server-Vorstellungsthread inkl. Stromverbrauch dokumentiert.

Mit meinem Netzwerkkram liege ich irgendwo bei ~130w im Idle.
Was absolut i.O. ist fuer die Power, die man geboten bekommt.

Ich wuerde auch wieder auf diese Plattform gehen da zukuenftig noch weitere AM5 CPUs kommen koennen und auch die RAM-Obergrenze bis 192GB geht.
Damit laesst sich auch im ambitioniertem Homelab was reißen.

 

[eehm]

ich nutze das von dir angesprochene Board mit samt einer 7945PRO CPU seit ca Anfang des Jahres.

Cool, redest du jetzt vom ASUS ProArt B650-Creator oder ASRock Rack B650D4 ?

Gibt es bei deinem verwendeten Boards irgendwelche Fallstricke in Bezug auf Passthrough oder ähnlichem?

Stromverbrauch im Idle wird hoeher sein. Habe meinen Schrank im Server-Vorstellungsthread inkl. Stromverbrauch dokumentiert.

Hast du hier ggf. einen Link, weil leider finde ich es nicht!

 

[besterino]

Äh... 130W im Idle hatte ich nichtmal mit nem Epyc-SP3-System mit 256GB RAM, ConnectX-4, 13 NVMe SSDs, 8 SATA SSDs und 5 laufenden VMs....? Mein aktuelles MC12-LE0/5950X-System kommt auch gerade mal auf 75W mit 4RAM-Sticks, ConnectX-5 (oder war's 6? Vergessen...), 4 NVMe und 2 SATA SSDs. Gegenprobe: anderes MC12-LE0-System mit 5600G, nur einem Ramriegel und einer SATA-SSD liegt selbst mit 430W-ATX-Standardnetzteil im idle bei 18W.

Was zur Hölle machst / misst Du da?

 

[eehm]

Was zur Hölle machst / misst Du da?

Er meint glaube ich seinen Schrank, wenn er da z.B. zu einem großem Gigabit PoE-Switch noch einen 10 Gbit Switch hat und ggf. noch ne Firewall als Eigenbau, dann braucht das Zeug auch einiges an Strom. So habe ich ihn verstanden.

 

[besterino]

aaaaaah, ok. Das mag hinkommen. Der Netzwerkschrank (ohne jeden PC) ist bei mir auch der größte Stromfresser... bitter eigentlich. Ich hatte Netzwerkkram als etwaige Netzwerkkarten im/am Rechner verstanden.

 

[eehm]

Ja, leider ist das so, dass das Zeug auch einiges an Strom frisst.
Aber jetzt weiter im Thema, hat hier ggf. noch jemand Tipps oder Erfahrungswerte zu AM5 bzw. Sockel 1700 mit ECC.

Und wo ist bitte bei AM5 der Unterschied zwischen PRO und nicht PRO CPUs?

• Ryzen 9 7900
• Ryzen 9 7900X
• Ryzen 9 PRO 7945

Den einzigen Unterschied den ich sehe ist beim PRO: Fernwartung (DMTF Dash) hat der wohl .....
Aber das kann doch nicht der einzige Unterschied sein oder?

 

[BobbyD]

Aber das kann doch nicht der einzige Unterschied sein oder?

Warum nicht? AM5 besteht nicht ausschließlich aus Ryzen 7000.

 

[Holt]

Und wo ist bitte bei AM5 der Unterschied zwischen PRO und nicht PRO CPUs?

• Ryzen 9 7900
• Ryzen 9 7900X
• Ryzen 9 PRO 7945

Die PRO sind APUs, mir wäre jedenfalls keine CPU mit dem PRO Zusatz bekannt. Auch wenn die CPU seit AM5 jetzt auch eine iGPU im I/O Die haben, ist der größte Unterschied, dass die APUs ein monolithisches Design sind, während die CPUs eben das Chiplet Design mit getrenntem I/O Die und CPU Chiplets besitzen und damit eine höhere Idle Leistungsaufnahme. Bei den meisten APUs war es auch immer so, dass nur die PRO Modelle wirklich eine ECC RAM Unterstützung haben, während dies bei den CPUs mit Chiplet Design wohl immer der Fall ist. Vorsicht, bei AM4 gibt es auch CPUs die in Wahrheit APUs mit deaktivierter iGPU sind und daher keine ECC Unterstützung bieten, daher würde ich vor dem Kauf der CPU dazu raten genau zu schauen, ob sie auch wirklich eine ECC RAM Unterstützung hat. Die ECC UDIMM RAM Riegel werden auch ohne eine ECC Unterstützung durch die CPU oder das Mainboard laufen, aber die zusätzlichen Bits Datenbreite die ECC RAM ausmachen, DDR4 hat mit ECC 72 statt 64 Bit Datenbreite und DDR5 ECC RAM wegen der Subchannels sogar 80, hängen dann in der Luft und RAM Fehler können trotzdem nicht erkannt oder korrigiert werden.

 

[eehm]

Die PRO sind APUs, mir wäre jedenfalls keine CPU mit dem PRO Zusatz bekannt. Auch wenn die CPU seit AM5 jetzt auch eine iGPU im I/O Die haben, ist der größte Unterschied, dass die APUs ein monolithisches Design sind, während die CPUs eben das Chiplet Design mit getrenntem I/O Die und CPU Chiplets besitzen und damit eine höhere Idle Leistungsaufnahme.

• Ryzen 9 7900
• Ryzen 9 7900X
• Ryzen 9 PRO 7945

Ich habe mir bei AMD jetzt mal die Specs angesehen:

https://www.amd.com/en/products/processors/desktops/ryzen/7000-series/amd-ryzen-9-7900.html

https://www.amd.com/en/products/processors/desktops/ryzen/7000-series/amd-ryzen-9-7900x.html

https://www.amd.com/en/support/downloads/drivers.html/processors/ryzen-pro/ryzen-pro-7000-series/amd-ryzen-9-pro-7945.html

Das wichtigste zuerst:
Scheinbar können alle drei ECC, da bei allen steht "Yes (Requires mobo support)"

Bei 7900 und 7900X ist der Package Die Count = 3 und beim PRO 7945 Package Die Count = 2 somit schein der zusätzliche Die die I/O zu sein.
Also muss eigentlich auch hier die APU am sparsamsten sein, wobei das ohne Test auch nicht 100% sein muss ......

 

[BobbyD]

@eehm Es gibt keine Monolithen mit mehr als 8 Kernen bei AMD, da musst Du für AM5 wie gesagt bei den 8000ern vorbeischauen.

 

[Trambahner]

So ist es, es gibt derzeit nur die 8600G Pro und 8700G Pro als Monolithen mit ECC. für AM5 Beides aber Zen4-Generation noch; dafür können sie AV1 in Hardware encoden.

 

[Holt]

Die Count = 2 somit schein der zusätzliche Die die I/O zu sein.

Ja, da steht ja auch:
Processor Technology for CPU Cores: TSMC 5nm FinFET
Processor Technology for I/O Die: TSMC 6nm FinFET

Der hat also auch einen I/O Die, aber den hatte ich auf AMDs Plattform nicht gefunden, der Link den google geliefert hat, war leider tot.

Beides aber Zen4-Generation

Das ist der PRO 7945 ja auch. Zen5 ist ja auch gerade erst diesen Monat auf den Markt gekommen und der Aufpreis der CPUs gegenüber den Vorgängern steht noch in keinem Verhältnis zu Mehrleistung.

 

[BobbyD]

Zen5 erinnert mich stark an alter Wein in neuen Schläuchen.

 

[p4n0]

Cool, redest du jetzt vom ASUS ProArt B650-Creator oder ASRock Rack B650D4 ?

Gibt es bei deinem verwendeten Boards irgendwelche Fallstricke in Bezug auf Passthrough oder ähnlichem?

Hi,

ich nutze das https://www.asrockrack.com/general/productdetail.asp?Model=B650D4U-2L2T/BCM#Specifications

Passthrough von Onboard-Devices war mir unter ESXi 7 + 8 nicht moeglich. (IOMMU ist im BIOS nicht konfigurierbar)
Bifurication gibt's bei dem BIOS auch nicht, kA ob das jemals kommt.
ESXi 8 hatte sogar Purplescreens wegen dem broadcom LAN Chip onboard. Soll mal jemand verstehen wie das moeglich ist

Ansonsten alles unauffaellig.

Beitrag automatisch zusammengeführt: 22.08.2024

Hast du hier ggf. einen Link, weil leider finde ich es nicht!

[Sammelthread] - HomeServer Vorstellung - Bilder + Kommentare

UGreen bietet ja sowas auch. Aber mit Preisen jenseits der 1000 Euro mit meinem 200€ Bastelding ja kaum zu vergleichen :-) Für die 200€ bekommt man auch 4x NVMes an nen N100 mit der entsprechenden Platine von CWWK (OEM von den China-PCs die man auf AliExpress findet)...

www.hardwareluxx.de

Das ist der Schrank. Idle war ziemlich genau 135w. Und da haengen noch 2 UBNT U7Pro APs dran.
Server wird irgendwo im Bereich ~60w liegen, wobei meiner quasi nie idled.
(1x HDD, 4xSSD)

 

[pwnbert]

Ist aus eurer Sicht die Intel 1700 Plattform der AM5 überlegen?

GVT-g/SSR-IOV der iGPU, sonst nicht.
Aber das könnte halt unter Umständen das Killerfeature sein.

Wobei ich sagen muss, dass ich noch nicht testen konnte, was VirGL kann, evtl. ist das oben genannte eh nicht nötig, wenn VirGL gut performed.

ASUS ProArt B650-Creator

Asus X670E TUF Wifi ... das finde ich interessant. Kann mächtig viel PCIe.
Wird halt nicht sparsam sein wegen dem vielen PCIe und dem PCIe 5.0 (kA. wie das ist, wenn mans nicht nutzt / auf 4.0 stellt).
In meinen Augen hat das Board aber eine gute Slot und PCIe Aufteilung.

 

[Trambahner]

Der Vorteil des X670E Tuf ist i.w. einmal gen3x4 und dass der gen4x4 nicht geshared ist mit dem M.2 . Dafür aber kein zweiter gen4x1 wie beim B650 Tuf.

Man kann natürlich noch gen5 auf dem gpu-Slot anführen, aber dessen Nutzen ist meiner Meinung nach eher übersichtlich noch.
Bifurcation auf vier gen5 SSDs brennt einem so ein Loch in den Geldbeutel und gen5-Bifurcation Karte dürfte schwierig sein.

Klar, die o.g. zwei vierer Slots können den Unterschied machen z.B. für Capture Karte, HBA, 10G Nic oder ähnliches.

 

[besterino]

gen5-Bifurcation Karte dürfte schwierig sein

Schwierig inwiefern? Finden/kaufen nicht so…

ASUS Hyper M.2 X16 Gen5 Card ab € 76,27 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für ASUS Hyper M.2 X16 Gen5 Card ✔ Bewertungen ✔ Produktinfo ⇒ Wandlung: PCIe -> M.2 PCIe • Host: 1x PCIe 5.0 x16 (male) • Ziel: 4x M.2/M-Key (PCIe 5.0 x4, 22110/2280/2… ✔ Adapter/Konverter ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[Trambahner]

Oh, nice. Ist ja immer noch der gleiche Grundaufbau wie bei der gen3 Version.
Muss aber dazu sagen, ich hatte noch nicht aktiv nach ner gen5 gesucht; war erstmal nur ne Annahme getroffen.
Aber ob das kleine Lüfterchen reicht, die Kühlplatte dann ausreichend und vor allem erträglich leise zu kühlen, wenn die SSDs gut Last haben?
Wir wissen ja: gen5 SSDs werden gerne mal sehr schnell sehr heiss.

 

[Sightus]

• Ryzen 9 7900
• Ryzen 9 7900X
• Ryzen 9 PRO 7945

[...]

Der Ryzen 9 7900X hat eine TDP von 170W.
Der Ryzen 9 7900 ist identisch zum 7900X, allerdings mit einer auf 65W festgelegten TDP und daher niedrigeren Taktraten.
Der Ryten 9 Pro 7945 ist die OEM-Version (imho nur Lenovo) vom 7900, ebenfalls mit 65W TDP, allerdings mit dem "Pro-Siegel", was die "AMD PRO technologies" beinhaltet. Zumindest in der Vergangenheit war das DASH-Support und garantierte ECC-Funktionalität, wenn das Board die CPU offiziell auflistet. Da gab es aber noch weitere Features, die aber nie so recht einleuchten wollten.

 

[p4n0]

Der Ryten 9 Pro 7945 ist die OEM-Version (imho nur Lenovo) vom 7900,

Dann haette ich meine ja nicht einfach so bei MF kaufen koennen, oder?

 

[eehm]

Ich habe jetzt viel gelesen zur RAM Bestückung mit DDR5.
Aktuell habe ich auch nur 64 GB im Server, aber jetzt sollen es 128GB werden.
Hier liest man ganz viel schlimmes, dass RAM nicht erkannt wird und Rechner bei Bestückung mit 4 Riegeln nicht Booten.
Ist das noch aktuell oder aus „frühen“ Zeiten?

 

[besterino]

@Trambahner ich hab die Asus Gen5 hier - tut und ist leise.

 

[Sightus]

Dann haette ich meine ja nicht einfach so bei MF kaufen koennen, oder?

Nur weil eine CPU von einem großen OEM angefragt/gewünscht und initial eventuell sogar exklusiv zur Verfügung gestellt wurde, bedeutet nicht, dass diese CPUs nicht auch den Weg in den regulären Handel finden können.

 

[pwnbert]

Oh, nice. Ist ja immer noch der gleiche Grundaufbau wie bei der gen3 Version.
Muss aber dazu sagen, ich hatte noch nicht aktiv nach ner gen5 gesucht; war erstmal nur ne Annahme getroffen.
Aber ob das kleine Lüfterchen reicht, die Kühlplatte dann ausreichend und vor allem erträglich leise zu kühlen, wenn die SSDs gut Last haben?
Wir wissen ja: gen5 SSDs werden gerne mal sehr schnell sehr heiss.

Wenn sich jemand 4 PCIe 5.0 SSDs für diese Karte leisten kann, kann er sich auch einen Custom (Wasser-) Kühler leisten.
Ich unterstütze gern in Konstruktion und Fertigung.

Beitrag automatisch zusammengeführt: 24.08.2024

Ich habe jetzt viel gelesen zur RAM Bestückung mit DDR5.
Aktuell habe ich auch nur 64 GB im Server, aber jetzt sollen es 128GB werden.
Hier liest man ganz viel schlimmes, dass RAM nicht erkannt wird und Rechner bei Bestückung mit 4 Riegeln nicht Booten.
Ist das noch aktuell oder aus „frühen“ Zeiten?

Ich würds einfach probieren, imho ist die Chance, dass es nicht geht, eher klein.
Machs halt so, dass sich das mit den 14 Tagen Rücktrittsrecht sinnvoll ausgeht.

Imho sind die Aussagen der ganzen 1337-Gamer mit Vorsicht zu genießen, da treffen oft (sinnlos) überhöhte Erwartungen auf unvollständige Skills.

Timings sind ja nicht so scharf bei den ECCs, beim Takt musst du halt schauen, wo du hin kommst.

 

[Haldi]

Zumindest in der Vergangenheit war das DASH-Support und garantierte ECC-Funktionalität, wenn das Board die CPU offiziell auflistet.

Ohhh...
Bedeutet das im Umkehrschluss das alle Boards die den 7945 offiziell unterstützen auch ECC Support haben?

Wenn sich jemand 4 PCIe 5.0 SSDs für diese Karte leisten kann

Naja die 150€ sind jetzt nicht alle Welt...

 

[eehm]

Kann ich bei DDR5 noch die Timings runter stellen, wenn er nicht läuft?
Meinte gelesen zu haben das ging da nicht mehr, weil alles selbst ausgehandelt wird.

 

[Trambahner]

Du kannst bei DDR5-Ram genauso Timings einstellen; kommt halt immer auf das Board an, was dort angeboten wird an Parametern.

Man muss aber aufpassen, dass die Parameter auch wirklich wirken (Stichwort Ram-Spannung am X570D4U.... da kommen immer 1,2V jedec-konform an, egal was Du im Bios einstellst. Ich meine beim X470D4U ist das auch so).

 

[Sightus]

Bedeutet das im Umkehrschluss das alle Boards die den 7945 offiziell unterstützen auch ECC Support haben?

Leider nein. Das garantiert - laut Supportanfragen - nur, dass die CPU erkannt wird und mit den richtigen Taktraten läuft. Das ist ein Problem seitens AMD, die den MoBo-Herstellern leider zu wenig Vorgaben machen, was solche BIOS-Features betrifft. Aber: selbt wenn ECC funktioniert (Concumer: Asus, AsRock, Business: AsrockRack, Gigabyte, SuperMicro), heisst das leider noch nicht, dass ECC-Fehler korrekt an das OS weitergeleitet werden.
Es gilt daher:
Board mit ECC-Suppport + AMD PRO-CPU + ECC Speicher ==> gute Chancen.

 

[eehm]

Board mit ECC-Suppport + AMD PRO-CPU + ECC Speicher ==> gute Chancen.

OK, das mit der PRO CPU war mir bekannt. Auch wie ich ECC prüfen kann, aber wie sehe ich bzw. teste ich, ob dem OS ECC Fehler gemeldet werden?