[Kaufberatung] Epyc

[MisterY]

Hi,

Ich möchte mein R710 upgraden. Nach langem hin und her überlegen habe ich mich wohl für ein Supermicro H11 und einem Epyc 7232p entschieden mit entweder 2x 32gb oder 1x 64gb Reg ECC vorerst.
Hat hier jemand Erfahrung damit? Vor allem würde mich der Stromverbrauch interessieren. Laut servethehome 89W @ idle (im Power Modus) und 139W bei 70 %. Mein R710 mit 2x L5640 benötigt 97W im idle und 160 W bei 8% (kein Typo). Brauche ich unbedingt ein 2x6 Pin Netzteil? Wollte eigentlich mein BQ 500W aus der 11er Serie übernehmen.

Was mich so ein bisschen stört, ist die Sockelanordnung. Ein Towerkühler bläst somit gegen das Netzteil. Der Server soll in ein 4HE 19" Rack.

Muss ich noch was beachten?

 

[Brokk]

An was für einen Kühler hast du denn gedacht und an was fuer ein Gehäuse?

Kannst du den nicht so drehen das der Kühler nicht direkt ins Netzteil bläßt?

Was soll das Teil den leisten? Also was soll darauf laufen ?

Ich würd 2x 32GB benutzen...

Wegen den 2x6 Pin. bei Server Boards bin ich mir unsicher ... Ich meine mache Posten dann nicht. Kannst aber mit nem Y Adaper anschließen und testen obs geht.

Kommt sonst noch etwas in den Server?Also Zusatzkarten und HDD/SSDs?

 

[craxity]

Was sind das für 2x6 Pin?

 

[underclocker2k4]

Ich denke er meint die 8pin ATX aka EPS12.

Man sollte nicht vergessen, dass bei einer CPU der ein oder andere SATA/PCIe/NVMe-Port dunkel bleibt.

Außerdem die Frage, warum Towerkühler automatisch in Richtung Netzteil blasen?

Supermicro CPU Kühler SNK-P0064AP4

Supermicro CPU Kühler SNK-P0064AP4 jetzt im primeLine Online Shop kaufen.

www.primeline-solutions.com

Dieser bläst z.B. genau dahin, wo er auch hinblasen sollte, nach hinten.

Die Anordnung ist genauso auch richtig, da nur so ein sauber Luftstrom gewährleistet wird. Die Anordnung um 90° gedreht hat nur Probleme was den Luftstrom angeht, insbesondere bei flacheren Gehäusen.

 

[MisterY]

Ah den Supermicro-Kühler hatte ich nicht auf dem Schirm, ich dachte eher an Noctua. Aber der hier empfohlene ist natürlich besser
Ich werde wohl ein Single-CPU Board nehmen (wohl Asrock Rack) mit einem Epyc 7282. Ram evtl sogar 4*16GB, da Epyc wohl extrem von den mehreren Channels profitiert.

Was in den Server reinkommen soll:

• Quadro P620 (für LXCs (z.B. Jellyfin))
• GTX 1650 (Passthrough an eine Win Server 2016 VM für Videoschnitt und Gaming)
• 1* 250 GB SSD für OS (Proxmox
• 2* 500 GB EVO 860 und 2*1TB MX500 im ZFS striped mirror für LXCs bzw. als SSD-Speicher
• 6* 1 TB 2.5" HDD im Striped Mirror für Daten (habe zwar noch vier 2.5" 3TB CMR platten, die werden aber nicht mehr produziert und somit nicht ersetzbar im Falle eines Defektes. Deshalb kommen die dann in den Fileserver)
• 2* 500 GB NVME im striped mirror für VMs
• Dual-Gbit LAN Karte
• Netzteil: hmm wie viel W? 850 W? kann sein, dass irgendwann noch eine GPU dazu kommt (dann aber eine stärkere in Richtung RTX 3070)

Das war's eigentlich. Da das Board 10 G onboard hat, spare ich mir die Mellanox Connectx-2
Was drauf laufen soll:

• 2* Wordpress
• 2* Nextcloud
• Elasticsearch
• Grafana
• Wallabag
• Jellyfin
• Jupyter-Lab
• usw.

Mein R710 ist mit 24 Threads aktuell bei so 5-8 % Last die meiste Zeit. Aber hin und wieder wird Leistung gebraucht. Der Server soll mein "Rechenzentrum" werden, d.h. ich habe nur noch clients (RPi4, Laptops mit Linux), die sich mittels RDP/Moonlight/Parsec/Guacamole verbinden und alles läuft zentral auf diesem Rechner. Backups werden natürlich noch gemacht (dedizierter Proxmox-Backup Server).

 

[sch4kal]

Ich kann da nur die Asus KN/RPA-U16 Reihe empfehlen. Im Vergleich zu Asrock hast du 16 DIMM-Slots, um später mehr Luft für RAM-Upgrades zu haben ohne auf teuren LRDIMM oder 3DS DIMMs zurückgreifen zu müssen. Ich hatte vor etwa einem Jahr für das Board eine 25G Mezzanine Karte schießen können, für ~40 €. Ansonsten hat das Board genug PCIe und OCuLink Ports für sämtliche Vorhaben.
Bei mir steckt ein Noctua Kühler aus meiner Sig drauf, der bläst zwar nach oben, aber die hab die Drehzahl sehr weit runter reguliert sodass mehr Luftstrom von vorne nach hinten durch den Server geht, als der CPU-Lüfter nach oben bringen kann.

 

[MisterY]

Dafür hat das Board aber kein PCIe 4.0, weniger 16x Slots, die vom RAM in der Tiefe limitiert werden und der RAM kann nur 2666 MHz.

 

[sch4kal]

Dafür hat das Board aber kein PCIe 4.0, weniger 16x Slots, die vom RAM in der Tiefe limitiert werden und der RAM kann nur 2666 MHz.

Das KRPA-U16 kann sehr wohl PCIe 4.0, und DDR4-3200 (wobei das egal ist, Epyc ist ein SoC, und der Speichercontroller sitzt in beiden Lagern schon seit Gezeiten in der CPU).
Dafür hat das Ding 6 OCuLink, was 4 PCIe-Lanes je Anschluss entspricht. + ist Erweiterbar auf 12 OCuLink über eine Mezzanine Karte. Also mehr als Genug Lanes für einen All-NVMe-Flash Build.
Netzwerkkarten gibt es, wie gesagt, ebenfalls als Mezzanine Lösung, sodass man die übrigen PCIe Slots mit Grafikkarten oder sonstigem zustecken kann.

 

[underclocker2k4]

KRPA-U16 | ASUS Servers and Workstations

www.asus.com

2x PCI-E x16 (Gen3 x16) / 2 x PCI-E x8 (1xGen3 x8link+1xGen4 x8link);1xPCI-E x24 (Gen4 x16link+x8link)
1x OCP2.0Mezzanine(Gen4x16link)
Das ist die Ausstattung.
Also nicht vollflächig Gen4, bzw. primär über den Riserslot. also ggf. nicht wirklich zu gebrauchen.

 

[sch4kal]

KRPA-U16 | ASUS Servers and Workstations

www.asus.com

2x PCI-E x16 (Gen3 x16) / 2 x PCI-E x8 (1xGen3 x8link+1xGen4 x8link);1xPCI-E x24 (Gen4 x16link+x8link)
1x OCP2.0Mezzanine(Gen4x16link)
Das ist die Ausstattung.
Also nicht vollflächig Gen4, bzw. primär über den Riserslot. also ggf. nicht wirklich zu gebrauchen.

Jo es können nicht alle Slots PCIe 4.0, die Frage ist, was kann man mit boardweitem PCIe 4.0 alles anstellen ? Anständige Enterprise SSDs mit PCIe 4.0 Controller kosten noch ein sehr gutes Sümmchen. PCIe 5.0 steht direkt vor der Tür, ob man daher jetzt noch so großartig in PCIe 4.0 stecken sollte, weiß ich nicht. Außerdem hat er ja schon geschrieben was eingebaut werden soll, das ist alles noch PCIe 3.0 Kram. Das KRPA-U16 ist eben eins der günstigsten SP3 Boards. Laufen tun die auch großartig, im Gegensatz zum ASRock Rack ROMED8-2T z.B. https://geizhals.de/?sr=2284480,-1
Und 16 DIMM-Slots > 8 :P

 

[MisterY]

nichtsdestotrotz kann ich mir vorstellen, dass die Grafikkarten in der Länge sehr durch den RAM limitiert werden.

 

[sch4kal]

nichtsdestotrotz kann ich mir vorstellen, dass die Grafikkarten in der Länge sehr durch den RAM limitiert werden.

Deine P620 dürfte in P2 (vorletzter Slot) passen, der untere ist sowieso ein Full-Length Slot. Da passt auch ein langer Brummer rein.

 

[danielmayer]

@sch4kal: Was soll mit dem Rome-Board von ASRock nicht stimmen? Ich bin mit allen meinen ASRock &-rack sehr zufrieden, und zwar weit mehr als jemals mit Asus oder MSI.

 

[sch4kal]

@sch4kal: Was soll mit dem Rome-Board von ASRock nicht stimmen? Ich bin mit allen meinen ASRock &-rack sehr zufrieden, und zwar weit mehr als jemals mit Asus oder MSI.

Naja, die beiden Bewertungen auf Geizhals sprechen da eine andere Sprache. Hatte mit dem KNPA-U16 noch nie Probleme.

 

[Kullberg]

Bei einer Graka RTX 30x0 in einem Server Board gibt es zu bedenken: Nicht alle PCI-E x16 Slots sind Graka geeignet, können also genug Strom liefern - das muss man vorher eruieren. Und RTX 30x0 wollen gute single core Performance haben, sonst können die ziemlich lahm sein. Hab ich erlebt bei einem Xeon W-2123 (3,6 GHz, Turbo 3,9 GHz), da ist eine 3080 kaum schneller als eine 2080Ti. Und der Epyic ist da noch deutlich schlechter.

 

[MisterY]

Nagut, die GPU-Power, die ich verwende, hält sich in Grenzen. Ich nutze aktuell fürs Zocken eine GTX 1650. Ich bleibe auch in diesem P/L-Segment und werde vielleicht mal auf eine 3050 (Ti) umsteigen. Aber erstmal reicht mir die GPU aus, da ich alle Titel, die ich spiele, auf Ultra zocken kann (ich warte immer so 1-3 Jahre, bis die Spiele für 6,99 € in der Grabbelkiste landen )

Ich werde wohl das Asrock Rome-Board nehmen, bin mir aber bei der CPU noch absolut unschlüssig.
Ich schwanke aktuell zwischen:

CPU	Kerne/Threads	Takt	TDP	Preis
AMD Epyc 7252	8C/16T	3.10-3.20GHz	120 W	498,-
AMD Epyc 7272	12C/24T	2.90-3.20GHz	120 W	685,-
AMD Epyc 7282	16C/24T	2.80-3.20GHz	120 W	730,-

Bei dem Preisunterschied zwischen dem 7272 und 7282, würde ich natürlich dem 7282 dem Vortritt geben. Also geht es nur um 7252 vs. 7282.
Wenn ich mir das hier anschaue: https://www.servethehome.com/amd-epyc-7252-benchmarks-and-review/2/ ist der 7282 schon um einiges schneller (irgendwie keine Überraschung).
Der 7282 hat laut hier: https://www.servethehome.com/amd-epyc-7282-benchmarks-and-review/ einen Stromverbrauch von 113 W im idle (im Performance mode).

Was ich machen möchte: Meistens läuft der Server im Idle (ein paar Webserver), aber auch soll hin und wieder was Leistungsstarkes drauf laufen: Games und Videoencoding. Ich möchte, dass der Server mein "Rechenzentrum" wird, d.h. ich habe nur noch einen RPI4 auf dem Tisch und verbinde mich per RDP/Moonlight mit einer Win Server VM auf Proxmox, auch Remote übers Internet. Ich tendiere aktuell zum 7252 (wegen höherem Takt und wohl weniger Stromverbrauch?), habe aber Sorge, dass ich nach ein paar Wochen merke "Ach hättest du mal doppelt so viele Kerne geholt".
Was meint ihr? 7252 oder 7282? Sind ja auch mal eben 230 Taler unterschied für die Boxed-Version.

 

[craxity]

Der Turbotakt ist doch gleich. Dann dürfte die Single-Thread-Performance auch gleich sein. Der niedrigere Basistakt dürfte durch die doppelte Kernzahl mehr als ausgeglichen werden. Ich würde den 16-Kerner nehmen.

 

[MisterY]

Und wie sieht es mit dem Stromverbrauch aus?

wenn ich mir den Test vom 7232P anschaue, der bis auf den halben Cache ähnlich zum 7252 ist, liegt der Stromverbrauch etwa 30 W im idle, 92 W bei 70 % Last und 85 W unter 100 % Last unter dem 7282 (im Performance Mode).
Deshalb wird es wohl eher der 7252 werden. Aktuell bin ich mit einem i5-4590 im Desktop und mit zwei L5640 im Server Leistungstechnisch zufrieden, und da der 7252 doppelt so schnell wie meine beiden L5640 ist (24 threads), wird mir das denke ich reichen.
Was für ein Netzteil sollte ich nehmen? Reichen 850 W für 2 GPUs aus?
Ich habe noch ein BQ Straight Power E10 mit 400W und ein BQ Pure Power E11 mit 400 W. Kann ich die vorerst nehmen? Was in den Server neben Board und CPU rein soll:
4* RAM
2* NVME
7* SSD
4* 2.5" HDD
2* Wechselrahmen für 2.5"
8* Lüfter
Quadro P620
GTX 1650

Mein R710 mit 2* L5640, 3 SSDs, 4 2.5" HDDs, 1* NVME, einer Quadro P620, 5 Lüftern, einer H310 HBA und einer 10G NIC braucht max. 240 W. Da sollte das ja wohl reichen mit dem 400 W Netzteil vorerst, oder?

 

[MisterY]

Ich kann da nur die Asus KN/RPA-U16 Reihe empfehlen. Im Vergleich zu Asrock hast du 16 DIMM-Slots, um später mehr Luft für RAM-Upgrades zu haben ohne auf teuren LRDIMM oder 3DS DIMMs zurückgreifen zu müssen. Ich hatte vor etwa einem Jahr für das Board eine 25G Mezzanine Karte schießen können, für ~40 €. Ansonsten hat das Board genug PCIe und OCuLink Ports für sämtliche Vorhaben.
Bei mir steckt ein Noctua Kühler aus meiner Sig drauf, der bläst zwar nach oben, aber die hab die Drehzahl sehr weit runter reguliert sodass mehr Luftstrom von vorne nach hinten durch den Server geht, als der CPU-Lüfter nach oben bringen kann.

Nachdem ich gelesen habe, dass das ASRock Board mehrere Probleme hat (fehlende Lüftersteuerung, Probleme mit SATA Ports, Probleme mit IOMMU, fehlender TB header), schaue ich mich nach Alternativen um.

Kannst du mir sagen, wie tief die Grafikkarte sein darf, damit sie nicht mit dem RAM kollidiert? Was kann diese Mezzanine-Karte? Was für Anschlüsse gibt es für OCulink?