First Time EPYC

[Reenact5139]

Hallo Leute,

wie der Titel schon sagt überlege ich aktuell mir ein System auf EPYC Basis zusammenzustellen.
Mit der Hilfe von @java4ever bin ich jetzt auf folgende grobe Eckdaten gekommen:

• AMD EPYC 7302(p) 16 Kerner sollte völlig ausreichen
• Supermicro H12SSL-i version 2.0
• Fractal Design Define 7 (bereits vorhanden)

Eine CPU Mainboard Kombi bekommt man auf Ebay für ca 722 USD (https://www.ebay.com/itm/175369624997)

Verwendungszweck: NAS, VM Host, Container Host
Wegen der einfachen Wartung und vielen Empfehlungen ein NAS immer bare metal laufen zu lassen habe ich mich für den "L1Techs-HomeServer" Weg entschlossen.
Dieser lautet grob: TrueNas bare metal, Linux VM (Debian, Ubuntu Server od. ähnliches und darauf dann Docker) und ein bisschen Networking Modifikation damit ne Network-Bridge läuft.
(hier zum nachlesen: https://forum.level1techs.com/t/truenas-scale-ultimate-home-setup-incl-tailscale/186444)

wichtige Fragen die ich mir noch stelle sind:

• Onboard NIC ausreichend oder separat besser? plane 10G zu Unifi Switch
• je nach Drive Typ, Onboard Controller ausreichend oder separat besser?
• da ich das System möglichst auf low Power ausrichten möchte (€€€) stelle ich mir die Frage:
  lohnt es sich bei 24/7 Betrieb auf Dauer SSDs statt HDDs zu kaufen?
  Plane aktuell Storage im Bereich von 8-10TB also jz keine Unmengen
  Außerdem sollte man doch sowieso für Container SSDs haben od?
• Kann man auf Supermicro Boards auch andere Kühler z.B. von Noctua montieren?
  Hat zumindest bei meinem X11SSL-F nicht geklappt
• Wie viel und welchen RAM?
• Sonst irgendwas wichtiges was ich vergessen habe?

Bedanke mich im Voraus für jede Hilfe

 

[smoothwater]

Zum Kühler: Solange es Sockel SP3 ist, geht auch ein Noctua. Gibt zumindest welche. Jedoch kann es wegen der RAM-Riegel knapp werden. Die Dynatron kann man aber auch ganz gut runter regeln.

RAM soviel wie rein geht. Für TrueNAS wegen dem Cacheverhalten sowieso. In Verbindung mit 10GBit/s lieber 128 GB oder mehr einplanen.

Hier natürlich registered Module.

Zu den NICs: Man kann die meist auch direkt an VMs durchreichen. Zumindest meine Supermicro-Boards hatten sehr schön abgegrenzte IOMMU-Groups.

Bzgl. SSDs: Kommt drauf an, wie viel Last du an VMs verursachst. Nen gutes mirrored Stripe (quasi Raid10 in ZFS) ist bei großen HDDs auch nicht mehr so langsam. Ggf. dem Pool ne CacheSSD dazu geben. Da landen dann häufig angefragte Daten über den Neustart des Servers hinaus und beschleunigen den Start der VMs. Ich weiß nicht, wie das TrueNAS Scale handhabt, aber unter TrueNAS Core bringt das in Heimbereich mit überschaubarem Zugriffsmuster nicht soo viel. Lieber mehr RAM 😀

 

[Shihatsu]

Cache-SSD mit ZFS ist größtenteils Schwachsinn. Für bestimmte Dinge kann man das machen, dann muss man aber VIEL Geld investieren (Stichwort Optane). Entweder nimmt man eine Caching-SSD als L2ARC - da bringt erst dann was wenn der Ram komplett und dauerhaft dicht ist - read: Datenbanken oder ähnliches - und der RAM sollte das einfach nicht sein im Homelab. Oder man nimmt die SSD als ZIL, dann muss sie redundant und RATTENschnell sein. Beides bringt außerhalb Hochlastszenarien einfach verdammt wenig, dafür das es zusätzliche Komplexität rein bringt. @gea kann dir das bis in beliebige Tiefe runterbeten
Was ich an dem Board nicht mag ist: Entweder NVMe oder Mini-SAS. Hier kommt es also darauf an was für und wie viele Platten du anhängen willst.
Wenn du 10G gehen willst brauchst du eh eine NIC.
Vergiss das mit dem Low Power, ZFS und proxmox. Das wird nichts. Ein EPYC ist kein "Spielzeug". Ja, man kann ihn zu medium bringen, aber: ZFS schläft nicht. Container schlafen selten. Versprich dir hier nicht zu viel. Prinzipiell gilt natürlich, in allen Belangen: SSD > HDD - außer PReis und Platz Container und VMs würde ich immer auf einen NVMe-Mirror mit guten NVMes packen - also irgendwas mit (e)PLP - genauso das Betriebssystem selber, obwohl es da weniger wichtig ist als bei den VMs/Containern.
Kühler: Ich fahre das Vorgängerboard mit einem Dark Rock SP4 - geht also
RAM: MEHR! RAM! NOCH MEHR RAM! Und dann, wenn das erledigt ist: NOCH MEHR RAM DAZU! Seriously: Ram kann man nie genug haben.

 

[Nemetron]

Kannst du beschreiben warum du das H12SSL-i haben willst und nicht das -C oder -NT?

 

[sch4kal]

Kannst du beschreiben warum du das H12SSL-i haben willst und nicht das -C oder -NT?

Ist halt das „Kleinste“. Ohne 10GBase-T Onboard und ohne SAS Controller.

 

[Nemetron]

Ist halt das „Kleinste“. Ohne 10GBase-T Onboard und ohne SAS Controller.

Das NT kann zwei 10G Broadcom, aber was bringt das -C? Und wo und wie sehe ich den SAS-Controller?

Danke

 

[sch4kal]

Das NT kann zwei 10G Broadcom, aber was bringt das -C? Und wo und wie sehe ich den SAS-Controller?

Danke

 

[Nemetron]

Ach so, dann ist das klar. Leider sind dann die Produktbilder zu den Varianten nicht richtig und es werden oft die falschen Bilder verwendet. Also auch da aufpassen.

Beitrag automatisch zusammengeführt: 20.09.2023

Was sind eigentlich diese zwei hochstehenden Steckdosen? Eine Art SlimSAS?

Und was ist der "Chip" mit Kühler unten rechts? Weißt du das zufällig?

Edit: Der Block unten rechts muss auch zu den zwei miniSAS-Dosen gehören:

Dann ist alles klar.

 

[Speeddeamon]

Ob nun SAS oder SATA musst du wissen.

ich hab das H12SSL-i

war mit der CPU und dem RAM die günstigste Kombination:

[Sammelthread] - HomeServer Vorstellung - Bilder + Kommentare

Ist das ein Homelab oder (Semi)professionell zum Geld verdienen? Auf jeden Fall rein optisch ein schönes Setup 👍🏻 Beides ;)

www.hardwareluxx.de

Ich würde keine drehenden platten mehr kaufen.
Tus einfach nicht.
die 2 NVMes würde ich als gesetzt nehmen für OS und VMs

Speicher dann in menge und größe das es zu deiner Resiliency passt.
Ich habe 5 SSds per Sata und daraus ein RAID Z2 laufen für alles was an Daten so anfällt.

Mit den NICs musst du schauen.
du hast ja eine IPMI

die beiden Onboard NICS bei mir laufen im Team als MGMT für ProxMox
dazu dann 2 mal 2 Port 25G Nics welche für die Restlichen NEtze herhalten.

Rest der Ausstattung nach wahl.
M2 erweiterung habe ich auch am laufen.
Geht über Bifurcation ganz fantastisch.

Noctua CPU Kühler sind je nach Gehäuse eher mittelprächtig weil diese nicht parallel zum Luftstrom im Gehäuse sitzen.
Zumindest bei den 19 Zoll Cases. Muss nicht viel bedeuten. Aber optimum isses nicht.

Bei den SuperMicro Boards musst du dir einmal das guide für den IPMI PW reset reinziehen.
Das wirst du nicht bekommen.

 

[Nemetron]

Cool dein Server gefällt.

Hättest du den mal früher verlinkt. Genau die Kombi aus H12SSL-i mit genau dem 7352 stelle ich mir auch vor. Auch die SATA-Festspeicher der Samsung PM893 gefallen auch wenn drehende Scheiben wegen der höheren Kapazität plus Preis noch sein müssen.

Für welche Zwecke verwendest du deinen Server? Einfach ein NAS?

Edit: Beeindruckend, das auch eine RTX3070 Consumer passt, dann müsste meine RTX3070 FE auch passen.

 

[Speeddeamon]

Cool dein Server gefällt.

Hättest du den mal früher verlinkt. Genau die Kombi aus H12SSL-i mit genau dem 7352 stelle ich mir auch vor. Auch die SATA-Festspeicher der Samsung PM893 gefallen auch wenn drehende Scheiben wegen der höheren Kapazität plus Preis noch sein müssen.

Für welche Zwecke verwendest du deinen Server? Einfach ein NAS?

Edit: Beeindruckend, das auch eine RTX3070 Consumer passt, dann müsste meine RTX3070 FE auch passen.

aktuell läuft:
Valheim Server
TS
TP Link Omada Software Controller VM
NextCloud im Aufbau welche dann NAS Dienste ablöst welche derzeit das QNAP macht
MEdia Server neu im aufbau, wechsel von PLEX zu Jellyfin / Daher gpu
Spiele Streaming VM / daher GPU
Video Encoding VM / daher GPU

Zukünftig noch Home Assistant
Einige Testvms
und was weis ich was noch kommt

 

[Nemetron]

Und deine Internetverbindung? Ist es DSL oder Glasfaser? Wie kriegst du die Verbindung aufgebaut? Durch CGNAT oder dynamisches DSL ohne feste IP ist doch alles ärgerlich.

Beachtlich das man das alles auf Proxmox laufen lassen kann. Nehme dann Debian 12 oder Ubuntu-Server 23.04 (bald 10) und dann noch eine Docker-Engine drüber.

 

[Speeddeamon]

Habe das glück das Ich hier einen lokalen Glasfaser anbieter habe mit 400 Mbit synchron und für n 5er im MOnat on Top eine echte IPV4.

somit hängt meine OpnSense auch direkt am ONT.,..

 

[Nemetron]

Habe das glück das Ich hier einen lokalen Glasfaser anbieter habe mit 400 Mbit synchron und für n 5er im MOnat on Top eine echte IPV4.

somit hängt meine OpnSense auch direkt am ONT.,..

Aber dann zeig noch deinen OpnSense-Rechner? Hast da auch schon einen Faden oder etwas hochgeladen?

 

[Speeddeamon]

Aber dann zeig noch deinen OpnSense-Rechner? Hast da auch schon einen Faden oder etwas hochgeladen?

Ne dazu nicht.

Das ist ein Dell OptiPlex 7040 mit ebenfalls einer Broadcom 2port 25G nic nach intern per LAGG da diese das interne Routing macht.
Da ist ein i5-6500 drin und 16 GB ram.
und eine 256GB M2 SSD.

 

[Nemetron]

Hast du denn noch einen Standrechner und der hat auch so eine Broadcom-Karte?

Und wie sind die Broadcom-Karten verbunden? Kann ja auch nur Glasfaser sein? Welche SFP+-Module hast du genommen?

 

[Speeddeamon]

Hast du denn noch einen Standrechner und der hat auch so eine Broadcom-Karte?

Und wie sind die Broadcom-Karten verbunden? Kann ja auch nur Glasfaser sein? Welche SFP+-Module hast du genommen?

Ja hier sind mehrere Clients im Haus.
Die können dann per RJ45 10G
Da sind keine SFP Nics drin.
Die dicke Glas verkabelung ist nur im RACK da dort der Speed extra groß sein soll.

Wobei hier im forum ja manche schon 100G haben.
Da Fühle ich mich schon noch als kleine Leuchte

Habe als SFP module welche von Huawei (Ist mein Core Switch hier) und einige Mellanox.

 

[sch4kal]

Wenn du den Platz im Gehäuse hast, kannst dir noch das Gigabyte MZ32-AR0 anschauen. Gibts auf eBay für ~240 €. Passende 7282 CPU gibts gerade auf KA für 230 €.

...aber verabschiede dich schonmal von einem "Low Power" System, Epyc ist eine ausgewachsene Enterpriseplattform, die zwar auf Energieffizienz, jedoch nicht geringen "Idle" Verbrauch getrimmt ist.

 

[Flotho]

Was zieht die Kiste so aus der Steckdose?

 

[Kullberg]

Ich hab einige EPYCs im Dauerbetrieb.
Mobo würde ich nur neu aus Deutschland kaufen, Import aus USA oder China lohnt kaum.
Wichtig: bei der CPU muss "unlocked" oder "ohne vendor lock" dabeistehen - sonst kann das böse in die Hose gehen.
Wenn 10g NICs gefordert sind, würde ich ein Mobo wählen, was das mitbringt. Die Qualität ist einwandfrei.
Für viele Boards gut ist der Arctic Freezer 4U SP3 - ist aber z.Zt. nicht lieferbar.

 

[Nemetron]

Ich hab einige EPYCs im Dauerbetrieb.
Mobo würde ich nur neu aus Deutschland kaufen, Import aus USA oder China lohnt kaum.
Wichtig: bei der CPU muss "unlocked" oder "ohne vendor lock" dabeistehen - sonst kann das böse in die Hose gehen.
Wenn 10g NICs gefordert sind, würde ich ein Mobo wählen, was das mitbringt. Die Qualität ist einwandfrei.
Für viele Boards gut ist der Arctic Freezer 4U SP3 - ist aber z.Zt. nicht lieferbar.

Spannende Einsichten. Was bringt der "unlocked"? Hast du schonmal Firmware- oder UEFI-Updates draufgeblitzt?

Edit: Der Artic Freezer 50 TR sollte ebenfalls sehr gut sein, aber nochmals 10 cm höher. In ATX-Gehäusen sollte er passen:

Arctic Freezer 50 TR | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Arctic Freezer 50 TR ✔ Bewertungen ✔ Produktinfo ⇒ Bauart: Tower-Kühler (Dual-Tower) • Abmessungen mit Lüfter: 150x165x148mm (BxHxT) • Lüfter: 1x 120x120x25… ✔ CPU-Kühler ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[Kullberg]

Vendor Lock bedeutet, die CPU kann nur mit Systemen eines Herstellers verwendet werden - z.B. Dell. Solche CPUs laufen nicht auf anderen Mainboards und sind deshalb praktisch wertlos. Da kann man dann nichts machen, da die Codierung nicht umkehrbar ist.

Der Arctic Freezer 50 TR bläst in die falsche Richtung - wie auch die Noctuas. Die Noctuas passen allerdings. Aber dann ist eben der Airflow nicht von vorne nach hinten, wie es sein sollte.

 

[Nemetron]

Der bläst von oben dem Netzgerät oder Hauptplatinenende nach unten zu den Grakas. Seltsam, dass sowas konstruiert wird. Gut wieder was gelernt.

Und kaufst du nur die Supermicros oder sind Tyans auch zu empfehlen? UEFI-Updates sind auch unbedenklich bei den Dingern oder lieber mit Vorsicht diese wenn es geht vermeiden?

 

[Kullberg]

Tyans kriegt man nicht. Ich hab auch 3 Gigabyte Boards, bin damit aber nicht so wirklich zufrieden. 1 davon ist nach 1 Jahr gestorben, eins mit 2x So SP5 hat nicht mit 2 x EPYC 9654 funktioniert.

Edit: Noctuas sind für z.B. TRX40 Bretter gedacht, da ist der Sockel um 90° gedreht - da stimmt dann der Airflow.
UEFI Updates sind nicht ganz so komfortabel wie bei consumer Boards.

 

[Nemetron]

Die Tyans gibt es auch gebraucht bei Ebay, dann auch in Kombination mit gebrauchten Epycs. Bin aber davon auch nicht überzeugt und würde lieber beides neu von deutschen Händlern kaufen, leider kosten diese dann einiges mehr.

 

[Kullberg]

CPUs hab ich alle neu gekauft - überwiegend aus China mit Zoll-Stress, die So. SP5 Teile von nem Deutschen Händler - die wurden dann aus Polen geliefert.

 

[myBerg]

Was sind eigentlich diese zwei hochstehenden Steckdosen? Eine Art SlimSAS?

Anhang anzeigen 922732

Die beiden "hochstehenden Steckdosen" sind SlimSAS SFF-8654 8i Buchsen. D.h. da reicht eine Steckverbindung z.B. für 8 * SATA Anschlüsse oder 2 * SFF-8087 Mini SAS Backplaneverbindungen. Sowas z.B. https://www.amazon.de/gp/product/B09Q5GDFHZ
Wichtig ist das "8i" da es den Steckverbinder auch als schmale 4i-Ausführung gibt. Nicht verwechseln.
Das Bild zeigt die NT-Version mit 10G und ohne SAS-Chip (blauer Rahmen).

Bei der NT-Version des Boards kannst Du über pro Stecker auch 2 NVMe-Datenträger anstelle SATA anschließen.

Zu der NT-Version möchte ich noch sagen, dass man sich die nur dann holen sollten, wenn man die 10GBase-T wirklich braucht, da man den Netzwerkchip nicht physisch abschalten kann. Der schlägt mit 13 bis 16 W zu Buche. Verbaut ist beim NT ein Broadcom BCM57416, was ein sehr aktueller Chip ist, der auch auf der Broadcom NetXtreme E-Series P210TP Netzwerkkarte zu finden ist.

Wenn der Rechner heruntergefahren ist, benötigt er etwa 10 W. Das ist schon recht viel nur für den BMC-Betrieb. Mein KRPA-U16 benötigt die Hälfte. Als kleinstmöglichen Verbrauch habe ich bei mir (NT-Version) ~50W im Idle gemessen mit Epyc 7282, 128GB RAM und einer SSD. Unter Last und mit eingestecker IO wirds natürlich mehr. Dafür gibt es auch IO bis der Arzt kommt. Beispielsweise kann man bei allen PCIe-Slots die Bifurcation einzeln konfigurieren und könnte theoretisch 24 PCIe 4.0 NVMe Disks mit jeweils 4 Lanes allein über die PCIe-Slots versorgen. Und da sind die regulären Steckplätze / Anschlüsse noch nicht mitgezählt.

Etwas schwach bei Supermicro finde ich, dass man bei der Lüftersteuerung nur über ein Kommandozeilentool untere und obere Lüfterschwellwerte vergeben kann. Das ist schon recht unkomfortabel und wirkt etwas altertümlich. Im Rechenzentrum benötigt das vermutlich kein Mensch, aber im Homelab schon etwas meh. Asus kann das besser/bequemer.

Sowohl die CPU als auch die Boardpreise schwanken recht stark. Manchmal völlig absurd in jedwede Richtung.
Ich persönlich würde mir so ein System nur von einem regulären Händler kaufen. Aber muss jeder selbst wissen.

Zum Speicher kann man noch sagen, dass 8 Kanäle zur Verfügung stehen. Prinzipiell sind 8 DIMMs das Optimum. Siehe https://www.thomas-krenn.com/de/wik..._Milan_Arbeitsspeicher_Performance_optimieren . Aber selbst wenn man nur 4 DIMMs steckt, ist das immer noch die doppelte Bandbreite eines vergleichbaren Desktopssystems. Ich hab bei mir den hier verbaut: Samsung RDIMM 32GB, DDR4-3200, CL22-22-22, reg ECC (M393A4K40DB2-CWE)

 

[Kullberg]

Bei mir verbrauchen die Supermicro Rechner mit IPMI ausgeschaltet 6W, die Gigabyte 13W. Allerdings haben die SM Rechner 1G NICs, die Gigabyte 10G. Verbaut hab ich letztlich diesen RAM.

 

[Speeddeamon]

wenn ich das so sehe würde ich auf jeden fall beim sockel SP3 bleiben da durch mehr PCIE Slots deutlich höhere Flexibilität für Erweiterungen...

 

[Nemetron]

...
Wenn der Rechner heruntergefahren ist, benötigt er etwa 10 W. Das ist schon recht viel nur für den BMC-Betrieb. Mein KRPA-U16 benötigt die Hälfte. Als kleinstmöglichen Verbrauch habe ich bei mir (NT-Version) ~50W im Idle gemessen mit Epyc 7282, 128GB RAM und einer SSD. Unter Last und mit eingestecker IO wirds natürlich mehr. Dafür gibt es auch IO bis der Arzt kommt. Beispielsweise kann man bei allen PCIe-Slots die Bifurcation einzeln konfigurieren und könnte theoretisch 24 PCIe 4.0 NVMe Disks mit jeweils 4 Lanes allein über die PCIe-Slots versorgen. Und da sind die regulären Steckplätze / Anschlüsse noch nicht mitgezählt.

...

Vielen Dank für den ausführlichen und sehr guten Beitrag!

Kannst du noch einen Link bringen wie man von SFF-8087 MiniSAS zu 4 * SATA oder 4 * SAS kommt? Finde leider immer nur die miniSAS-Stecker zu den SATA/SAS, aber Stecker auf Stecker geht ja nicht.

Edit: Bei den Supermicro-Hauptplatinen gibt es unten rechts noch solche orangen SATA-Buchsen. Das sind wahrscheinlich dann sogenannte Management-Buchsen. Weiß einer was genau damit verwaltet werden kann?