[Kaufberatung] Hardware-Upgrade für Proxmox-Server

[Skream]

Hallo zusammen,

da mein Proxmox-Homeserver so langsam aber sicher in die Jahre gekommen ist und ich ihn eh ausmisten und neu aufsetzen werde, möchte ich dem Server ein Hardware-Upgrade spendieren.

Aktuell verbaut:

• CPU: Intel Xeon E3 1230 V3
• Mainboard: Älteres C232-Mainbaord (Modell weiß ich gerade nicht auswendig)
• RAM: 4x 8GB DDR3 ECC-RAM
• Netzteil: be quiet! Pure Power 10 400W
• SSD (System): SanDisk 120 GB
• SSD (VMs und LXCs): SanDisk 1TB
• HDD: 2x 12TB WD Gold (Mirror)
• Gehäuse: Fractal Design Define Mini

Auf dem Server läuft derzeit Proxmox 8.1 mit folgenden VMs und LXCs:

• Jellyfin (LXC)
• Wordpress (LXC)
• AdGuard Home (LXC)
• Wireguard (LXC)
• Nginx Proxy Manager (LXC)
• TVHeadend (LXC)
• OpenMediaVault (VM)
• KaliLinux zum Rumspielen (VM)

Backups werden regelmäßig auf einem externen Proxmox Backup Server gespeichert.


Ich dachte mir nun, CPU, RAM, Mainboard und die System-SSD gegen folgende Komponenten auszutauschen:

• CPU: Intel Core i5 13500 (alternativ AMD: Ryzen 5 7600)
• Mainboard: ASUS Prime B760M-A (alternativ AMD: ASUS TUF Gaming B650M-E)
• RAM: Corsair Vengeance Kit 48GB (2x 24GB), DDR5-5200 CL40
• SSD: 2x Crucial P5 Plus 500GB (Mirror)

Die Intel-Variante wäre bei ca. 635 Euro, die AMD-Variante bei ca. 610 Euro. Damit wäre ich noch locker in meinem Zielbudget von ca. 700 Euro.

Die meiste Zeit „dümpelt“ das System im Idle herum (laut Proxmox-Summary im Bereich von 2-5% CPU-Auslastung), am meisten „Stress“ hat der Server wohl während der Backup-Jobs und wenn Jellyfin Medien vom OMV streamt. Daher wäre mir ein geringer Standby-Verbrauch schon sehr wichtig. Ich hatte mir auch überlegt, ob ein SoC-Mainboard wie das Supermicro A2SDi-8C-HLN4F eine gute und stromsparende Möglichkeit wäre, aber das kostet allein ja schon knapp 650-Euro, während die i5-B760-Kombi von oben mit gerade mal 400 Euro zu Buche schlägt. Außerdem wäre eine einigermaßen potente iGPU wie bei den Intel- und AMD-Prozessoren mit Blick auf die Nutzung von Linux-Distris mit grafischer Oberfläche vermutlich besser geeignet als die Onboard-Lösung auf dem Supermicro-Board.

Da ich die Festplatten ganz gerne innerhalb des Systems unterbringen und meine bestehende Hardware (Case, Netzteil, Lüfter) teilweise gerne weiterhin verwenden möchte, habe ich Thin Clients und Barebones erstmal ausgeschlossen.

Alternativ hätte ich mir noch eine AM4-Alternative mit einem Ryzen 7 PRO 4750G und einem ASUS TUF Gaming B550M-Plus überlegt. Allerdings hätte ich schon ganz gerne wieder ECC-RAM und da unbuffered ECC gebraucht gar nicht so leicht in der Größenordnung zu finden ist und DDR5 zumindest „On-Die“-ECC mitbringt, wären die o.g. AM5-/1700-Konfiguration kaum teurer als ein AM4-System mit unbuffered DDR4-ECC-RAM.

Daher meine Frage an euch: Sind in meine Überlegungen zu den Konfigurationen irgendwelche groben Schnitzer drin? Würdet ihr eher zum AMD- oder zum Intel-System tendieren oder hättet ihr ganz andere Ideen?

Vielen Dank im Voraus!

 

[wddn]

DDR5 zumindest „On-Die“-ECC mitbringt

On-die ECC ist das gleiche wie non ECC - also gar nichts…

4650G mit ECC und Gigabyte MC12 ist aktuell P/L technisch schwer zu schlagen

 

[Skream]

Hi,
vielen Dank schon mal für die Rückmeldung!
Das Gigabyte MC12 hatte ich bislang noch gar nicht auf dem Schirm, mit nur einem M.2-Slot ist es allerdings für mich erstmal raus .

 

[Frecyboy]

mit nur einem M.2-Slot ist es allerdings für mich erstmal raus

Das MC12-LE0 sollte Bifurcation können. Dann könntest du dieses Problem mit Adaptern lösen.
Bei Aliexpress sind die günstig zu erstehen, z.B. als x8x4x4. ~15€.

Habe das Board selbst hier liegen, muss mich aber noch für eine CPU entscheiden.

 

[wddn]

Oder Asus Hyper M.2 mit 4x4x4x4 bifurcation…
Und der NVME Slot auf dem MC12 ist nur PCIe3.0 x1 - perfekt für‘s OS… nicht so für schnelle SSDs

 

[Frecyboy]

Allerdings hätte ich schon ganz gerne wieder ECC-RAM und da unbuffered ECC gebraucht gar nicht so leicht in der Größenordnung zu finden ist

32GB DDR4 3200 CL22 UDIMM Riegel mit ECC gibt es für um die 70€ neu, ist das keine Option?

 

[Skream]

Danke euch beiden!

Mit dem Adapter wäre das schon eher eine Option.

Und der NVME Slot auf dem MC12 ist nur PCIe3.0 x1 - perfekt für‘s OS… nicht so für schnelle SSDs

Gerade fürs OS möchte ich zwei M.2-SSDs als Raid 1 / Mirror einsetzen, damit der Server weiterhin online ist wenn eine SSD mal aussteigt.

Da allerdings das MC12 sechs SATA-Ports mitbringt, überlege ich gerade, ob ich nicht einfach zwei 2,5-Zoll-SSDs (z.B. zwei WD Red SA500) fürs Betriebssystem nehme und mir die M.2-SSDs einfach spare. Platz für fünf optische Laufwerke hat mein Define Mini auf jeden Fall

DDR4 3200 CL22 UDIMM Riegel mit ECC gibt es für um die 70€ neu, ist das keine Option?

Uff, Schande über mein Haupt, da war ich wohl zu blöd bei Geizhals die richtigen Filter zu setzen . Du meinst vermutlich RAM wie diesen hier?

Kingston Server Premier DIMM 16GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/16MR) ab € 61,56 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Kingston Server Premier DIMM 16GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/16MR) ✔ Bewertungen ✔ Produktinfo ⇒ Typ: DDR4 DIMM 288-Pin, ECC • Übertragung: 3200MT/s (3200MHz effektiv - abgeleitet von 1600MHz I/O-Takt m… ✔ Speicher ✔ Testberichte ✔ Günstig kaufen

geizhals.de

 

[Frecyboy]

Du meinst vermutlich RAM wie diesen hier?

Genau. Je nach dem was du in Zukunft noch vor hast (z.B. ZFS mag RAM 😁), sind evtl. direkt 2x32GB eine Option, statt auf 16GB Module zu setzen.

Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/DIMM/mit ECC/nicht Load-Reduced/kein Registered Modul/Unbuffered Memory, Übertragungsrate ab 3200MT/s Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/DIMM/mit ECC/nicht Load-Reduced/kein Registered Modul/Unbuffered Memory, Übertragungsrate ab 3200MT/s

geizhals.de

 

[Skream]

Genau. Je nach dem was du in Zukunft noch vor hast (z.B. ZFS mag RAM 😁), sind evtl. direkt 2x32GB eine Option, statt auf 16GB Module zu setzen.

Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/DIMM/mit ECC/nicht Load-Reduced/kein Registered Modul/Unbuffered Memory, Übertragungsrate ab 3200MT/s Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Arbeitsspeicher (RAM) Speicher mit Typen: DDR4/DIMM/mit ECC/nicht Load-Reduced/kein Registered Modul/Unbuffered Memory, Übertragungsrate ab 3200MT/s

geizhals.de

Danke dir, ja besser wäre es ...

Somit wäre meine aktuelle Zusammenstellung:

• CPU: Ryzen 7 PRO 4750G (kostet derzeit nur etwa 30 EUR als der kleinere 4650G)
• Mainboard: Gigabyte MC12
• RAM: 2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC
• SSD: 2x Crucial P5 Plus 500GB
• SSD-Adaper: ASUS Hyper M.2

EDIT: Noch eine blöde Frage: Kennt jemand einen leisen Luftkühler, den man auf AM4 um 90 Grad gedreht verbauen kann? Wenn ich das richtig sehe ist beim MC12 der Sockel um 90 Grad gedreht und mein innerer Monk rebelliert vehement, wenn ich einen Kühler im Gehäuse "von unten nach oben" pustend montieren würde, während der Airflow "von vorne nach hinten" durchs Gehäuse zieht

 

[wddn]

Es kann sein dass der 4750G nur 8x4x4 bifurcation kann, d.h. 3x NVME
Nicht-APUs können 4x4x4x4

Als Recovery würde ich dir eher einen PBS empfehlen als ein RAID1 für OS… Ein restore eines funktionierenden Backups ist schnell gemacht…
Das Risiko eines Software Fuckups ist m.E. Größer als die eines SSD Defekts

 

[Trambahner]

Es kann sein dass der 4750G nur 8x4x4 bifurcation kann, d.h. 3x NVME
Nicht-APUs können 4x4x4x4

Das ist richtig so.

APUs ab den Zen2/4000ern: x16 , x8x8 , x8x4x4
Non-APUs auch x4x4x4x4

 

[Rarity]

Sockel AM4: CPU-Kühler Noctua NH-D9L kann um 90° gedreht eingebaut werden.
Ich habe den NH-D9L in einem 19" Servergehäuse verbaut (Strömungsrichtung aller Lüfter im Gehäuse ist von vorne nach hinten lüftend).

Bei Hauptspeicher in DDR4 würde ich 32GB Einzelmodule empfehlen (für RAM Ausbau Möglichkeit auf Maximum von 4x 32GB = 128GB), kleinere RAM-Einzelmodule würde ich nur für vorab genau abgegrenzte Anwendungsfällen nehmen.
Bevorzugt Typ ECC-RAM wenn CPU und Mainboard dies auch unterstützen.

 

[Skream]

Als Recovery würde ich dir eher einen PBS empfehlen als ein RAID1 für OS… Ein restore eines funktionierenden Backups ist schnell gemacht…
Das Risiko eines Software Fuckups ist m.E. Größer als die eines SSD Defekts

Backups über einen externen PBS laufen eh schon . Es ging mir nur darum, die Verfügbarkeit sicherzustellen im Falle eines SSD-Ausfalls. Aber eigentlich stimmt es schon, sollte die SSD ausfallen, wäre eine neue ja schnell bestellt und eingerichtet, 2-3 Tage ohne Server wäre zwar ätzend, aber kein Weltuntergang.

Sockel AM4: CPU-Kühler Noctua NH-D9L kann um 90° gedreht eingebaut werden.
Ich habe den NH-D9L in einem 19" Servergehäuse verbaut (Strömungsrichtung aller Lüfter im Gehäuse ist von vorne nach hinten lüftend).

Bist du hier wirklich sicher? Laut der Montageanleitung (https://noctua.at/pub/media/blfa_files/manual/noctua_nh_d9l_manual_de_web_3.pdf) sind beim NH-D9L zwar kurze Montagebrücken dabei, allerdings scheint der komplette Kühler wiederum um 90 Grad gedreht zu sein, sodass die Strömungsrichtung dann wieder nicht stimmt. Oder hab ich da gerade eine Denkblockade?

Bei Hauptspeicher in DDR4 würde ich 32GB Einzelmodule empfehlen (für RAM Ausbau Möglichkeit auf Maximum von 4x 32GB = 128GB), kleinere RAM-Einzelmodule würde ich nur für vorab genau abgegrenzte Anwendungsfällen nehmen.
Bevorzugt Typ ECC-RAM wenn CPU und Mainboard dies auch unterstützen.

Daher hab ich auch auf 2x 32GB umgestellt, danke

 

[Rarity]

Siehe hier ....

Bild: CPU-Lüfter Noctua NH-D9L auf einem AM4 Consumer MB und 3 Stk. Middle-fans vom 19" Gehäuse (rechts)
Strömungsrichtung aller Lüfter im Gehäuse war von vorne nach hinten lüftend.

CPU Ryzen Pro 5850G auf MB Asus Pro WS-X570 ACE, 4x32GB DDR4 ECC (Kingston KSM32ED8/32HC), Gehäuse Intertech 4U-4416, OS: Proxmox, Einsatz als VM-Testserver sowie Gaming-VM.
Das Consumer MB wurde damals als Notlösung angeschafft, da (für Luftströmung optimierte) Server-MB nicht lieferbar waren.

Leider etwas verstaubt wegen Nichtbenützung während Wohnungsumbau, benötigt Grundreinigung mit Tücher und Druckluft-Spraydosen bevor der Server in sein neues 19" Rack darf .. dafür gibt es dort LWL als Verbindungsmedium.

 

[Skream]

CPU Ryzen Pro 5850G auf MB Asus Pro WS-X570 ACE, 4x32GB DDR4 ECC (Kingston KSM32ED8/32HC), Gehäuse Intertech 4U-4416, OS: Proxmox, Einsatz als VM-Testserver sowie Gaming-VM.

Vielen Dank! Aber ich glaube genau hier haben wir das Problem . Beim Gigabyte MC12 ist der Sockel (wenn man die externen Anschlüsse linksseitig betrachtet) der Länge nach horizontal ausgerichtet, bei deinem ASUS-Board dagegen vertikal. Das spiegelt sich auch in den RAM-Bänken wider, die beim MC12 "nördlich" des Sockels und bei deinem ASUS-Board "östlich" des Sockels liegen.

Im Endeffekt werde ich vermutlich einfach einen Noctua-Kühler kaufen und bei Noctua das entsprechende Mounting-Kit für eine um 90 Grad gedrehte Montage anfragen

 

[Rarity]

Vielen Dank! Aber ich glaube genau hier haben wir das Problem . Beim Gigabyte MC12 ist der Sockel (wenn man die externen Anschlüsse linksseitig betrachtet) der Länge nach horizontal ausgerichtet, bei deinem ASUS-Board dagegen vertikal. Das spiegelt sich auch in den RAM-Bänken wider, die beim MC12 "nördlich" des Sockels und bei deinem ASUS-Board "östlich" des Sockels liegen.

Das MC12-LEO ist vom Design her ein Serverboard
Das X570-ACE ist vom Design her ein Workstation-Board (WS hat deutliche Verwandschaft zu Consumer-MB was Layout und OnBoard-Komponenten angeht)

Server-MB haben typischerweise RAM-Riegel in Luftströmungsrichtung positioniert, meist ober- und unterhalb des/der CPU-Sockel (Kurzfassung: die physikalische Begründung dafür, warum Server-MB alle Komponenten luftströmungsoptimal positioniert haben ist möglichst gute Wärmeabfuhr, damit Server dauerhaft möglichst hohe Leistung erbringen kann)

Consumer-MB hatten bei Einführung des ATX-Standards (laut Wikipedia war ATX 1.0 in 1996) geschätzt ca. 100-250W Leistung und daher wenig Durchlüftung nötig, bei der Ausrichtung der RAM-Riegel hat man sich einfach an der natürlichen Thermik (warme Luft steigt nach oben) orientiert, deshalb dort vertikale Ausrichtung der RAM-Speicher.

Seit rund 20+ Jahren halten sich Motherboard-Hersteller im Allgemeinen an diese Ausrichtungen von RAM-Sockeln auf Mainboards, wobei aber anscheinend kein Standard/Designguide/Specification die exakte Platzierung der RAM-Sockel am MB vorgibt. (Wer möchte kann z.B. im kurzen Absatz von ATX Standard 2.2 Punkt 3.3.6 "Memory sockets" schmökern )

(Text nachträglich editiert um Erklärung zu verbessern.)

 

[Skream]

Mittlerweile konnte ich die entsprechenden Halterungen für eine 90-Grad-Montage direkt bei Noctua ordern, hat soweit auch geklappt. Jetzt warte ich nur noch darauf, dass DPD endlich mal das Mainboard liefert...

Noch eine kurze Frage zur RAM-Konfiguration: Bei Consumer-Boards sind die RAM-Slots üblicherweise in der Reihenfolge (vom Sockel weg) A1 / A2 / B1 / B2, für Dual-Channel-Betrieb nutzt man nahezu immer A2 / B2, meist sind die RAM-Slots ja auch gleich eingefärbt (also A1 / B1 und A2 / B2). Wie sieht das denn beim Gigabyte MC12 aus? Im Handbuch sind die Slots mit A0 / A1 / B0 / B1 beschrieben, wobei hier A0 / A1 und B0 / B1 gleich eingefärbt sind. Im Handbuch ist zwar beschrieben, dass das Mainboard vier RAM-Slots hat und Dual Channel unterstützt, jedoch nicht, welche beiden Slots konkret für den Dual-Channel-Betrieb bei der Nutzung von zwei RAM-Modulen genutzt werden sollen. Der Logik von Consumer-Boards folgend wäre das A1 / B1, der Farb-Logik folgend aber eher A0 / A1 oder B0 / B1. Hat da jemand von euch eine Idee?

 

[Rarity]

Das "Gigabyte MC12-LE0 rev1.x" Motherboard-Handbuch (User Manual v1.0) ist hier wirklich diesbezüglich nicht so informativ.
Dagegen erscheinen stichprobenartig die Asus/ASRock MB-Handbücher ausreichend detailiert beschrieben zu sein.

A (blau) und B (schwarz) sind die verschieden eingefärbten Speicher-Kanäle am MC12 MoBo. Für Dual-Channel muss auf beiden Kanälen der gleiche Steckplatz mit DRAM bestückt sein, also müsste es am MC12-LE0 dort A1+B1 Steckplatz sein (momentan keine Lust auf Experimente).
Den der CPU am nähesten gelegen DRAM-Steckplatz bezeichnet Gigabyte im Handbuch mit "A0".

Dual-Channel heißt ja nur, das ein datenverarbeitender Prozessor (z.B. CPU) gleichzeitig Daten über zwei, voneinander separat angesprochene, Speicherkanälen vom RAM geliefert bekommt.
Wobei ich mir sicher bin, das das MB mit nur 2 identischen DRAM ebenso auch A0+B0 abkönnen muss.

 

[ebniv]

Was macht das neue Build?

Gerade fürs OS möchte ich zwei M.2-SSDs als Raid 1 / Mirror einsetzen, damit der Server weiterhin online ist wenn eine SSD mal aussteigt.

Da allerdings das MC12 sechs SATA-Ports mitbringt, überlege ich gerade, ob ich nicht einfach zwei 2,5-Zoll-SSDs (z.B. zwei WD Red SA500) fürs Betriebssystem nehme und mir die M.2-SSDs einfach spare.

Ich wäre immer geizig mit den PCIe Lanes, wenn es nicht unbedingt not tut eine NVME ein zu bauen.

Das MC12-LE0 sollte Bifurcation können. Dann könntest du dieses Problem mit Adaptern lösen.
Bei Aliexpress sind die günstig zu erstehen, z.B. als x8x4x4. ~15€.

Im Thread zum Board wird dieser Adapter als halbgare aber funktionierende Frickellösung beschrieben (schlecht maßhaltig). Ich hab aber trotzdem mal einen geordert über ebay und werde ihn dann in ein paar Wochen testen. Warum? Ein NVME Mirror wollte ich für VMs haben und den unteren Slot frei halten für eine Netzwerkkarte. Mit dem Adapter habe ich dann die Freiheit 8x oder 4x4x irgendwann zu belegen (weitre NVME, GPU, Sata Controller oder was das Serverleben so noch bringt) und blockiere nicht direkt alle Lanes.

 

[the.smoky]

Mittlerweile konnte ich die entsprechenden Halterungen für eine 90-Grad-Montage direkt bei Noctua ordern, hat soweit auch geklappt. Jetzt warte ich nur noch darauf, dass DPD endlich mal das Mainboard liefert...

Könntest Du mir die Bezeichnung des Mounting-Kit´s von Noctua verraten, denn ich würde den NH-D9L auch gerne um 90° drehen.

Dankeschön und Gruß