[Kaufberatung] Erster Proxmox-Homeserver: Fragen zu Komponenten und Aufbau

[lmm]

Ich plane gerade meinen ersten Homeserver. Daher habe ich leider trotz meiner Recherche noch einige Fragen an euch.

Meine Anforderungen

• 24/7 Betrieb
• Geringer Stromverbrauch (im IDLE möglichst unter 30 Watt)
• Preisrahmen: ca. 500€ ohne Storage HDD’s
• Nach Möglichkeit iGPU um auf Grafikkarte verzichten zu können
• Genug Ressourcen für zukünftige Erweiterungen (VM’s und LXC). Daher kein J5005 oder dergleichen.
• ECC Ram
• Mindestens 6x SATA on Board

Ich habe bereits etwas recherchiert und stelle mir folgenden Aufbau vor:

• OS: Proxmox (auf Debian installiert, damit die M.2 mit BTRFS Filesystem genutzt werden kann)
• Openmediavault als VM mit durchgereichten HDD’s da gegenüber der Proxmox-Verwaltung folgende Vorteile gegeben sind.
  • HDD’s als Raid1 mit BTRFS als Filesystem statt ZFS, da ich das ebenfalls auf dem Linux Desktop nutze.
  • Warnmeldungen (E-Mail) bei schlechten SMART-Werten oder HDD-Ausfall
  • Einfache Konfiguration der SAMBA-Shares
  • HDD-Spindown möglich
• Einige LXC Container
  • Unifi Controller
  • Radius Server
  • PiHole
  • Jellyfin (Media)
  • Nextcloud
  • VPN-Server
  • Searx
  • Home Assistent
  • Bitwarden
  • Datenbanken (MariaDB, InfluxDB)
  • …
• VM’s und LXC-Container liegen dann auf der M.2 und werden wie die Proxmox-Konfiguration auf den HDD’s gesichert. Daher hier erstmal keine Redundanz notwendig.

Bei der Hardware schwanke ich zwischen einem Intel und einem AMD System, die beide in den Preisrahmen passen würden.

	AMD	Preis	INTEL	Preis
CPU	AMD Ryzen 5 PRO 3400G, 4C/8T oder AMD Ryzen 3 PRO 4350G, 4C/8T	130 bzw. 160	Intel Core i3-9100, 4C/4T	100
Kühler	Je nach Angebot beim CPU dabei (Wraith Stealth) oder be quiet! Pure Rock Slim	20	Bei Boxed Version dabei	0
Mainboard	ASRock B550M Pro4	100	Gigabyte C246M-WU4	160
RAM	2x Kingston Server Premier DIMM 16GB, DDR4-3200	145	2x Kingston Server Premier DIMM 16GB, DDR4-3200	145
M.2	Crucial P1 SSD 500GB, M.2	55	Crucial P1 SSD 500GB, M.2	55
PSU	be quiet! System Power 9 CM 400W ATX 2.51 oder be quiet! Pure Power 11 CM 400W ATX 2.4	45 bzw. 55	be quiet! System Power 9 CM 400W ATX 2.51 oder be quiet! Pure Power 11 CM 400W ATX 2.4	45 bzw. 55

Für die Nutzdaten würde ich erstmal zwei gebrauchte Desktop 2TB HDD’s nehmen, die ich übrig habe. Durch RAID 1 und HDD Spindown sollte das Risiko eines übermäßig schnellen Ausfalls begrenzt sein. Wirklich wichtige Daten liegen auf meinem Desktop PC mit externem Backup. Später wäre dann WD Red interessant. Ein Tower-Gehäuse ist bereits aus einem alten Desktop PC vorhanden. Da dort die HDD-Aufhängung nicht entkoppelt ist, würde ich Gummiringe nutzen.

Fragen

1. Systemaufbau
   Bisher habe ich mir alles nur theoretisch angelesen. Ist der oben beschriebene Systemaufbau mit Proxmox und Openmediavault so sinnvoll oder problematisch? Nachteil ist wahrscheinlich, dass Speicher für Daten dann über Netzwerk in die LXC-Container gemounted werden müsste, statt über die Proxmox GUI.
2. Hardware
   Zu welcher Hardware würdet ihr mir raten? Gibt es Alternativen, sinnvolle Änderungen oder Inkompatibilitäten? Das Asrock-Board für AMD soll ECC-Ram voll unterstützen. Das Intel-System mit dem i-3 kann scheinbar nur Single-Bit-Korrekturen.
   Die Leistung sollte auch für zukünftige Projekte reichen, wie z.B. eine Windows VM zum rumspielen oder weitere LXC-Container.
   Oft empfohlene gebrauchte Hardware wie z.B. Dell T30 fällt raus, da meist keine 6 SATA 3,5-Zoll HDD’s im Gehäuse montierbar. Ich werde zwar erstmal nur mit 2 HDD’s starten, die Erweiterbarkeit sollte aber gegeben sein.
3. Strombedarf
   Hier scheint das INTEL-System Vorteile zu haben. Laut Berichten geht der Strombedarf im IDLE bis auf ca. 15 Watt runter. Beim Ryzen 4350g auf ca. 25 Watt (http://www.jagatreview.com/2020/07/hands-on-preview-amd-ryzen-3-pro-4350g-renoir-apu-desktop/)
4. Zukunftssicherheit
   Bei Intel können die neuen i3-CPU’s scheinbar kein ECC mehr, die XEON’s sind deutlich teurer und der Sockel wird bei INTEL häufig gewechselt.
   Das AMD-System hätte mehr Rechenleistung und Threads und wäre ggf. besser aufrüstbar (Ryzen 5000 APU???).
   Performancevergleich mit Benchmarks: https://www.cpu-monkey.com/de/compare_cpu-intel_core_i3_9100-924-vs-amd_ryzen_3_pro_4350g-1631
5. be quiet! System Power 9 CM 400W ATX 2.51 (Bronze - Durchschnittliche Effizienz 88%)
   be quiet! Pure Power 11 CM 400W ATX 2.4 (Gold - Durchschnittliche Effizienz 92%)
   Bei Effizienz der beiden Netzteile betragen 88% bzw. 92% (bei Last). Ist dies eine relevante Größe, da der Server den größten Teil der Zeit im Idle ist? Leider gibt es kaum ATX-Netzteile mit Kabelmanagement unter 400 Watt. Mit PicoPSU möchte ich auch Aufgrund der Erweiterbarkeit nicht rumfrickeln.
6. Hatte erst überlegt beim Intel-System ein Supermicro-Mainboard mit IPMI 2.0 für die Fernwartung zu nehmen. Wenn ich aber richtig informiert bin geht das nicht mit dem i-3 sondern nur mit XEON?
7. Beim AMD-CPU wäre DMTF DASH für Fernwartung dabei. Leider finde ich dazu kaum brauchbare Informationen im Netz. Ist das mit IPMI 2.0 vergleichbar? Braucht man dafür ein spezielles Mainboard?
8. Transkodierung
   Über den Jellyfin Container würde ich eigentlich nur im Hausnetz streamen. Clients wären zwei Amazon Fire TV-Sticks 4k. Wenn ich das richtig sehe, wäre dann keine Transkodierung auf dem Server notwendig?
   Falls man doch auf ein anderes Gerät streamen möchte, wäre die reine CPU Power für 4k x265 10bit HDR ausreichend (ohne iGPU)?
9. Durchreichen der iGPU
   Wenn ich richtig informiert bin kann man die Grafikeinheit des i3 auch an eine VM oder einen LXC-Container durchreichen. Hatte irgendwo gelesen, dass man bei Intel die iGPU sogar an mehrere VM's/LXC's durchreichen kann und gleichzeitig auch vom Host genutzt werden kann. Kann das der i3-9100 mit Proxmox? Das wäre natürlich ein riesiger Vorteil.
   Geht ähnliches bei AMD auch?
   Wenn man bei Umbaumaßnamen ggf. doch einen Monitor am Server anschließen muss, muss sonst zuerst die VM bzw. der LXC-Container beendet werden – richtig?
   Eine zusätzliche Grafikkarte würde ich gerne Aufgrund des IDLE-Stromverbrauchs vermeiden. Ansonsten klingt eine AMD RX550 interessant (Preis und IDLE Verbrauch).
10. Backup der Daten HDD’s
    Sehe ich das richtig, dass ich das entweder über Netzwerk machen müsste, oder eine externe Platte an einen USB-Anschluss stecken müsste, der in die Openmediavault VM durchgereicht wird?
11. Alternativer Ryzen CPU. 160€ für einen 4 Kern CPU klingt viel, wenn man für 150€ einen Ryzen 2700 (non X) mit 8 Kernen (ohne iGPU) bekommen kann und ein B450 Mainboard wäre auch noch etwas günstiger (Asrock-Mainboards können scheinbar ohne Grafikeinheit booten). Hier habe ich leider nur wenig Informationen gefunden für einen Serverbetrieb mit Undervolting. Könnte man damit auch unter 30 Watt kommen? Normal scheinen ca. 50Watt im IDLE zu sein. Dann müsste ich nur für das initiale Setup die Grafikkarte aus meinem Desktop einbauen. Hinterher steht das Teil eh Headless im Keller.

Zusammengefasst:

Vorteile Intel	Vorteile AMD
geringerer Stromverbrauch iGPU mehrfach virtualisierbar???	Mehr CPU-Power Mehr GPU-Power Besser erweiterbar Multi Bit ECC Korrektur (mit Asrock Board) Mit anderem CPU auch Headless möglich (mit Asrock Board)

Was meint ihr?

 

[tolga9009]

2. Soviel ich weiß funktionieren 3000G CPUs auf dem B550 Chipsatz (noch?) nicht. Nur 5000, 4000G und 3000, also Zen2 aufwärts.

3. Würde ich so nicht stehen lassen. Komme mit einem Ryzen PRO 4650G, Corsair CS450M 450W 80plus Gold, 3 Lüfter, 1 SSD, 2x 16GB DDR4-2666 ECC und ASUS TUF A520M-PLUS auf 16W im Idle unter Linux. Intel hat einen kleinen Vorteil, der liegt aber i.d.R. bei irgendwo zwischen 2 - 5W (je nach vergleichbarer Plattform), nicht bei 10W.

4. Ganz klar AMD. Der Sockel 115x ist bereits "Schnee von gestern", da weißt du jetzt schon, wie deine Upgrade-Möglichkeiten aussehen. Sobald du vom i3-9100 auf irgendein i5 / i7 upgradest, verlierst du automatisch ECC. Deine einzigen Upgrade-Möglichkeiten sind die Xeon CPUs, die aber sündhaft teuer und schwer erhältlich sind im Vergleich zu den i5 / i7. Da fangen 4C/4T bei 200€ an. Für das gleiche Geld kriegst du bei AMD den Ryzen PRO 4650G mit 6C/12T. Selbst wenn du die 5000er APUs weglässt, hast du mit dem PRO 4650G und PRO 4750G zwei gute Kandidaten für ein Upgrade. Da mit Zen 3 neue Prozessoren für den AM4-Sockel dazukommen, sinken die alten Prozessoren im Wert, sodass du bei eBay in 2 - 3 Jahren günstig zuschlagen kannst. Abgesehen davon, dass ich Kaufentscheidungen aufgrund der "Zukunftssicherheit" nach wie vor nicht sehr schlau finde, bist du mit AMD besser beraten, wenn du darauf Wert legst.

5. Ist Geschmackssache. Entscheidungsfaktoren sind: wie lange möchtest du Garantie haben? Ist es okay für dich, wenn die PSU im Idle paar Watt mehr verbrät? Wie wichtig ist dir Kabelmanagement? Meine persönliche Reihenfolge: 1. Kabelmanagement (komme was wolle), 2. Lautstärke, 3. Effizienz, 4. lange Garantie. So eine PSU nutzt man i.d.R. bis es kaputt geht oder nicht mehr reicht, also ist es okay, wenn man auch mal 20€ mehr zahlt. Zwischen den beiden von dir genannten, würde ich das Pure Power 11 nehmen. Das ist leiser, hat eine bessere Effizienz und 2 Jahre länger Garantie (5 Jahre). Völlig okay für 55€.

7. Ja, brauchst dafür ein spezielles OEM Board. Das müssten die Fertig-Rechner von Lenovo (mit PRO CPUs) können, z.B. ThinkCentre M75s. ASRock Rack hat noch eine selbst gekochte Lösung, das ist aber nicht DASH / DMTF und funktioniert auch mit CPUs ohne iGPU. Vielleicht wäre das Interessant für dich? Also ASRock Rack X470D4U + Ryzen 3100.

8. Wenn du auf dem FireStick 4K KODI sideloadest, dann geht das ohne Transcoding. Mache ich auch so. 4k x265 10bit HDR Transcoding auf CPU wird mit 4C/8T nicht zufriedenstellend funktionieren, zumal du auch andere Dienste auf dem Host laufen hast. 8C/16T schafft das schon eher. Kann mir aber auch vorstellen, dass ein privileged Container auf die Host Hardware zugreifen können müsste; dann könnte man das per Hardware regeln. Müsstest dich dazu einlesen, bin mir nicht sicher ob das geht.

9. iGPU lässt sich bei AMD nicht an eine VM durchreichen. Bei privileged Containern gibt es in dem Sinne keinen "Passthrough", daher müsste es eigentlich gehen (bitte selbst recherchieren). Bei Intel kannst du die iGPU an VMs "virtuell" verteilen, die Technologie heißt Intel GVT-g. Hier ein Wiki-Artikel dazu: https://wiki.archlinux.org/index.php/Intel_GVT-g. Bzgl. Container weiß ich nicht.

11. Würde ich nicht machen. Undervolting + Headless Server schreit nach Problemen. 50W im Idle sind etwas hochgegriffen; mein Desktop hat einen 2700 drin mit RX480 8GB OC, 2x 7200RPM HDDs (ohne Spindown) und verbraucht ca. 52 im Idle. Rechne ~5W pro HDD raus und ~15W für die GPU und du landest Pi mal Daumen bei ~25W Headless. Halte ich für plausibel.

Fazit: würde das AMD-System nehmen. Intel GVT-g hört sich verdammt gut an, aber wenn ich mir deine Anforderungen durchlesen, profitierst du außer vielleicht beim Transcoden nicht von einer iGPU. Die in deinem Falle wichtige, bessere Multicore Performance spricht für das AMD-System.

 

[Mo3Jo3]

Bezüglich des Stromverbrauchs von Renoir hab ich einen interessanten Userartikel gesehen.

Leserartikel - Renoir und B550 - Die Idle-“Künstler“?

Die Zen 2 Architektur hat den Ruf bisher unerreicht effizient unter Volllast zu rechnen, jedoch weniger sparsam im Leerlauf und unter Teillast zu agieren. Das mag bei Matisse noch nicht sonderlich überraschen, beispielsweise aufgrund des Chiplet-Aufbaus mit gesondertem I/O(+MC)-Chip, der...

www.computerbase.de

 

[bigghost]

Bei der normalen HD-durchreiche kannst du in der VM die Smartwerte nicht auslesen.Es sei du reichst nen HBA Ctrl durch dann gehts.

 

[lmm]

@tolga9009
Vielen Dank für die ausführlichen Antworten!

Zu 2. Stimmt – habe nochmal genauer nachgeschaut. Die 3000er APU’s gehen scheinbar erst ab nächstem Jahr, wenn ein neues BIOS rauskommt. Nur die normale 3000er ohne iGPU gehen schon jetzt. Hätte aber auch eher zum 4350g tendiert.

Zu. 4. Ja, nachdem der geglaubte Intel-Vorteil beim Stromverbrauch weggefallen ist, gibt es nicht mehr viele gute Gründe für den i3-9100.

Zu 5. Garantie ist natürlich ein Argument. Und auf 10€ kommt es nicht drauf an. Werde dann das Pure Power 11 CM 400W nehmen. Die Frage zielte ursprünglich eher darauf ab, ob die letzten paar Prozent mehr Effizienz sich auch im IDLE bemerkbar machen.

Zu 7. DASH / DMTF hat sich dann erledigt. Hatte ich mir schon gedacht.

Zu 8. & 9. GVT-g ist so ziemlich der letzte verbleibende Vorteil des Intel-Systems. Kodi ist schon auf dem FireTV Stick. Ich denke, ich probiere es erstmal und müsste zur Not eine Grafikkarte kaufen, falls der Bedarf mal wirklich da sein sollte. Ansonsten wird mein Raspberry pi 4 (4GB) frei, wenn ich mir den Server kaufe. Für Transkodierung könnte ich hier Jellyfin nativ installieren und den Storage des Servers über Netzwerk einbinden. Mal sehen …

Zu 11. Undervolting hatte ich nur gedacht wegen des höheren Stromverbrauchs des 2700. Aber auch ohne Undervolting kann Headless ohne IPMI 2.0 nervig werden 😊
Hatte nur an Preis-Performance-Verhältnis des CPU gedacht. Aber ich denke, dass der 4350G so schnell nicht an seine Grenzen kommen dürfte.



@Mo3Jo3
Hätte nicht gedacht, dass der Stromverbrauch mit einem Ryzen, ATX-Netzteil und ATX/µATX Mainboard im IDLE so niedrig sein kann.
Ganz interessant aber nur mit einem Asrock A300:
https://www.reddit.com/r/Amd/comments/ccoxtz/68_w_on_idle_3400g_on_asrock_a300_with_the_strong/
Asus-Mainboards scheinen im Bereich Stromverbrauch echt gut zu sein. Leider hat das von @tolga9009 verwendete „ASUS TUF A520M-PLUS“ nur 4x SATA. Mal überlegen, ob ich damit erstmal leben kann oder es mit ASRock B550M Pro4 riskiere. Hat jemand in dem Bereich Erfahrungen mit dem Asrock Board?



@bigghost
Danke für die Info. Alternativ habe ich zu S.M.A.R.T. mit Warn-E-Mails hier eine schöne Anleitung gefunden – direkt auf der Proxmox-Seite 😉 Damit sollte es dann ja gehen …
https://pve.proxmox.com/wiki/Disk_Health_Email_Alerts



Noch eine neue Frage – mit ein paar Unterfragen 😉

12) Überlege gerade ob der Einsatz von OpenMediaVault Sinn macht.

12.1) S.M.A.R.T.-Warn-E-Mails muss man wie oben beschrieben umsetzen und geht bei meinem Setup nicht über OMV.

12.2) BTRFS muss ich auf der primären SSD eh auf der Zeile mache.

12.3) SAMBA geht zur not auch im LXC-Container über smb.conf. Leider nicht so komfortabel wie mit einer GUI. Kennt jemand da eine schöne Lösung?

12.4) HDD-Spindown müsste doch auch irgendwie gehen, wenn man Proxmox nicht direkt installiert, sondern auf Debian. Habe dazu einen interessanten Link gefunden:
https://u-labs.de/portal/festplatte...n-standby-versetzen-unter-proxmox-zfs-debian/
Kann man das so auch mit einem BTRFS-Raid 1 machen oder wäre das gefährlich?

 

[Mo3Jo3]

Hätte nicht gedacht, dass der Stromverbrauch mit einem Ryzen, ATX-Netzteil und ATX/µATX Mainboard im IDLE so niedrig sein kann.

Ich denke, man braucht Glück/Recherche, um ein sparsames Mainboard zu finden.
Und die Renoir dürften davon profitieren, dass es auf Sparsamkeit getrimmte mobile CPUs sind.

 

[alpinlol]

11. Würde ich nicht machen. Undervolting + Headless Server schreit nach Problemen. 50W im Idle sind etwas hochgegriffen; mein Desktop hat einen 2700 drin mit RX480 8GB OC, 2x 7200RPM HDDs (ohne Spindown) und verbraucht ca. 52 im Idle. Rechne ~5W pro HDD raus und ~15W für die GPU und du landest Pi mal Daumen bei ~25W Headless. Halte ich für plausibel.

Betreibe auch einen 2700 undervolted und underclocked als Host, jedoch noch wegen einem Mediacenter mit einer passiv gekühlten GT1030 (auch undervolted) reicht zumindest in meiner Nutzung für bis zu 4k Wiedergabe.

Habe aktuell aus Testzwecken über Hyper-V virtualisiert und betreibe WinServer für AD, Nextcloud, Unifi Controller, TrueNAS(Ja, mein NAS läuft auf keiner gesonderten Hardware) und paar andere Spielereien und habe einen Systemverbrauch an der Dose von nicht ganz 50 Watt.
Habe jedoch keine HDDs in gebrauch sondern nur SSDs.

Hatte leider keine UNRAID oder VMware Lizenzen mehr und Proxmox hatte ich früher mal verwendet, aber wollte mal was anderes testen.

 

[tolga9009]

Zauberformel, um ein sparsames Mainboard zu finden ist: Intel NIC, BIOS Support für ASPM, keine PCIe-Switches (!) und ansonsten so wenige Komponenten wie nötig. Bonuspunkte gibt es für konfigurierbare iGPU (deaktivieren bei Headless) und für Nuvoton Super I/O, aber eher aus Sicht des Linux-Supports, weniger wegen Verbrauch.

Das ASRock B550M Pro4 hat keinen PCIe-Switch, bietet Support für ASPM und hat keinen Intel NIC. Den wollte ich mir auch kaufen, war aber damals nicht auf Lager. Wenn du Renoir verwendest, fällt ja auch PCIe 4.0 weg, was dem Stromverbrauch zu gute kommt. Denke der sollte gut abschneiden bzgl. Stromverbrauch.

 

[M.D. Geist]

Baue mir ebenfalls einen Homeserver mit Proxmox. Preisrahmen war aber "ein wenig" höher. (Da als Spieleserver von mind. 2 Usern gedacht)
Interessanterweise haben ALLE MSI Mobos die Option GPUs zu ignorieren, womit man schön headless booten kann, wodurch sich Strom sparen lässt und mehr CPUs zulässt...