[Kaufberatung] Proxmox Home Server

[Uffie]

Hallo,

ich bin dabei einen kleinen Homeserver Selbstbau zu planen und dabei auf Proxmox gestoßen.
Bei der Suche nach geeigneter Hardware tue ich mich bisweilen leider etwas schwer, vielleicht kann mir hier jemand ein paar Hinweise oder Empfehlungen geben.
Der Server soll 24/7 laufen und dabei so Energieeffizienz bzw. sparsam wie möglich sein.

Darauf laufen soll das Folgende:

Ein NAS realisiert mit Nextcloud, freeNAS oder openmediavault
Plex
pfSense
Docker
ioBroker. Apple Homekit Bridge
Kapazitäten für 2 weitere VMs Windows/Linux


In Puncto Hardware bin ich wie gesagt leider noch nicht besonders weit.

CPU:
Zunächst stellt sich für mich die Frage ob Intel oder AMD. Bei meiner bisherigen Recherche habe ich einige Posts gelesen, bei denen auf Schwierigkeiten von AMD Prozessoren mit ECC RAM hingewiesen worden ist. Wichtig wären ja auch CPU-Features wie VT-d oder AMD-V. So ergibt sich für mich eine weitere Frage, ob Desktop oder Server CPU.
(Ich würde eine dedizierte GPU anschaffen, das Vorhandensein einer integrierten GPU kann also vernachlässigt werden.)

Storage:
Für Proxmox und die VMs denke ich an 2 Samsung EVO SSDs im RAID 1. Nun habe ich im Forum aber auch wieder von Performance Problemen und einer möglicherweise verkürzten Lebensdauer bei solchen Consumer SSDs gelesen. Sollte ich da etwas anderes wählen?
Für die NAS distro würde ich 2 IronWolf oder Ähnliches wählen.

Mainboard:
In Abhängigkeit der gewählten CPU.
Für den Einsatz von pfSense sollte dieses über mindestens 2 NICs verfügen, kann aber auch eine dedizierte Karte genutzt werden.

RAM:
Da dachte ich an ECC und mindestens 16 GB. Takt, Timings usw. sind wohl nicht so wichtig.

GPU:
Auf den VMs soll nichts gerendert werden, muss also nichts Besonderes sein. Hier wäre ich wirklich für Vorschläge dankbar da mir Erfahrung fehlt.

Netzteil:
400 Watt mind. Gold Zertifizierung



Ich wäre für Vorschläge kompatibler und miteinander harmonierender Hardware sehr dankbar. Ich freue mich aber auch über Denkanstöße oder Hinweise, die mir die weitere Recherche erleichtern würden. Vielen Dank schon mal!



Mfg
Uffie

 

[tolga9009]

Strom sparen und dedizierte GPU schließen sich leider gegenseitig etwas aus. Moderne Systeme schaffen gut und gerne mal um die ~12W (ohne HDDs); eine GPU im Idle zieht dir dagegen locker mal 8W - 15W zusätzlich und du kommst schnell auf deine 30W im Idle (ohne HDDs). Daher würde ich mir das gut überlegen, ob du wirklich eine dedizierte GPU haben willst.

Falls ja, dann ist eigentlich AMD die einzig vernünftige Wahl. Ja, ECC ist kein einfaches Thema - auch bei Intel nicht! Da braucht es auch 1. eine CPU, die das unterstützt und 2. ein Mainboard, das ECC kann (C24x Chipsatz, 150€+). Bei Intel CPUs ist das so, dass meistens der kleine i3 das kann (aktuell i3-9100, 120€ bzw. i3-9100F für ~70€), die i5, i7 und i9 jedoch nicht. Und die Xeon E ab 210€ können das ebenfalls. Dann muss man aber auch dazusagen, dass auch hier es wieder nicht ganz transparent ist. Der i3 und die kleinen Xeons können i.d.R. nämlich nur Single-Bit korrigieren; erst die "großen" Xeons beherrschen Multi-Bit. Bei AMD können die CPUs prinzipiell Multi-Bit ECC. Es ist jedoch den Mainboard-Herstellern überlassen, ob, was und wie sie das validieren und implementieren.

Einpaar Faustregeln bzgl. AMD und ECC: du darfst keine APU wählen (Ryzen 2000G, 3000G, Athlon) und bei Mainboards bist du hauptsächlich auf ASRock und ASUS beschränkt. Hierbei ist ASRock positiv vorzuheben, die fast im gesamten Portfolio Multi-Bit ECC aktiviert haben. ASUS ist hingegen inkonsistenter: die Gaming-Boards unterstützen es i.d.R. garnicht, ab und zu gibt's Single-Bit und ab und zu Multi-Bit. Da musst du genau recherchieren.

Damit wir was zum Diskutieren haben, schmeiße ich mal folgendes in die Runde:
CPU: Ryzen 1600 AF (12nm)
Mainboard: ASRock B450M Pro4 (kann ECC Multi-Bit)

 

[Vogelbecker]

Ich hab gerad Teile für meinen neuen Server bestellt.

Fujitsu Board, i3-9100, ein 16 GB Riegel ECC DDR4.
Ich hoffe die Teile kommen morgen/übermorgen.

Dann kann ich mal schauen, was der so Idle mit ESXi zieht.
Ich hoffe mal weniger als mein alter server mit ~ 100 Watt

 

[b99]

schau dir mal aus diesem Thread das Board an: https://www.hardwareluxx.de/communi...470d4u-als-esxi-virtualisierungshost.1241079/
mit einem Ryzen5 oder höher ist ECC eigentlich kein Problem mehr.
Proxmox geht auch problemlos drauf.

 

[tolga9009]

Das ASRock Rack X470D4U und dessen Nachfolger sind aktuell nicht mehr erhältlich. Preislich war es aber auch immer schon 230€+, wo ich dann auch sagen würde, dass man für das Geld besseres bekommt. So richtig das gelbe vom Ei ist das Board nämlich auch nicht.

Den Vorschlag von Vogelbecker finde ich auch sehr vernünftig, allerdings nur, wenn die iGPU reicht. Wenn du sowieso eine dGPU einbaust (bspw. wegen Plex), bekommste bei AMD mehr.

 

[Brokk]

Ja das Board hat "Kinderkrankheiten" und ein wenig "Babyspeck" funktioniert aber einwandfrei mit einem R5 2600 oder einem R5 2400GE (Pro)
* ECC funktioniert auch mit dem 2600 einwanfrei

 

[Uffie]

Hi und danke für eure Antworten!

Strom sparen und dedizierte GPU schließen sich leider gegenseitig etwas aus

Damit hast du natürlich Recht und danke für die Einordnung was den Verbrauch angeht.
Wobei ich Hilfe bräuchte, wäre zu verstehen, ab wann eine dedizierte GPU überhaupt benötigt wird.
So wie ich das verstehe benötigt man bei der Verwendung des von dir vorgeschlagenen Ryzen zwingend eine dedizierte GPU da er über keine iGPU verfügt – ohne ginge es nicht, oder nur ineffizient?
Hingegen bei der Verwendung des i3 9100 (ohne F), der eine iGPU besitzt könnte diese verwendet werden? Würde diese denn für Streaming über Plex genügen?

An sensten ist mir die von dir vorgeschlagenen Konfig Ryzen 1600 AF + ASRock B450 schon sehr sympathisch, auch wegen der Unterstützung von multi-Bit ECC.

Fujitsu Board, i3-9100, ein 16 GB Riegel ECC DDR4.

Für welchen RAM und welches Board genau hast du dich entschieden?


b99 danke für die Empfehlung, aber wie tolga9009 angemerkt hat, sind die Boards nicht mehr verfügbar.
Der Post bringt mich aber zu einer weiteren Grundsatzfrage: Würdet ihr mir zu der Verwendung eines extra Raid Controllers, z.B. PERC H310 (gibt’s gebraucht ja recht günstig) raten? Oder ist Software-Raid ausreichend und ggf. auch energiesparender?


Fazit bis jetzt:

AMD Basis:
CPU: Ryzen 1600 AF
Board: ASRock B450M Pro4

Intel Basis:
CPU: i3 9100
Board: ASRock C236M WS Intel C236 So.1151 Dual Channel DDR4 mATX

Restliche Konfiguration:

RAM: je nach aktuellem Preis, die sollten sich ja nichts nehmen.
16GB Samsung M391A2K43BB1-CTD DDR4-2666 ECC DIMM CL19 Single
oder
16GB Crucial CT16G4XFD8266 DDR4-2666 ECC DIMM CL19 Single
oder
16GB Kingston KSM26ED8/16ME DDR4-2666 ECC DIMM CL19 Single

GPU: alle passiv gekühlt.
GeForce GT 710
oder
GeForce GT 730

Netzwerk: Für pfSense, da das ASRock Board bei AMD Konfig nur über eine Netzwerkschnittstelle verfügt.
PCIe x1 LAN Adapter

RAID: für die NAS Distro
z.B. PERC H310

VM-Storage:
2x Samsung 860 EVO im Raid 1
oder
1x Samsung 970 EVO

Data-Storage:
2x 4 TB Seagate IronWolf oder WD RED

Netzteil:
ca. 400 – 500 Watt be quiet! 80+ Gold

Wie sind eure Meinungen so insgesamt?
Auch wenn es noch nicht ganz hinkommt, ich versuche den Build im Rahmen von 600 – 800 +- ein paar gequetschte zu halten.

 

[tolga9009]

GPU: Du brauchst die dGPU auf jeden Fall bei der Neuinstallation, danach ist es nicht mehr "zwingend" notwendig. Das ASRock B450M Pro4 kann headless booten. Plex kann die Intel iGPU (Intel Quick Sync), als auch eine dedizierte Nvidia GPU für das hardware-beschleunigte Transcoding verwenden. Das ist insofern vorteilhaft, weil es deutlich effizienter als auf der CPU läuft und die CPU steht frei für andere Aufgaben. Hierbei solltest du darauf achten, dass du am besten direkt zu Pascal (GT 1030) greifst, da diese H.265 beherrscht und 4K transcoden kann. Ältere können entweder kein H.265 oder schaffen 4K nicht. Wäre Verschwendung.

Bei mir im Haus sind 2x Fire TV Stick 4K installiert, die mit allen möglichen Formaten und Auflösungen umgehen können. Da macht eine dGPU bzw. Transcoding keinen Sinn und wäre auch nur Stromverschwendung, allerdings kann ich hier nicht für alle sprechen. Wenn du mehrere Nutzer hast, die regelmäßig gleichzeitig vom Smartphone, vom Laptop o.Ä. streamen, kann es durchaus schon Sinn ergeben, eine dGPU einzusetzen. Das musst du entscheiden, wie sehr das ins Gewicht fällt. Denn: der Ryzen 1600 AF ist auch ziemlich stark beim Transcoden und könnte evtl. sogar völlig ausreichend sein.

Ich würde es so lösen: sofern du eine GPU daheim hast, führe erstmal die Installation durch und betreibe es anschließend Headless. Wenn dir die Transcoding Performance nicht ausreicht oder du aus anderen Gründen eine dGPU haben möchtest, kannst du sie jederzeit nachrüsten. Schlimmstenfalls haste paar Tage Zeit verloren, bestenfalls sparste ~8W - 15W und Geld, ohne irgendwas zu vermissen.

RAM: da es preislich kaum Unterschiede gibt, würde ich die Samsung ECC UDIMMs nehmen. Die sind B-Die und somit das beste für Ryzen, was du aktuell bekommen kannst. Wenn du nicht vorhast, in naher Zukunft upzugraden, dann empfehle ich 2x 8GB, statt 1x 16GB (für Dual-Channel). Alternativ direkt in 2x 16GB ECC investieren.

RAID: HBA brauchst du nur, wenn dir die SATA-Ports am Mainboard ausgehen. Die SATA-Ports, die direkt vom Intel- und AMD-Chipsatz kommen, sind bedenkenlos einsetzbar und sind mind. einem HBA gleichzusetzen (wegen Effizienz sogar besser). Der H200 / H310 ziehen so Pi mal Daumen ~5W - hängt auch bisschen von der Anzahl der Festplatten ab. Das ASRock B450M Pro4 hat 4x SATA, die direkt vom Chipsatz kommen. Die kannst du bedenkenlos erstmal nutzen. Wenn du allerdings denkst, dass dir das nicht reicht, kannst du direkt zu einem Board greifen mit bspw. 8x SATA Onboard (X370 / X470 / X570). Achte aber darauf, dass die SATA-Ports direkt vom Chipsatz kommen.

Netzwerk: wenn du pfSense laufen lassen willst, brauchst du 2x Intel NICs. Ob Mainboard + PCIe-Karte oder eine Dual-NIC PCIe-Karte, ist egal. Hier ist es etwas schwierig günstig an Originale ranzukommen, da chinesische Händler den Markt mit Fakes überschwemmt haben. Optimal wäre ein Dual-NIC; das könntest du dann direkt an pfSense 1:1 durchreichen und hättest noch den Onboard-NIC des Mainboards für andere Aufgaben zur Verfügung.

Wenn du 8x SATA brauchst, schlage ich das ASRock X570 Phantom Gaming 4 vor; aktuell ~158€ bei MF. Das hat Intel NIC Onboard, 8x SATA direkt vom Chipsatz und bewirbt ECC-Support groß und fett auf der Produkt-Homepage (hier, offizieller geht es nicht). Brauchst du nicht mehr als 4x SATA, würde ich weiterhin das ASRock B450M Pro4 nehmen. Die Intel Dual-NIC / Quad-NIC musst du für pfSense in jedem Fall nachrüsten.

SSD: ich würde 2x 860 EVO einer einzigen 970 EVO vorziehen. Der Performance-Vorteil gegenüber SATA SSDs ist in den meisten Fällen nur noch messbar, aber nicht mehr spürbar. Das Geld ist besser investiert in mehr Kapazität oder Redundanz. NVMe ist eine tolle Technologie, aber noch etwas zu jung für den "langweiligen" Server-Alltag. Nimm die 970 Evo. Dann haste mehr SATA-Ports frei.

Storage: ist Lautstärke ein Thema?

Intel: C236M funktioniert nicht, da für Sockel 1151. i3-9100 braucht jedoch Sockel 1151v2. Ich schlage stattdessen Fujitsu D3644-B vor. Hat sinnvolle PCIe-Slots, 6x SATA, Intel-NIC Onboard und ist mit ~150€ noch im Rahmen. Mit 8x SATA, 2x Intel-NIC gibt es noch das Gigabyte C246M-WU4 für ~180€. Leider habe ich keine Erfahrungen mit Gigabyte in diesem Bereich.

 

[Vogelbecker]

Moin,
ich hab das Fujitsu D3644-B und den Crucial CT16G4WFD8266 16GB ECC DDR4 2666MHz, nur ein Modul, weil ich da in kürze, wenn wieder etwas Geld da ist, dann ein 2. Modul dazustecken will.
Thema Netzwerk: pfSense kann auch mit USB Geräten umgehen. So habe ichs aktuell bei meinem Ersatz-ESXi auf deinem Dell 7050 micro gemacht. Dort die USB Karte an die Guest VM durchgereicht. Kann Proxmox doch bestimmt auch. Nur mal so als Anmerkung. Bei mir kommt dann eine 4 Port LAN Karte rein.

Lt UPS kommen die Sachen heut; ich werde breichten

 

[danielmayer]

Das ist insofern vorteilhaft, weil es deutlich effizienter als auf der CPU läuft und die CPU steht frei für andere Aufgaben.

Das ist nicht (mehr) korrekt.
- Die i3-GPU sollte gut genug für zwei parallele Transcodingaufgaben sein. Meine 7100 hat das jedenfalls bei Emby hinbekommen.
- Die i3-GPU kann über GPU-Virtualisierung sogar auf mehrere VMs "aufgeteilt" werden. Da gibt es irgendwo von mir ein paar Ausführungen, man wird jedenfalls auch im Internet fündig: Die iGPU wird ähnlich SRIOV mit verschiedenen Adressen ausgestattet und kann jeweils in eine VM mit PCIe-Passthrough "übergeben" werden. Das funktioniert sogar mit Hardwaretranscoding in der VM, der Host behält aber auch die iGPU für z.B. einen Desktop.
- Der Strombedarf für eine zusätzliche GPU ist gegenüber dem Verbrauch des i3 schnell dominant. Ich würde selbst eine zusätzliche GPU nur dann nutzen, wenn mehr als zwei gleichzeitige Transcodings zu erwarten sind oder Gaming in einer VM stattfinden soll.

Ich habe keine Erfahrung mit den Ryzen mit iGPU und würde dennoch eher diese als Alternative zum i3 betrachten.[/QUOTE]

 

[Vogelbecker]

So, Hardware ist da... der i3 9100 auf dem Fujitsu Board mit ziemlich genau 15Watt idle. (ESX 7, keine VM gestartet)

 

[Uffie]

So, Hardware ist da... der i3 9100 auf dem Fujitsu Board mit ziemlich genau 15Watt idle. (ESX 7, keine VM gestartet)

Danke für die Mitteilung aus der Praxis. Wenn ich bestellt und aufgebaut habe werde ich auch mal messen.

Storage: ist Lautstärke ein Thema?

Eher nicht. Das Gerät soll nicht ins Wohnzimmer oder so, warum ist Lautstärke da wichtig?

 

[Vogelbecker]

So durchschnittlich zieht das Ding bei mir so 32W aus der Steckdose. (5 laufende VMs, m.2 SSD, 2x 2TB 3,5", USB DVB-T Adapter durchgereicht)

 

[bastis0]

So durchschnittlich zieht das Ding bei mir so 32W aus der Steckdose. (5 laufende VMs, m.2 SSD, 2x 2TB 3,5", USB DVB-T Adapter durchgereicht)

Ich hab mal eine Frage:
Was für VM's laufen bei dir und liegen die mit auf der M2?
Gehen die Festplatten in den Standbye oder laufen die dauerhaft?

 

[Vogelbecker]

Hi,

also bei mir läuft:
pfSense mit pfBlockerNG
Debian 10 mit ioBroker
Debian 10 mit InfluxDB und Grafana
Debian 10 mit nem DVB-T Programm + Storage
Windows 10 mit ein bisschen Kleinkram

die VMs legen auf der m2. Die HDDs gehen schlafen.

 

[bastis0]

Moin,

Heißt, die HDD's reichst Du durch und werden von den Clients gesteuert, wenn es um den Spindown geht, oder?
Ich frage, weil ich auch gerade an ein neues System denke, um die inzwischen 2-3 Dinger hier zu erneuern und zusammen zu fassen und in den bisherigen ESXi's gab es da mit dem Spindown wohl kleinere Probleme, weil es an sich nicht vorgesehen war

Aber das klingt schon mal gut...dann kann ich statt Proxmox vielleicht doch nen ESXi verwenden und der Stromverbrauch klingt auch gut, in deiner Konfig.

 

[rasenderrudi]

Hallo,

ich plane ein ähnliches System, mit ähnlichen Anforderungen wie das des Thread-Erstellers. Deshalb schreibe ich hier, oder sollte ich lieber einen eigenen Thread erstellen?

Jedenfalls hänge ich gerade bei der Auswahl des Speichers für das Proxmox OS.
Eigentlich hatte ich vor das Proxmox OS mit ein Paar VMs auf einer SSD zulagern. Wie der Thread-Ersteller schon erwähnte, liest man hier im Forum allerdings von einer verkürzten Lebensdauer mit Consumer-SSDs in Verbindung mit Proxmox (bei der Verwendung von ZFS als Dateisystem). Deshalb hätte ich ein paar Fragen:

1. Liegt der Verschleiß der SSD vor allem an der Verwendung von ZFS als Dateisystem?

2. An den Thread-Ersteller, welches Dateisystem hast du verwendet und hast du dich für die vorgeschlagenen 970 Evo entschieden?

3. An den TE, kanst du einen erhöhten Verschleiß bei deiner SSD feststellen, bzw. was sagen die s.m.a.r.t. Werte der SSD in Proxmox (falls man die auslesen kann)?

4. Wäre es für mich als Anfänger eher ratsam auf ZFS zu verzichten und lieber BTRFS oder ext4 einzusetzen?

 

[MisterY]

Zu 1: nein. Das liegt an Proxmox, da es ziemlich viel in die Logs schreibt. Man kann das deaktivieren, wenn man nur ein single-node betreibt. Mehr siehe hier: https://wiki.chotaire.net/proxmox-various-commands
Meine beiden 250 GB EVO 850 hatten nach 3 Jahren ca. 25 % wearout (bei 24/7). Mein neuer Server hat nach nun 2 Monaten 1 % Wearout auf zwei 500 GB EVO 860.

Ich würde immer, auch bei single disk, ZFS verwenden. Vor allem da es von Proxmox nativ voreingestellt ist.

 

[danielmayer]

Mit den Logs kann ich unterschreiben: Ich hatte ein BR-Laufwerk als iSCSI-Target im Host eingerichtet und dann den SATA-Controller an eine VM übergeben...
... nach einzelnen Stunden war die root-SSD voll (100% - mit allen Problemen, die das nicht mögen), ca 75GB (!) Logdaten, wo denn die Hardware geblieben ist. Äußert lästig sowas.

ontopic: ZFS ist klasse,, bleib dabei

 

[rasenderrudi]

Vielen Dank für die schnellen Antworten.
Die Befehle zur Deaktivierung der PVE cluster services sind bares Geld wert. Jetzt kann ich also doch normale Consumer-SSDs verwenden. 😃