[Kaufberatung] Kleiner Proxmox Server

[Paddl82]

Hallo zusammen.

In den letzten Tagen habe ich hier viel gelesen um meine alte Selbstbau-NAS abzulösen.

Meine Idee ist einen kleinen Proxmox-Server aufzubauen, um unter diesen Diverse Dienste im LXC-Container bereitzustellen und zwei Virtuelle Maschinen zu hosten.
- Ein Windows 10, für eine Digital Devices DVB-S TV-Karte
-> DVBViewer Media-Server für SAT>IP
--> DVBViewer soll Transcoding nutzen können

- Eine NAS-Distribution (Xpenology, FreeNAS, OpenMediaVault) die einen HBA-Controller für 8 Festplatten durchgereicht bekommt.
-> Die Festplatten sollen nur bei Bedarf angesprochen werden und von der NAS-Distribution in den Sleep versetzt werden.
-> Emby zum bereitstellen meiner Film und Serien-Datenbank
--> Emby soll Transcoding nutzen können (Premium Lizenz ist vorhanden)


Diese Komponenten habe ich mir ausgesucht:
CPU: Intel i3-8100
Mainboard: ASRock B365M Pro4
Festplatte: 2x Samsung 970 EVO Plus 500 GB M.2 SSD
Arbeitsspeicher: 2x Crucial DIMM 8 GB DDR4-2666 ECC REG
Netzteil: be quiet! Pure Power 11 400W CM

Der i3-8100 unterstützt ja ECC, welches ich auch gerne in dem neuen System haben möchte. Auch das oben genannten Mainbaord unterstützt dies.
Ich habe allerdings gelesen, das nur unregistred-ECC Speicher unterstützt wird. Bei meinem steht aber "REG". Funktioniert dieser RAM auf dem Board?


Bei dem HBA-Controller bin ich mir nicht sicher, welchen ich dort nehmen kann/soll.
Gibt es irgendwo eine Kompatibilitätsliste, welche Proxmox unterstützt?

Diese stehen zur Auswahl:
AMCC 9650se-8lpml 8-Port PCIe SATA RAID-Controller
LSI SAS 9211-8i 8-Port PCIe SATA SAS RAID-Controller
Fujitsu SAS RAID Controller D2516-D11
LSI Megaraid SAS 9220-8i


Hoffe das mir der ein oder andere vielleicht noch ein paar Tipps oder Ideen mit auf den Weg geben kann?

Gruß paddl

 

[Happy Hepo]

Der Name des Arbeitsspeichers lässt auf RDIMM schließen, das wird also nicht funktionieren. Du brauchst UDIMM.

 

[oelsi]

Auf dem MB laufen zwar ECC-DIMMs ("supports"), allerdings nur ohne die Fehlerschutzfunktion ("operate in non ECC mode") => nutzlos. Für funktionierendes ECC brauchst Du ein Board mit Cxxx-Chipsatz.

 

[b99]

auf dem Board bekommst du nur eine m2 SSD drauf... der zweite Steckplatz ist zu kurz

 

[martingo]

Wow, das muss man erstmal wissen.....
Steht aber auch auf dem zweiten Slot: "M.2 WiFi" ASRock > B365M Pro4

Spätestens nach der Info von oelsi sollte sich das Board aber eh erledigt haben.

 

[Paddl82]

Vielen dank für die ganzen Antworten.

Auf dem MB laufen zwar ECC-DIMMs ("supports"), allerdings nur ohne die Fehlerschutzfunktion ("operate in non ECC mode") => nutzlos. Für funktionierendes ECC brauchst Du ein Board mit Cxxx-Chipsatz.

Darauf habe ich nicht geschaut.
Ich würde dann entweder

das GigaByte C246M-WU4 oder FUJITSU Mainboard D3644-B nehmen
Dort ist ein entsprechender "C"-Chipsatz verbaut. In Kombination mit dem i3-8100 funktioniert dann auch der ECC Support.

Bei dem GigaByte könnte ich auch beide M.2 SSDs einbauen. Vom Formfaktor sollten diese passen.

 

[Elmario]

..
Dort ist ein entsprechender "C"-Chipsatz verbaut. In Kombination mit dem i3-8100 funktioniert dann auch der ECC Support.
...

Dennoch musst du darauf achten, auf keinen Fall REG (oder registered) RAM zu kaufen!

 

[Paddl82]

Nach aktuellem Stand sind es nun diese HW-Produkte:

RAM:
Kingston Server Premier DIMM 8GB, DDR4-2400 ab Preisvergleich Geizhals Deutschland

Mainboard:
Gigabyte C246M-WU4 ab Preisvergleich Geizhals Deutschland
oder
Fujitsu D3644-B ab Preisvergleich Geizhals Deutschland

CPU:
Intel Core i3-8100, 4x 3.60GHz, tray ab Preisvergleich Geizhals Deutschland

Netzteil:
be quiet! Pure Power 11 CM 400W ATX 2.4 ab Preisvergleich Geizhals Deutschland



Die Festplatten sind vorhanden, daher müssen diese nicht gekauft werden.

Nochmal zum Verständnis mit dem RAM, bei dieser Kombination habe ich die ECC-Unterstützung und die Fehlerkorrektur ist aktiv?



Hat noch jemand Erfahrung bei den RAID/HBA-Controllern ?

AMCC 9650se-8lpml 8-Port PCIe SATA RAID-Controller
LSI SAS 9211-8i 8-Port PCIe SATA SAS RAID-Controller
Fujitsu SAS RAID Controller D2516-D11
LSI Megaraid SAS 9220-8i

 

[Sir Diablo]

Ich würd folgendes kaufen:
AMD Ryzen 7 1700, 8x 3.00GHz, boxed ab Preisvergleich Geizhals Deutschland - 16 anstatt 4 Threads +25€

ASRock Rack X470D4U ab Preisvergleich Geizhals Deutschland - 2x LAN + IPMI (ist als Serverboard konzipiert) +100€ (schluckt dann aber auch den 32 Thread Ryzen 9, falls man doch mal mehr Leistung haben möchte)

Beide können ECC (und er läuft auch im "ECC-Mode")

Da du den HBA ja durchreichen willst, ist die Unterstützung doch völlig egal, ausserdem ist proxmox einfach ein debian, daher werden quasi alle HBAs OOTB unterstützt.

2x8GB Ram Riegel würde ich nicht mehr kaufen (oder falls doch, dann billig gebraucht auf ebay), sondern lieber 1x16GB, lässt dir mehr Spielraum beim etwaigen Speicherupgrade.

 

[Elmario]

...

Nochmal zum Verständnis mit dem RAM, bei dieser Kombination habe ich die ECC-Unterstützung und die Fehlerkorrektur ist aktiv?

Prinzipiell ja.
Garantiert wird dir die Funktion aber, wie immer bei RAM, nur mit den (immer viel zu wenigen) getesten Modulen in der Liste des Maonboardherstellers: http://download.gigabyte.eu/FileList/Memory/server_memory_c246m-wu4.pdf (ECC Spalte)

 

[sch4kal]

Ich würd folgendes kaufen:
AMD Ryzen 7 1700, 8x 3.00GHz, boxed ab Preisvergleich Geizhals Deutschland - 16 anstatt 4 Threads +25€

ASRock Rack X470D4U ab Preisvergleich Geizhals Deutschland - 2x LAN + IPMI (ist als Serverboard konzipiert) +100€ (schluckt dann aber auch den 32 Thread Ryzen 9, falls man doch mal mehr Leistung haben möchte)

Beide können ECC (und er läuft auch im "ECC-Mode")

Da du den HBA ja durchreichen willst, ist die Unterstützung doch völlig egal, ausserdem ist proxmox einfach ein debian, daher werden quasi alle HBAs OOTB unterstützt.

2x8GB Ram Riegel würde ich nicht mehr kaufen (oder falls doch, dann billig gebraucht auf ebay), sondern lieber 1x16GB, lässt dir mehr Spielraum beim etwaigen Speicherupgrade.

Hat aber auch leider keine integrierte Grafikeinheit, was zumindest das Transkoding stark erschwert.
Gerade Emby und Plex profitieren eher von einer integrierten Intel GPU, als von einer Externen.
Externe GPUs ziehen dann auch nochmal ordentlich Strom.

 

[Sir Diablo]

Naja, das Board hat eine eigene Grafikeinheit, die kannst nur nicht zum transkodieren nutzen. Und das Durchreichen der iGPU des i3-8100 ist auch alles Andere als "Plug'n'Play", falls man es überhaupt hinbekommt. Man könnte das transkodieren zwar auf den Host verlegen, aber ich denke das will keiner... Eine kleine dedizierte GPU zum transkodieren, zieht keinesfalls ordentlich Strom, sondern vernachlässigbar wenig mehr als die iGPU und man hat das "gewurschtel" mit dem Durchreichen der iGPU nicht, en Plus ist ein 1700er (65W TDP) auch gar nicht so ineffizient, aber kA wie gut Emby u./o. Plex skalieren, das müsste der TE halt mal selbst recherchieren.

Edit:
Achja, erwähnenswert ist noch, dass der pcie-root-Port der Intel CPU nicht aufteilbar ist in zwei IOMMU Gruppen.

 

[Paddl82]

Ich würd folgendes kaufen:
AMD Ryzen 7 1700, 8x 3.00GHz, boxed ab Preisvergleich Geizhals Deutschland - 16 anstatt 4 Threads +25€

ASRock Rack X470D4U ab Preisvergleich Geizhals Deutschland - 2x LAN + IPMI (ist als Serverboard konzipiert) +100€ (schluckt dann aber auch den 32 Thread Ryzen 9, falls man doch mal mehr Leistung haben möchte)

Beide können ECC (und er läuft auch im "ECC-Mode")

Da du den HBA ja durchreichen willst, ist die Unterstützung doch völlig egal, ausserdem ist proxmox einfach ein debian, daher werden quasi alle HBAs OOTB unterstützt.

2x8GB Ram Riegel würde ich nicht mehr kaufen (oder falls doch, dann billig gebraucht auf ebay), sondern lieber 1x16GB, lässt dir mehr Spielraum beim etwaigen Speicherupgrade.

Diesen Gedanken an "noch mehr Leistung" versuche ich natürlich weitestgehend zu ignorieren. Die Eingangssituation mit den zwei Virtuellen Maschinen soll sich nicht ändern. Eine Windows VM + NAS-VM.
Die werden die meiste Leistung benötigen und da werden mir die 4 Kerne vom i3-8100 auch ausreichen.
Meine aktuelle NAS baut auf einen i3 2.Gen und hat noch gut Luft nach oben. Dort läuft allerdings auch kein Proxmox als lvl-1 Virtualisierer sondern OMV und darin eine Windows 7 VM.


Mit dem RAM gebe ich dir recht, wobei mir dann der Maximal ausbau von 32 GB auch reichen sollten bei meinen Anforderungen.


Ich selber habe auch Jahrelang "Erfahrung" mit Intel CPUs gemacht, daher bin ich mir bei den AMDs nicht so sicher.
Auch zu den ganzen Transcoding-Themen (emby, plex, tvheadend...) finde ich viel zu Intel und wenig zu AMD.


IPMI ist natürlich verlockend, mir aber diesen Aufpreis nicht wert.


Ok, wenn das Durchreichen so funktioniert, sollte es ja mit dem Controller keine Probleme geben...

- - - Updated - - -

Edit:
Achja, erwähnenswert ist noch, dass der pcie-root-Port der Intel CPU nicht aufteilbar ist in zwei IOMMU Gruppen.

Das soll heißen, das ich nur ein Gerät durchreichen kann? Entweder die TV-Karte ins Windows oder den HBA in die NAS?
Ist es auch möglich, beide Geräte in eine VM durchzureichen?

 

[Sir Diablo]

Der (gesplittete) root-Port ist genau für ein OS nutzbar, ob host oder VM ist egal.

Das hast du aber gelesen?

...Und das Durchreichen der iGPU des i3-8100 in KVM ist auch alles Andere als "Plug'n'Play", falls man es überhaupt hinbekommt....

Dann nimm einen Ryzen 5 1600 (~100€) und ein ASRock AB350 Pro4 (~75€), das ist günstiger, kann auch ECC und ist schneller, aber da

...
Ich selber habe auch Jahrelang "Erfahrung" mit Intel CPUs gemacht, daher bin ich mir bei den AMDs nicht so sicher.
Auch zu den ganzen Transcoding-Themen (emby, plex, tvheadend...) finde ich viel zu Intel und wenig zu AMD.
...

zu sehr nach Beratungsresistenz schreit, bin ich jetzt raus...

 

[Paddl82]

Der (gesplittete) root-Port ist genau für ein OS nutzbar, ob host oder VM ist egal.

Das hast du aber gelesen?


Dann nimm einen Ryzen 5 1600 (~100€) und ein ASRock AB350 Pro4 (~75€), das ist günstiger, kann auch ECC und ist schneller, aber da



zu sehr nach Beratungsresistenz schreit, bin ich jetzt raus...

Das würde ich nicht unbedingt auf die "Beratungsresistenz" zurückführen, eher mit einem gewissen Respekt.
Da ich meine Gehversuche in Proxmox und etwaigen NAS-Betriebssystemen immer unter Intel gemacht habe, gehe ich da mit einer gewissen Vorsicht dran und würde mir nicht direkt Beratungsresistenz attestieren.
Wobei ich natürlich bei solch Persönlichen Diagnosen auch befangen bin

Werde mir aber mal das AMD Umfeld morgen etwas näher anschauen, denn solch eine Investition sollte natürlich auch gut überlegt sein.


Trotzdem danke für deine Mühe

 

[VirtuGuy]

Naja, das Board hat eine eigene Grafikeinheit, die kannst nur nicht zum transkodieren nutzen. Und das Durchreichen der iGPU des i3-8100 ist auch alles Andere als "Plug'n'Play", falls man es überhaupt hinbekommt. Man könnte das transkodieren zwar auf den Host verlegen, aber ich denke das will keiner...

Über VAAPI ist das ganze mit Intel eigentlich absolut unkomliziert. Mit AMD/Intel ist es abhängig von den Treibern ein wenig mehr Aufwand, aber am Ende nicht wesentlich komplizierter. Sofern man mit 4 Core´s auskommt, würde ich die günstigere Variante wählen.

 

[netresident]

zu sehr nach Beratungsresistenz schreit, bin ich jetzt raus...

Nur weil er nicht sofort Deinen Vorschlag aufgreift, heißt das ja nicht, dass er beratungsresistent ist.
Zu AMD & ECC gab/gibt es auch einige kritische Stimmen im Netz... z.B. hier oder hier.

 

[AliManali]

Das würde ich nicht unbedingt auf die "Beratungsresistenz" zurückführen, eher mit einem gewissen Respekt.

Ach weisst Du, der @Sir Diablo schreit immer gleich Beratungsresistenz, wenn man was hinterfragt. Hat er bei mir auch grad von Anfang an schon gemacht, den Grund weiss ich heute noch nicht. Einfach ignorieren die Sprüche von dem, erspart einem den Ärger. Und ja, mein Server läuft auch ohne seine Hilfe ganz wunderbar. Bei mir hat er btw. nur rum getrollt, was konstruktives kam da nicht bei rum.

Hat sicher nen "und Tschüss..." Kleber und nen Fuchsschwanz am Auto, sieht man ja schon an seinem geistreichen Nick. Ist halt ein böser Junge, und lässt gern mal seinen Frust an Hilfesuchenden ab.

 

[danielmayer]

Das soll heißen, das ich nur ein Gerät durchreichen kann? Entweder die TV-Karte ins Windows oder den HBA in die NAS?
Ist es auch möglich, beide Geräte in eine VM durchzureichen?

nein und ja: beide in die gleiche VM oder keine irgendwohin.

iGPU-Passtrough eines i3-7100 lief auf c236-Board problemlos.

AMD GPUs laufen letztlich auch über vaapi, aber in der Tat ist the-Intel-way besser dokumentiert.

 

[Paddl82]

Danke für den Zuspruch.

Mal angenommen ich bleibe bei dem i3-8100 wie eingangs erwähnt.
Auf was muss ich achten, damit ich verschiedene Hardware an unterschiedliche VMs durch REICHE? Also ich meine, welches Feature muss das Mainboard bereitstellen?

Die GPU vom i3 würde ich doch auch durch reichen? Also insg. 3 Geräte.
Wobei ich dort, ja dann auch vor einem neuen Problem stehen würde.
Ich würde die GPU für DVBViewer unter Windows-VM benötigen und für Emby auf in der NAS-VM...

 

[Stueckchen]

Die GPU kann GVT-g, also du kannst die GPU an verschiedene VMs durchreichen, indem du mehrere vGPUs erstellst.

 

[danielmayer]

Durchreichen = VT-d
GVT-g ist eine GPU-Virtualisierungstechnik, die zumindest bei mir nicht gut funktioniert hat. Befindet sich ziemlich hart in der Entwicklung und würde ich als testing bezeichnen. Bei meinem Board war es jedenfalls nix, die zwei notwendigen Apperture-Sizes/u.ä. müssen vom Bios korrekt zugeordnet werden. Ist bei meinem Supermicro nicht der Fall...
Aber notfalls nimmste eben Emby-Server auf die Windows-Maschine und holst die Quell-Videos per SMB.

 

[AliManali]

Edit:
Achja, erwähnenswert ist noch, dass der pcie-root-Port der Intel CPU nicht aufteilbar ist in zwei IOMMU Gruppen.

Seit wann hat denn Intel IOMMU? häää? ...ach ja, Du virtualisierst Deinen Desktop wohl. Muss ja jeder selber wissen

 

[danielmayer]

Alimanali, das fällt unter Trollen, da inhaltlich inkompetent und aggressiv.

 

[Stueckchen]

Durchreichen = VT-d
GVT-g ist eine GPU-Virtualisierungstechnik, die zumindest bei mir nicht gut funktioniert hat. Befindet sich ziemlich hart in der Entwicklung und würde ich als testing bezeichnen. Bei meinem Board war es jedenfalls nix, die zwei notwendigen Apperture-Sizes/u.ä. müssen vom Bios korrekt zugeordnet werden. Ist bei meinem Supermicro nicht der Fall...
Aber notfalls nimmste eben Emby-Server auf die Windows-Maschine und holst die Quell-Videos per SMB.

Habe das selber mangels passender Hardware auch nich nicht probiert, aber versuch macht klug . Alternativ: wenn man kein Gerät hat was zwinged DVBViewer braucht bzw. wenn die Karte DVB Linux kann, auf z.B.: TVheadend umstellen. Dann kann man beides in LXC Containern fahren und muss sich mit durchreichen nicht rumplagen.

 

[b99]

Ich würd folgendes kaufen:
...
ASRock Rack X470D4U ab Preisvergleich Geizhals Deutschland - 2x LAN + IPMI (ist als Serverboard konzipiert) +100€ (schluckt dann aber auch den 32 Thread Ryzen 9, falls man doch mal mehr Leistung haben möchte)

....

Danke für den Tipp... wusste gar nicht, das jemand sowas baut. Ich plane sowieso schon seit einer Weile, mein Bastelserver ein Upgrade zu verpassen. Da ist dieses Brett was für mich.
Wie verhält sich denn aktuell ein Ryzen mit Proxmox? Gibt es da Probleme? Wieviel muss ich da manuell noch Hand anlegen? Durchreichen von USB-Geräten?

 

[Paddl82]

Habe das selber mangels passender Hardware auch nich nicht probiert, aber versuch macht klug . Alternativ: wenn man kein Gerät hat was zwinged DVBViewer braucht bzw. wenn die Karte DVB Linux kann, auf z.B.: TVheadend umstellen. Dann kann man beides in LXC Containern fahren und muss sich mit durchreichen nicht rumplagen.

Dies ist natürlich auch eine Option, dann müsste nur der HBA durch gereicht werden. Somit hätte ich dann auch alles abgedeckt.


Denke das ich bei Intel bleiben werde, da mir auch einfach die Zeit fehlen wird mich bei den Problemen unter AMD einzuarbeiten.
Der System soll kein Bastelrechner werden. Es soll final eingerichtet werden mit den oben genannten Aufgaben und seinen Dienst tun!

Ich habe mir jetzt zwei Konfigurationen zusammengestellt.
Die erste würde soweit alles abdecken was ich als "Grundbedarf" einstufen würde für mein vorhaben.
Beim zweiten Warenkorb hätte ich noch IPMI sowie von Supermicro Zertifizierten Arbeitsspeicher.
Die M.2 sowie das Netzteil sind vorhanden.



Welche Konfiguration würdet ihr dem Vorrang geben?



1. https://geizhals.de/?cat=WL-1231610
Fujitsu D3644-B (S26361-F5110-V162)
Intel Core i3-8100, 4x 3.60GHz, tray (CM8068403377308)
Kingston Server Premier DIMM 16GB, DDR4-2400, CL17-17-17, ECC (KSM24ED8/16ME)
Samsung SSD 970 EVO Plus 500GB, M.2
be quiet! Pure Power L7 530W ATX 2.3

2. https://geizhals.de/?cat=WL-1231607
Supermicro X11SSH-F retail (MBD-X11SSH-F-O)
Intel Core i3-8100, 4x 3.60GHz, tray (CM8068403377308)
Samsung DIMM 16GB, DDR4-2666, CL19-19-19, ECC (M391A2K43BB1-CTD)
Samsung SSD 970 EVO Plus 500GB, M.2
be quiet! Pure Power L7 530W ATX 2.3

 

[Sir Diablo]

Wie verhält sich denn aktuell ein Ryzen mit Proxmox? Gibt es da Probleme?

nö

Wieviel muss ich da manuell noch Hand anlegen?

gar nix, bzw. genau so viel wie bei Intel auch, einfach an das proxmox wiki halten
Pci passthrough - Proxmox VE

Durchreichen von USB-Geräten?

klappt wunderbar, man kann sogar den kompletten USB Controller durchreichen

 

[VirtuGuy]

Dies ist natürlich auch eine Option, dann müsste nur der HBA durch gereicht werden. Somit hätte ich dann auch alles abgedeckt.

[/I]

Leg den Pool einfach am Host an, dann brauchst du nichts basteln/durchreichen.

Denke das ich bei Intel bleiben werde, da mir auch einfach die Zeit fehlen wird mich bei den Problemen unter AMD einzuarbeiten.
Der System soll kein Bastelrechner werden. Es soll final eingerichtet werden mit den oben genannten Aufgaben und seinen Dienst tun!

[/I]

Da sehe ich eigentlich keinen so großen Unterschied. Entweder selber ein wenig basteln oder was fertiges kaufen (zb Dell T330).

Welche Konfiguration würdet ihr dem Vorrang geben?



[/I]

Die günstigere - sofern du auf die Features vom SM Board verzichten magst.

 

[Trambahner]

@ Paddl82: Das X11SSH-F läuft nicht mit einem i3 8100, das Board ist die vorherige Generation. D.h. nur bis Xeon E3 bis v6 und i3 bis 7000er reihe.

Du meinst vmtl. das X11SCH-F.