[Kaufberatung] Homeserver 2020

[The_Own]

Hallo Community,

ich möchte mir demnächst einen Homeserver zulegen. Da ich mir schon seit ein paar Monaten den Kopf zerbreche, was ich mit dem Server genau betreiben möchte und welche Hardware dafür geeignet wäre, will ich eure Kompetenz hier mit einfließen lassen.
Ich habe nämlich das Gefühl, dass ich den Wald vor lauter Bäumen nicht mehr sehe


Hier meine Hardware zusammenstellung:

CPU: AMD Ryzen 5 3600
Motherboard: MSI X470 Gaming Plus Max
RAM: 1x HyperX DIMM 32 GB DDR4-3000
Gehäuse: Fractal Design Define R6
Netzteil: be quiet! Straight Power 11 Platinum 550W
Speicher: Samsung SSD 970 EVO 500GB (vorhanden)
Speicher: 4x WD red 3TB (RAID5) (vorhanden)
PCIe (1x): DD Cine S2 V7 Advanced (vorhanden)


Eventuell möchte ich, zu einem späteren Zeitpunkt, folgende Komponenten hinzufügen:

RAM: 3x HyperX DIMM 32 GB DDR4-3000
PCIe (8x): Mellanox ConnectX-3 10Gbit
PCIe (4x): IBM ServeRAID M1015 SAS / SATA PCI-e Raid Controller LSI SAS9220-8i 46M0861 (IT Mode)
PCIe (4x): IBM Intel 4x 1GbE Quad Port
Speicher: 4x WD RED 10TB


Was soll alles auf meinem Homeserver Laufen?

HOST: Proxmox

--> FreeNAS​

--> TVheadend​

--> Jellyfin​

--> PiHole​

--> Bitwarden​

--> MySQL​

--> ioBroker​

--> Reverse Proxy​

--> OpenVPN​

--> Docer​

--> Bitwarden​

​

​

Hier meine noch offenen Fragen:

1. Was ist eure Meinung zu dieser Zusammenstellung? Habt ihr eventuell Verbesserungsvorschläge?
2. Bekomme ich einen Stromverbraucht von ca. idle 50W hin (Mit der Grundausstattung)?
3. Reichen die PCIe Lanes für die Erweiterungskarten, ohne Abstiche machen zu müssen?
4. Der Server sollte das TV-Signal (HD) und die Medieninhalte (HD) Transcodieren können. Kann ich den AMD R5 3600 dafür nehmen oder benötige ich dafür den AMD R5 3400G?

Ich freue mich auf eure Meinungen Bleibt Gesund!

 

[Opticum]

1. IPMI und ECC Ram wären mir persönlich wichtig. Ersteres für den Zugriff ohne angeschlossene Maus/Tastatur/Bildschirm, und zweites weil es für 24/7 und mir wichtige Daten den kleinen Aufpreis rechtfertigt. Für jede kleine Versicherung zahlt man mehr und das monatlich.
2. Round about 50 Watt +- sollten Idle möglich sein in der Grundausstattung. Wenn du allerdings noch 10G, Raid Controller und Quad Nic hinzufügst, wirst du eher bei 80 Watt landen.
3. keine Erfahrung bei der Konstellation
4. keine Erfahrung bei der Konstellation

 

[besterino]

zu 3.: Auch der Ryzen stellt 16 "freie" CPU PCIe-Lanes zur Verfügung. Mindestens 4 Lanes dürften auch vom Chipsatz bereitgestellt werden können. Du musst also im Zweifel bei Deinem Wunsch-Mainboard schauen, dass das die entsprechende Anbindung/Aufteilung der Slots ermöglicht.

 

[TCS]

bezüglich ECC und IPMI schließe ich mich Opticum an.

Verbrauch hängt stark von den Platten/Controllern ab.
Mein Serverchen besteht aus:
x11ssl-f mit nem KabyLake Xeon
2x8+1x16GB Ram
M1015
2xDVB-S + 2xDVB-T
7x3,5 + 3x2,5SSD
und lande unter ESXi auf 75-80W im Idle und ohne Spindown der Platten.

Ne Mellanox 10Gbit/s nimmt sich gerne 10W
die m1015 ~ 15W
TV Karte in meinem Fall ~10W (DD octopus)
quadnic - keine Ahnung, eine Intel Dual GBE liegt bei ~5W

ECC ist bei den Ryzen (non pro) leider noch etwas verzwickt - die CPUs könnens, aber nicht zertifiziert, die Mainboards betreiben den Speicher oft im Non-ecc modus..

FreeNas = ZFS die Einschränkungen bezüglich Erweiterung des Storage sind dir bewusst?

in letzter Zeit sieht man viele Builds mit nem i3-9300 - günstige CPU ECC (mit dem richtigen MB)
und ne gut unterstützte GPU fürs umwandeln.

 

[Trambahner]

Eventuell ein X570 WS Ace ( einziges MB mit 3* PCIe x8 elektrisch, davon zwei PCIe4.0 ) oder ein X570 Taichi ?
Beide sollten ECC mit non-APU können, bringen aber natürlich keine IPMI mit, und haben gute VRMs, so dass da bei Bedarf auch bis zum 3950 geht.

 

[The_Own]

Vielen Dank für eure Antworten.
AMD ist dann für mein Projekt nicht die beste Wahl. Die X570 Boards sind mir etwas zu teuer und die Gefahr ist zu groß, dass nachher die ECC Unterstützung nicht gegeben ist.

Ich habe jetzt mal nach einer Intel alternative geschaut. Meine Auswahl sieht wie folgt aus:

CPU: Intel Core i3-9300 / Intel Xeon E-2224G
Motherboard: Supermicro X11SCL-F retail
RAM: Samsung 32GB DDR4-2666 CL19 ECC

5. Welche Vorteile habe ich, bei der Benutzung eines Xeon Prozessors, gegenüber dem i3? Mir ist nur die Unterstützung von 128GB RAM aufgefallen. Lohnt sich der Aufpreis von 100€?​

6. Wird der IPMI Port nur für die Steuerung des Servers verwendet oder dient er auch als 1Gbit LAN Port?​

7. Verstehe ich das richtig, das der M2 Anschluss auf dem Board eine eigene PCIe Anbindung besitzt? Nicht das mir noch ein PCIe Slot flöten geht.​

FreeNas = ZFS die Einschränkungen bezüglich Erweiterung des Storage sind dir bewusst?

Soweit ich weiß muss ich entweder alle Festplatten aus dem Verbund nach und nach austauschen oder einen zweiten Festplattenverbund anlegen. Sehe ich das richtig?

 

[Green7]

@The_Own ich bau gerade ein ähnliches system , aber mit einem i3-9100F , das Der IPMI Port ist rein für die Fernwartung vorgesehen , da Läuft ein Webserver wo mit man den PC Headless bedienen kann und z.b Bios Updates machen kann. Für Lan sind die beiden GB Onboard Ports.

Der M2 Port hängt am C424 Chipsatz siehe Manual Seite 17

 

[Digi-Quick]

zu 5 : Wo steht, daß der i3 keine 128 GB unterstützt? Das Mainboard kann max. 128GB RAM (4x32GB), warum sollte das CPU abhängig sein?
zu 6: du kannst für IPMI entweder den dedicated IPMI-LAN Port nutzen oder shared mit dem ersten Netzwerkport der Intel Netzwerkkarte.

 

[The_Own]

zu 5 : Wo steht, daß der i3 keine 128 GB unterstützt? Das Mainboard kann max. 128GB RAM (4x32GB), warum sollte das CPU abhängig sein?

Laut Intel beträgt die maximale Speichergröße beim i3 64GB.

Intel® Core™ i3-9300 Prozessor (8 MB Cache, bis zu 4,30 GHz) – Produktspezifikationen | Intel

Intel® Core™ i3-9300 Prozessor (8 MB Cache, bis zu 4,30 GHz) Kurzübersicht über Spezifikationen, Funktionen und Technik.

ark.intel.com

 

[Digi-Quick]

OK, dann kann der Speichercontroller wohl nur 64GB adressieren....- irgendwie müssen sich die Consumer CPUs ja von den Server-CPUs unterscheiden.

 

[netresident]

5. Welche Vorteile habe ich, bei der Benutzung eines Xeon Prozessors, gegenüber dem i3? Mir ist nur die Unterstützung von 128GB RAM aufgefallen. Lohnt sich der Aufpreis von 100€?

Höherer Turbotakt, damit etwas mehr Performance (zumindest auf dem Papier). Bis zu 128GB RAM, zudem DDR4-2666.
Die Verfügbarkeit der Xeon E-2xxx ist schon seit einiger Zeit überschaubar, daraus resultiert dann ein entsprechendes Preisniveau. Aus meiner Sicht lohnt sich in deinem Fall der Aufpreis nicht.

 

[tolga9009]

Die X570 Boards sind mir etwas zu teuer und die Gefahr ist zu groß, dass nachher die ECC Unterstützung nicht gegeben ist.

Warum ist dann das Supermicro X11SCL-F retail für 200€+ in Ordnung, wenn X570 zu teuer ist?

Desweiteren stimmt das mit dem ECC-Support auch nicht ganz, denn seit X570 wird ECC bei einigen Herstellern wie ASRock groß und fett beworben, wie etwa hier:


Ein alternativer Vorschlag:
CPU: Ryzen 3600 6C/12T
Mainboard: ASRock X570 Phantom Gaming 4
RAM: Samsung 32GB DDR4-2666 CL19 ECC

Das ASRock X570 Phantom Gaming 4 ist 50€ günstiger als das Supermicro. Dafür hat es kein IPMI und es fehlen die 2 zusätzlichen NICs. Dafür bietet dir die Ryzen 3600 für das gleiche Geld (!) 2 zusätzliche Cores und 8 zusätzliche Threads und Support für bis zu 128GB RAM. Die PCIe-Slots geben zwar nur x16, x4 und 2-mal x1 her, jedoch kommt das Board mit 8x SATA3 Onboard, dürfte also für dein zukünftiges Upgrade auf insgesamt 8 Festplatten auch ohne HBA schaffen (= gut fürs Stromsparen). Die PCIe-Ports sind zudem "offen", sodass trotzdem bei Bedarf ein HBA dort mit x1 betrieben werden kann, was bei ~4 angeschlossenen HDDs völlig in Ordnung ist (PCIe 2.0 x1 = ~500MB/s). Oder eben der 1Gb Quad NIC.

Bzgl. Stromaufnahme: mein X470 Pro + Ryzen 2700 + RX480 + 2x 3,5" 1TB Toshiba 7200RPM + 2x M.2 SSDs + 2x 2,5" SSD + 860W Netzteil (ja, ich weiß...) kommen auf 53W @idle. Wenn man die RX480 rausrechnet, die 7200RPM HDDs gegen 5400RPM tauscht und ein passenderes Netzteil mit z.B. 400W nimmt, dann sind sicherlich auch ~25W @idle drin.

Ich halte 4C/4T im Jahre 2020 einfach nicht mehr zeitgemäß und kann nicht mit reinem Gewissen jemanden so eine CPU für ~160€ empfehlen. Wenn es unbedingt der Intel sein soll, dann in Verbindung mit dem Supermicro maximal (!) den i3-9100F für ~75€. Das Supermicro Board hat Onboard VGA, sodass du die iGPU nicht brauchst für IPMI. Locker mal die Hälfte gespart.

 

[craxity]

@tolga9009 Bei dem AMD-Vorschlag musst du noch eine GPU einrechnen. Die kostet nicht nur, sondern nimmt auch PCIe-Lanes weg. Abgesehen davon ist der Stromverbrauch garantiert höher als bei einem 1151-System. Ich bin mit eine B450-board und einem 2700X nicht unter 30W gekommen und das nur mit eines SSD und einer kleinen GPU. Der X570 braucht nach meiner Kenntnis auch mehr als der B450.

 

[TCS]

der alle Festplatten aus dem Verbund nach und nach austauschen oder einen zweiten Festplattenverbund anlegen. Sehe ich das richtig?

Genau, bei zB 4x10TB im R5/RZ1 muss man sich zudem im Klaren sein, dass ein Rebuild eher geringe Chance hat ohne Fehler durchzulaufen. Ich bin vor 2 Jahren den Zwischenschritt auf 3x6TB gegangen und spiele jetzt immer mehr mit dem Gedanken auf Mirrors umzuschwenken.
Wie soll dein Storage Layout ausschauen? Liegt der Speicher für die VMs am Host oder im Freenas?

fullquote entfernt

Es ist schön und gut dass einige Hersteller hier vorangehen, und ich erwarte mir hier von AMD für Zen3 ein klareres Statement, aber leider bleibt ECC bei den non-pro Ryzen ein Glückspiel. Auch ASRock garantiert dir die ECC Funktion nur mit Ryzen pro CPUs .

Würden wir hier von einem PC sprechen würde ich dir in großen Teilen sogar recht geben, bei einen VM Host liegen die Anforderungen aber etwas anders.
- Onboard Sata sind nett aber der HBA wird in solchen Systemen genutzt um einer VM direkten Zugriff auf die HDDs zugeben (PCIe Passtrough)
- 1 LAN Port ist schnell wenig (muss man mit -1 PCIe bzw. ~5W "zurückkaufen")
- IPMI - eines der Dinge die man nicht mehr missen möchte - Erstinstallation, Fehlersuche, Biossetting ändern, Monitoring...
- auch fehlen so praktische Dinge wie z.B. der USB-A Port auf dem Mainboard

Auch beim Stromverbrauch wär ich vorsichtig, der x570 ist kein Kostverächter, ESXi oder Proxmox sind nicht so stark auf Effizienz getrimmt wie ein Desktop OS.

Zudem kommt, dass der Vorteil an CPU Power des R5 3600 in einem VM Host schnell verpufft, bei mir laufen auf einem E3-1220v6 und habe in Last Szenarien selten >3Ghz belegt - bei 6Linux und 2 Windows VMs.
In der Regel ist Ram-Kapazität eher das Limit als die CPU Power.

Die Entscheidung ob i3 f/non-f würde ich davon abhängig machen wie wichtig die Transcodierung in Plex ist, bei diesem Einsatzzweck ist die iGPU dank Quicksync eine Macht.

 

[sch4kal]

Wenn du beim Intel auf IPMI verzichten kannst, lohnt sich auch ein Blick auf z.B. das Fujitsu D3644-B, ist wohl eins der sparsamsten C246 Mainboards auf dem Markt, hat leider aber auch nur 1 LAN-Port.

 

[tolga9009]

@tolga9009 Bei dem AMD-Vorschlag musst du noch eine GPU einrechnen.

Das System soll Headless fahren. Die GPU brauchst du lediglich bei Neuinstallationen des Hypervisors / Hosts und bei BIOS-Updates. Und bei den BIOS-Updates muss man ja auch nicht alles flashen, was nicht dringend empfohlen ist.

@tolga9009Abgesehen davon ist der Stromverbrauch garantiert höher als bei einem 1151-System. Ich bin mit eine B450-board und einem 2700X nicht unter 30W gekommen und das nur mit [...] kleinen GPU. Der X570 braucht nach meiner Kenntnis auch mehr als der B450.

Die "kleine" GPU macht halt 8W - 15W @idle aus, das ist das Problem. Der X570 ist etwas stromhungriger (und performanter), der Mehrverbrauch gegenüber B450 ist abhängig von den angeschlossenen Geräten (hier). Bei einem durchschnittlichen System können das ca. 4W zusätzlich sein.

Es muss auch nicht unbedingt X570 sein; es geht auch B450. Bei einigen X570 Mainboards wird ECC lediglich offen und fett beworben, das ist alles. Funktioniert technisch nicht besser / schlechter als auf B450 / X470.

Es ist schön und gut dass einige Hersteller hier vorangehen, und ich erwarte mir hier von AMD für Zen3 ein klareres Statement, aber leider bleibt ECC bei den non-pro Ryzen ein Glückspiel. Auch ASRock garantiert dir die ECC Funktion nur mit Ryzen pro CPUs .

Es ist richtig, dass bei den APUs ECC tatsächlich nur bei den PRO CPUs unterstützt wird. Das wird von den Mainboard-Herstellern aber auch offen kommuniziert: bei ASRock unter den Spezifikationen: "*For Ryzen Series CPUs (Picasso), ECC is only supported with PRO CPUs."

Das klare Statement von AMD ist, dass die Consumer-Plattformen für ECC nicht validiert sind. Man überlässt es den Mainboard-Herstellern, ob und wie sie mit ECC auf ihren Plattformen umgehen. Das Silizium gibt es her und ist nicht künstlich deaktiviert (außer bei APUs). Das macht es halt so interessant für den Home-Server Bereich, da man so günstig an ECC rankommen kann.

- Onboard Sata sind nett aber der HBA wird in solchen Systemen genutzt um einer VM direkten Zugriff auf die HDDs zugeben (PCIe Passtrough)

Das stimmt. Dann muss OP aber auch den Storage Controller von "Eventuell möchte ich, zu einem späteren Zeitpunkt, folgende Komponenten hinzufügen" rausnehmen und direkt mit in den aktuellen Preis reinrechnen.

- 1 LAN Port ist schnell wenig (muss man mit -1 PCIe bzw. ~5W "zurückkaufen")
- IPMI - eines der Dinge die man nicht mehr missen möchte - Erstinstallation, Fehlersuche, Biossetting ändern, Monitoring...

Kann man pauschal so nicht sagen. OP hat aber bereits erwähnt, dass ein Quad NIC dazukommen soll, also müsste das Supermicro Board auch entsprechend erweitert werden.

Für dich mag IPMI unverzichtlich sein, für andere könnte es völlig verschwendetes Budget sein. Es ist völlig legitim darauf zu verzichten, wenn man es nicht braucht. Das muss man in jedem Einzelfall immer neu bewerten. Damit wir hier keine Grundsatzdiskussion führen müssen, direkt mal Frage an den OP: ist IPMI für dich wichtig, oder kannst du darauf verzichten?

Es muss nicht heißen, dass Xeon E3 v6 auch anderen reicht. Ob man vorher ins RAM- oder in CPU-Limit kommt, hängt davon ab, was man macht und auch wie man den Server konfiguriert hat. Z.B. habe ich hier auf dem Desktop 9 VMs laufen und der Ryzen 7 2700 (8C/16T) kackt dabei vollkommen ab, ehe ich ins RAM-Limit (48GB) komme. Auf der anderen Seite habe ich einen leichtgewichtigen, effizienten Server, wo alle Dienste in eigenen Container-Umgebung laufen, statt in VMs. Der Host managed den Storage, die Hardware und die Container, Rest wird in Containern realisiert. Ergebnis: stolze 700MB von 16GB RAM belegt, obwohl Nextcloud, GitLab, PostgreSQL, DLNA, Backup-Server, File-Server, OpenVPN usw. parallel jeweils in eigenen Containern (systemd-nspawn) am Laufen sind. Performance wie auf Blech und super effizient. Hier werde ich auch sicherlich vorher ins CPU-Limit fahren, bevor ich ins RAM-Limit komme.

Außerdem bist du bei AMD bzgl. RAM besser aufgehoben: Support für bis zu 128GB (hier) gibt es bereits unter 100€, während Intel-Systeme mit i3 auf 64GB begrenzt werden. Beim i7 sind zwar 128GB erlaubt, aber ohne ECC. Und: der Ryzen 3600 war nur ein Vorschlag. Wenn der zu überdimensiert ist, gibt es für 95€ auch einen Ryzen 1600 AF (12nm). Solange es 6C/12T für 95€ gibt, muss es schon einen *sehr* guten Grund dafür geben, für 4C/4T ~160€ hinzublättern. Für Geduldige gibt es bald auch Ryzen 3 3100 (Zen 2) mit 4C/8T unter 100€.

 

[TCS]

Die letzte Mitteilung von Seiten AMD (die ich kenne sprach von) "ECC nicht deaktiviert und nicht validiert" - Im Gegensatz zur TR-Plattform wo das aktiv beworben wird.
Mein Wunsch wäre dass AMD hier Klarheit schafft - CPU x + Chipsatz y = ECC, immer.
Ich befürworte, dass Funktionen nicht künstlich beschnitten werden nur um die Produktpalette breiter aufzustellen, aber die Unsicherheit ob und wie gut das am Ende funktioniert schreckt einen schon ab.

Natürlich muss ein E3 v6 nicht jedem und immer reichen.
Meine Einschätzung in diesem speziellen Fall beruht auf der Gegenüberstellung was der The_Own umsetzten möchte und wie meine Konfig ausschaut.
The_Own | TCS
HOST: Proxmox | ESXi
--> FreeNAS | FreeNAS (nested)
--> TVheadend | TVMosaic
--> Jellyfin | Plex
--> PiHole | PiHole
--> Bitwarden | none
--> MySQL | MySQL
--> ioBroker | ioBroker
--> Reverse Proxy | none
--> OpenVPN | OpenVPN
none | mediawiki
none | MQTT Broker

bin auf der CPU selten > 40% Auslastung hab aber 24GB Ram belegt, klarerweise kommt es bei MySQL, ioBroker und nicht zuletzt FreeNAS auf die genaue Konfig an.

Beim Stromverbrauch Im Idle nehmen sich die Systeme sicherlich wenig. Je nachdem wie stark die Traskondierung genutzt werden soll ist die IGP schon ein großer Vorteil.

Rein CPU compute performance würde ich sofort den Zen2 nehmen (hab ich für meinen PC auch), wenn wir uns aber die ganze Plattform anschauen hat der i3 durchwegs seine positiven Seiten (ECC Garantie, IPMI, IGP), das sind Punkte die einem auf mal ein paar € wert sein können - auch wenn man dafür dann nicht die CPU Leistung bekommt. Die Nachteile sind CPU Performance und maximaler RAM Ausbau - PCIe layout/Flexibilität hängt vom genauen Mainboard ab.