[Guide] NAS/Server Hardwareguide 2020

[Blebbens]

Ups, meinte dieses hier : Seasonic 350W ATX 2.3 (SSP-350GT)

 

[v3nom]

Blebbens welches Gehäuse wird es denn? Daraus kannst du ja ableiten wie groß das NT sein darf. Flex ATX würde ich auch möglichst vermeiden, das ist in der Consumer Ecke eher die Ausnahme.

ATX NTs: https://geizhals.de/?cat=gehps&xf=1119_2~1248_450~360_300~395_5~4174_ATX

 

[Blebbens]

Ne, Flex war ein Versehen, soll ein ATX werden.
Bestelle gleich das Fractal Design Define R5/6, sobald ich das Netzteil geklärt habe.

Beitrag automatisch zusammengeführt: 25.04.2020

Okay, ein 350 Watt-Netzeil mit Bronze-Zertifizierung scheint für eine Server-Last efizienter zu sein als ein 400 Watt-Gold-Netzteil. Was meint Ihr? Die Dauerlast ist ja eher gering.

Es wird bei mir ein C246-Board, 16GB RAM, i3-9100 mit anfangs 4 WD REDs, später vielleicht nich 2 weitere.
350 Watt erscheinen mir als angemessen.

 

[v3nom]

Genug SATA Anschlüsse vorhanden?

 

[Falo999]

Okay, ein 350 Watt-Netzeil mit Bronze-Zertifizierung scheint für eine Server-Last efizienter zu sein als ein 400 Watt-Gold-Netzteil. Was meint Ihr? Die Dauerlast ist ja eher gering.

Das kann man leider so nicht sagen.
Wichtig ist zu wissen das die Zertifizierung halt nur für eine recht hohe Auslastung wirklich zählt.
So wird der für uns wichtig 10% Bereich überhaupt erst bei der Titanium Netzteilen überprüft.

Am ende bleibt halt nichts übrig zu googlen nach Netzteil Test die auch bei 5/10% Belastung messen oder bei einer festen geringen Leistung.

Be Quiet war da immer recht gut und bezahlbar allerdings sind gerade die kleinen 300-400 Watt Netzteil derzeit sehr schwer zu bekommen.

 

[quotengrote]

Moin,

ich bin auf der Suche nach einem neuen Homeserver da ich mehr Plätze für Festplatten benötige.
Bisher verwende ich eine HP Z440 Workstation.
CPU ist nen Intel Xeon E5-1650 v3 mit 48GB DDR4-2133 ECC REG.


Zusätzlich ist noch ein HP H220 HBA im IT-Mode eingebaut(müsste ein LSI 2308 sein)
Grafikkarte ist ne ganz günstige AMD imho, hier aber unwichtig da ich die bisher nur fürs BIOS benötigt habe.

Installiert ist auf der Kiste ProxMox mit 9 VMs und 6 Containern. Der LoadAverage beträgt im Schnitt unter 1.
Die RAM Auslastung immer über 30GB.

Im Leerlauf steht die Kiste bei ca. 90 Watt.
Wenn möglich würde ich mir dem neuen Server gerne unter diesem Wert liegen.

Ursprünglich wollte ich den Z440 in eine anderes Gehäuse umpflanzen, aber da das Mainboard kein ATX-Standard ist und auch die Belegung der Netzteilstecker anders ist müsste ich mit einem Adapter + neuen NT arbeiten und kann mir dann nicht sicher sein ob die Gehäusestecker(z.B. Power) auch vernünftig aufs Mainboard passen. Und auch die RAM Lüfter die die Z440 benötigt würden nicht passen da sie im Gehäuse "einklicken".
Also Idee verworfen und mal über neue Hardware nachgedacht...

Bei den Bauvorschläge habe ich den Intel Core i3-9100 dabei, ich bin mir aber nicht sicher ob der für die Anzahl der VMs/Container ausreicht, hat da da Erfahrungen?



Ich möchte:
- IPMI/iRMC/iLO
- 2x NIC
- RAM mindestens 64GB möglich
- und (illusorisch) RDIMMS(dann könnte ich die alten weiter verwenden)
- später eine 10GE NIC

Was muss:
- VT-d
- VT-x
- 24/7
- ECC
- Grafikausgabe ohne extra Graka

Was haltet ihr von den Vorschlägen?

	Bauvorschlag - i3	Bauvorschlag - AMD	Bauvorschlag - Xeon
CPU	Intel Core i3-9100	AMD Ryzen 3 2200G	Intel Xeon E-2124
CPU Kühler	Boxed-Kühler
RAM	4x Mushkin DIMM 16 GB DDR4-2133 ECC oder 4x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC		4x Mushkin DIMM 16 GB DDR4-2133 ECC oder 4x Kingston Server Premier DIMM 16GB, DDR4-2666, CL19-19-19, ECC
Mainboard	Supermicro X11SCL-F oder Supermicro X11SCH-F oder Supermicro X11SCA-F	ASRock X570D4I-2T	Supermicro X11SCL-F oder Supermicro X11SCH-F oder Supermicro X11SCA-F
Netzteil	Enermax MaxPro II 400W	Enermax MaxPro II 400W	Enermax MaxPro II 400W
Gehäuse	Fractal Define R5	Fractal Define R5	Fractal Define R5

## Vergleiche
- MB: SuperMicro
- Intel: Xeon vs. i3


TL;DR:
Was haltet ihr von den Bauvorschlägen, und reicht der Core i3 für das Anforderungsprofil?


Gruß
mg


Edit: AMD ergänzt

 

[Badrig]

Beim i3 könntest du mit der F-Variante noch ein paar Euro einsparen. Ich würde sagen, dass sich i3 und Xeon in dem Fall wenig geben - außer einen gehörigen Preisunterschied.

 

[Falo999]

Also ich finde es schon sehr hart bei einen Server mit 15 VM's/Docker von einer 12 Threads CPU auf nur noch 4 Threads runterzugehen das ist auf jeden fall CPU mäßig ein sehr massives Downgarde.
Zwar hat der 9100er etwas mehr Takt und ist neuer aber in Multicore anwendungen wird dein alter Xenon rund doppelt so schnell sein wie der I3 9100.

Wenn dein alter Server derzeit gut läuft würde ich ernsthaft überlegen nicht doch das Z440 umzubauen.


Zum thema Stromverbrauch ist halt immer wichtig zu wissen das an Laufwerke angeschlossen ist , da du ja anscheinen schon einen HP H220 HBA 'voll' hast müssen das einige zu sein.
So sind dann auch die 90Watt Idle zu erklären denn gerade im Idle betrieb war die Hashwell Generation sehr gut.

Evtl. kannst du ja nochnachreichen was du an HDD/SDD derzeit hast und was geplant ist.

Meist wäre es sinnvoller kleine HDD's zu verkaufen und dafür größere zu kaufen vorallen wenn es noch HDD's unter 8TB sind.

 

[v3nom]

Wieviele Laufwerke müssen denn angeschlossen werden? Ist die HBA ein Muss? Werden andere PCIe Slots aktiv genutzt?
Es gibt super Soc Boards mit nem kleinen Epyc oder Atom drauf die viele Kerne haben, viele SATA/SAS Ports und 10GbE. Einzig die Single Core Leistung ist mäßig.

 

[quotengrote]

Beim i3 könntest du mit der F-Variante noch ein paar Euro einsparen...

Hatte ich auch überlegt, aber mich dann dafür entscheiden die Option für QuickSync o.Ä. offenzuhalten.

Zwar hat der 9100er etwas mehr Takt und ist neuer aber in Multicore anwendungen wird dein alter Xenon rund doppelt so schnell sein wie der I3 9100.

So etwas hatte ich befürchtet, aber leider nichts größeres gefunden wo auch ECC geht.

Evtl. kannst du ja nochnachreichen was du an HDD/SDD derzeit hast und was geplant ist.

Derzeit stecken
- 2x AData SU650 SSD
- 1x Micron MTFDDAK256MBF SSD
- 3x 2,5" 4TB Seagate HDD
- 1x 3,5" 8TB Seagate HDD
- 1x 3,5" 2TB WD HDD

Damit ist der HP Z440 was Anschlüsse am NT angeht ausgereizt und physisch würde auch nur noch eine 3,5" HDD reinpassen.

Wieviele Laufwerke müssen denn angeschlossen werden? Ist die HBA ein Muss? Werden andere PCIe Slots aktiv genutzt?
Es gibt super Soc Boards mit nem kleinen Epyc oder Atom drauf die viele Kerne haben, viele SATA/SAS Ports und 10GbE. Einzig die Single Core Leistung ist mäßig.

HBA ist keine Pflicht, plane derzeit mit 6x SSD und 6x HDDs.
Atom bin ich mir ziemlich sicher das ich da performancemäßig nicht hinkommen. Epyc klingt gut, da hab ich aber nichts gefunden, hast du eine Idee was ich mir nochmal angucken sollte?
PCIe ist derzeit bis auf den HBA ungenutzt, ich hatte überlegt irgendwann noch eine Graka zuzustecken, aber eigentlich brauch keins meiner Geräte Transcoding.

 

[Badrig]

Hatte ich auch überlegt, aber mich dann dafür entscheiden die Option für QuickSync o.Ä. offenzuhalten.

Darüber hatten wir es letztens schon mal in einem anderen Thread. Es war nicht klar, ob das mit dem C242 geht (wahrscheinlich nicht), ob es den C246 braucht und ob die Monitorausgänge vorhanden sein müssen oder nicht. Ich wäre da über eine klare Antwort auch froh.

 

[quotengrote]

Ja, da hatte ich es auch gelesen, aber da Preisunterschied ja nur ein paar € sind hab ich mir gedacht, wieso nicht.

 

[Stueckchen]

Darüber hatten wir es letztens schon mal in einem anderen Thread. Es war nicht klar, ob das mit dem C242 geht (wahrscheinlich nicht), ob es den C246 braucht und ob die Monitorausgänge vorhanden sein müssen oder nicht. Ich wäre da über eine klare Antwort auch froh.

Leider hat Intel die Informationen aus dem ARK genommen.
Früher war es klarer: C2X2 keine iGPU, daher kein Quicksync.
C2X6 iGPU wird vom Chipsatz unterstützt, meist auch vom Mainboards. Teils auch nur die Features ala quicksync und keine Grafikausgabe über iGPU.

Monitor Ausgänge benötigt quicksync nicht, aber halt die Unterstützung von MB/BIOS und Chipsatz

 

[Badrig]

Bei den Mainboards finde ich diese Info idR nur im Zusammenhang mit vorhandenen Monitorausgängen. Gibts ein einfaches Tool, das mir das ausspuckt, ohne, dass ich viel installieren muss? Dann kann ich das bei dem heute noch ankommendenen Asrock Board mal testen.

 

[Stueckchen]

Das mit dem QVS?
Einfach schauen ob die iGPU auftaucht.
Linux mir lspci / lshw
Windows im Gerätemanger
Esxi unter den PCIe Geräten.

@quotengrote
Die Frage ist auch immer was deine vielen VMs /CT so machen, wenn die gleichzeit alle wenig last machen kannst du mit dem i3 Probleme bekommen trotz aktuell wenig gesammt Load.

Frage ist auch ob du deinen RAM weiter verwenden willst. 3000er Atom und auch XEON-D können auch RDIMM.

Wenn es nur ums stromsparen geht, lieber wenig große HDDs also 2-4 12-16TB in den Z440.

 

[v3nom]

HBA ist keine Pflicht, plane derzeit mit 6x SSD und 6x HDDs.
Atom bin ich mir ziemlich sicher das ich da performancemäßig nicht hinkommen. Epyc klingt gut, da hab ich aber nichts gefunden, hast du eine Idee was ich mir nochmal angucken sollte?
PCIe ist derzeit bis auf den HBA ungenutzt, ich hatte überlegt irgendwann noch eine Graka zuzustecken, aber eigentlich brauch keins meiner Geräte Transcoding.

Ich nutze einen 16-Kern Atom mit unRAID, mehreren VMs und Dockern. Läuft astrein.
8-Kern Atom
16-Kern Atom mit 12xSATA (gibts auch mit 10GbE)
8-Kern Epyc
16-Kern Epyc

 

[quotengrote]

Frage ist auch ob du deinen RAM weiter verwenden willst. 3000er Atom und auch XEON-D können auch RDIMM.

Stromsparen wäre ein netter Bonus, RAM weiterverwenden wäre natürlich top, das gesparte Geld ist dann ja für CPU/MB zur Verfügung.

Ich nutze einen 16-Kern Atom mit unRAID, mehreren VMs und Dockern. Läuft astrein.
8-Kern Atom
16-Kern Atom mit 12xSATA (gibts auch mit 10GbE)
8-Kern Epyc
16-Kern Epyc

Danke, da belese ich mich mal.

Beitrag automatisch zusammengeführt: 05.05.2020

Die Frage ist auch immer was deine vielen VMs /CT so machen, wenn die gleichzeit alle wenig last machen kannst du mit dem i3 Probleme bekommen trotz aktuell wenig gesammt Load.

Warum würde das Probleme machen? Aufgrund der vielen parallelen Threads?

Ich nutze einen 16-Kern Atom mit unRAID, mehreren VMs und Dockern. Läuft astrein.

Was hast du da an VMs drauf laufen?
Ich habe hier
- mehrere Ubuntu VM zum programmieren (VM)
- eine Win10 VM (die einzige Maschine mit GUI)
- piHole (VM)
- WireGuard VPN (VM)
- Miniflux (RSS) (VM)
- Dokuwiki (VM)
- Grafana (lxc)
- nginx webserver (lxc)
- nginx reverseproxy (lxc)
- Apt-Cacher-NG (lxc)

 

[v3nom]

Ich hab eine Win10 VM in der ein VPN läuft und ein OSX zum spielen. Da beides aber nur per VNC angesprochen wird sind die nicht so knackig. Wann immer es geht würde ich an deiner Stelle auf Docker setzen und VMs vermeiden. Den VPN könnte man ggf. auch in den Router einbauen, ich hab einen OpenVPN in der pfsense laufen (eigener Mini Rechner).

 

[quotengrote]

Im Grunde ja,... :-D
aber ich möchte auf dem Host eigentlich nichts laufen haben außer dem Hypervisor + Storage.
Bei einem Teil der VMs bin ich eh dabei die in LXC umzuziehen, das macht jedenfalls bei RAM ne Menge aus.

Und für Container hab ich "eigentlich" noch einen 3-Node Kubernetes Cluster, auch wenn der momentan nicht wirklich läuft...

 

[Stueckchen]

Warum würde das Probleme machen? Aufgrund der vielen parallelen Threads?

Jop das ist das Problem. Etwar wie bei ner HDD vs SSD nur natürlich bei weiten nicht so krass. Für Sequenzell ist ne HDD meist ja noch OK, kommen aber viele kleine Anfragen wird es zäh.

Einzig deine Linux + Windows VMs könnte ein Problem sein für nen Atom. Da ist aber auch die Frage was die wirklich an Last erzeugen, da ist vll doch so nen 8 Kern Epyc 3000 oder Xeon-D 6C+ besser.
Die Container macht so ein Atom Kern auf ner Arschbacke warscheinlich.

Die Frage ist halt auch einfach was du an Geld ausgeben willst / kannst. Die SOC Mainboards sind alle halt auch kein Schnapper.

Du könntest dir natürlich auch einfach nen neues Gehäuse + S2011v2 Mainboard wie z.B.: X10SRM-F holen, die kosten selbst neu nicht die Welt?

 

[besterino]

Hast du evtl. mal darüber nachgedacht, einfach ein Gehäuse für Festplatten nachzukaufen?

SilverStone TowerStor TS421S | Preisvergleich Geizhals EU

✔ Preisvergleich für SilverStone TowerStor TS421S ✔ Produktinfo ⇒ Anschluss intern: 4x 2.5" SATA 6Gb/s (Hot-Swap) • Formfaktor: 2.5" • Anschlüsse extern: 1x Mini SAS 6Gb/s… ✔ Externe Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.eu

 

[quotengrote]

8-Kern Atom
16-Kern Atom mit 12xSATA (gibts auch mit 10GbE)
8-Kern Epyc
16-Kern Epyc

Das sind alles schöne Systeme, und meine RDIMMs würden sogar passen, aber leider sportlicher Preis. Wobei das Atom-Brett mit 4x 10GE ganz nett ist.

Hast du evtl. mal darüber nachgedacht, einfach ein Gehäuse für Festplatten nachzukaufen?

SilverStone TowerStor TS421S | Preisvergleich Geizhals EU

✔ Preisvergleich für SilverStone TowerStor TS421S ✔ Produktinfo ⇒ Anschluss intern: 4x 2.5" SATA 6Gb/s (Hot-Swap) • Formfaktor: 2.5" • Anschlüsse extern: 1x Mini SAS 6Gb/s… ✔ Externe Gehäuse ✔ Testberichte ✔ Günstig kaufen

geizhals.eu

Hatte ich schonmal überlegt, aber ist leider im Abstellraum mit USV und Co etwas unpraktisch da er auch noch andersweitig genutzt wird.

Du könntest dir natürlich auch einfach nen neues Gehäuse + S2011v2 Mainboard wie z.B.: X10SRM-F holen, die kosten selbst neu nicht die Welt?

Die Idee hat natürlich auch was, meinen Xeon könnte ich dann auch weiterverwenden?

Sprich CPU umpflanzen auf neues Board, neues NT kaufen, und alles in neuem Gehäuse zusammenbauen?

 

[v3nom]

Das sind alles schöne Systeme, und meine RDIMMs würden sogar passen, aber leider sportlicher Preis. Wobei das Atom-Brett mit 4x 10GE ganz nett ist.

Sind halt Bretter für kleine "Server". Grundsätzlich ist es schwierig Preis/Leistung/Leistungsaufnahme in Einklang zu bringen, oft muss man bei einem Abstriche machen. Ich finde die Atoms super, da es genug Leistung ist und die Dinger einfach nicht viel verbrauchen. Mit 12xSATA und 4x10GbE ist auch das Nachrüsten von Karten hinfällig.

 

[Badrig]

Einfach schauen ob die iGPU auftaucht.

Unter proxmox taucht sie auf:
00:02.0 Display controller: Intel Corporation HD Graphics 630 (rev 04)

 

[besterino]

Bei "normalen" VMs im Homelab limitiert halt selten die CPU. (M)Ein 8-Kerner stemmt z.B. u.a. 3 Minecraft-Instanzen, VPN, Sophos, Storage-VM, Teamspeak und ebenfalls eine Windows10-VM mit GUI, Laut ESXi ist die CPU aktuell bei 25% Last... langweilt sich also.

 

[Stueckchen]

Unter proxmox taucht sie auf:
00:02.0 Display controller: Intel Corporation HD Graphics 630 (rev 04)

Dann wird Quicksync auch gehen, wobei vaapi unter Linux einfacher zu Handhaben ist finde ich zumindest.

 

[quotengrote]

Bei "normalen" VMs im Homelab limitiert halt selten die CPU. (M)Ein 8-Kerner stemmt z.B. u.a. 3 Minecraft-Instanzen, VPN, Sophos, Storage-VM, Teamspeak und ebenfalls eine Windows10-VM mit GUI, Laut ESXi ist die CPU aktuell bei 25% Last... langweilt sich also.

Atom oder Xeon? Ich bin mir echt nicht sicher was ich für ne Auslastung/Performance erwarte.

Wobei neues MB + alte Hardware momentan am attraktivsten klingt.

 

[Stueckchen]

Bei "normalen" VMs im Homelab limitiert halt selten die CPU. (M)Ein 8-Kerner stemmt z.B. u.a. 3 Minecraft-Instanzen, VPN, Sophos, Storage-VM, Teamspeak und ebenfalls eine Windows10-VM mit GUI, Laut ESXi ist die CPU aktuell bei 25% Last... langweilt sich also.

Ist halt auch ein anderes Szenario, va hat deine CPU sicher auch SMT also 16 Threads. Bei mir ist so der 45W 1268l v3 mit HT auch besser als der 80W 1220l obwohl der eig mehr Power hat.
Und QVS kann der 1268 auch

 

[besterino]

Sorry. Ja, ist ein Xeon (4108 - also 8/16 bei 1.8GHz).

 

[Stueckchen]

Da ist man näher am 16C Atom als am i3 mit 4,X GHz