Homeserver 2. Generation - Empfehlungen gesucht

[jonofe]

Hallo Leute,

ich habe vor ca. 2 Jahren einen Homeserver auf Basis den X11SSL-CF Boards von Supermicro aufgebaut.
Dieser ist von den PCIe Lanes an der Grenze angekommen, d.h. ich habe eine NVMe Optane, eine Cine S2 TV Karte und eine USB PCIe Karte installiert. Er läuft unter ESXi 6.7U1. Alles super stabil und ich bin super zufrieden damit.
Jedoch würde ich gerne bei gleicher Konfiguration auf 10GB Networking wechseln, d.h. es muss was neues her. Auch das X11SSH-CTF würde dies wohl nicht abdecken, da zugunsten der 10GB Ports ein Slot weniger vorhanden wäre.

Daher meine Frage nach eine Empfehlung für eine Kombination MB/Prozessor (präferiert Supermicro/Intel), welche folgende Anforderungen erfüllt:

• ECC Support
• mind. 64GB max RAM (lieber mehr)
• Single Processor (aktuell habe ich einen Xeon E3-1245 v6, welcher ausreichend ist für derzeit 11 VMs - 1xWin/10xLinux)
• 10GB Network
• HBA onboard
• IPMI
• Ausreichend PCIe Lanes (Karten siehe oben)
• Energieeffizient

Meinen aktuellen Server würde ich dann gerne als Backup Server nutzen (ZFS via napp-it), welcher dann nur zum Backup hochgefahren wird.

Ich freue mich auf eure Empfehlungen ...

 

[sch4kal]

Geizhals nicht bemüht ? AMD Epyc, Xeon-W oder Xeon Scalable, arg viel mehr Optionen wirst wohl nicht ohne Gebastel bekommen. Wenn Takt weniger eine Rolle spielt evtl noch Xeon-D bzw. die Epyc Embedded.

 

[Trambahner]

Im E3/E-Xeon Umfeld wirst Du da immer an den Lanes begrenzt sein. Dito beim AM4-Sockel.

Im Prinzip bleibt da nur der Weg zu den größeren Sockeln.

Das X399D8A-2T mit einem der kleineren Threadripper + ein gesteckter HBA >könnte< was sein, aber Bauchgefühl noch zu jung für sofortigen Einsatz als ZFS-Filer.

 

[jonofe]

Danke schon mal für das Feedback.

Ich hatte mal bei Supermicro gesucht, aber da ich nicht wirklich so tief in der Materie drin bin, bin ich da gerade etwas überfordert.
Insbesondere wenn es um energieeffizient geht. HBA als Karte wäre okay.
Ich war dann mal beim X11SPH-nCTF gelandet. Wäre das ein Option?

 

[besterino]

Definitiv, ist halt Sockel 3647 --> Xeon Scaleable + Reg. RAM.

 

[jonofe]

Wäre dann der Intel Xeon Silver 4110, 8x 2.10GHz passend und halbwegs im Rahmen des Xeon E3 1245 v6?

 

[oNyX`]

Die Singlecore Leistung der Xeon Scaleable CPUs ist halt unter aller Kanone... selbst bei den S3647 Nachfolgern Cascade-Lake. Du willst zu diesem Zeitpunkt keinen Silver 41xx mehr, die 42xx sind verfuegbar und haben Taktplus+HW Vuln. Fixes und bieten Teils mehr Kerne fuers gleiche Geld (Xeon Silver 4210).

Dazu landest du bei der Plattform in minimal Config bei Board+CPU+Ram bei mind. 50w idle.

Wegen Performance, schau dir mal die Passmark Ergebnisse der S3467 CPUs an.

PassMark - CPU Comparison Intel Xeon Silver 4110 vs Intel Xeon E3-1245 v6

 

[jonofe]

Okay, das war sehr hilfreich. Danke.
Ich habe dann mal folgendes im Auge:
Supermicro X11SPH-nCTF
Intel Xeon Silver 4210, 10x 2.20GHz

Aber der Speicher scheint doppelt so teuer, wie der für mein derzeitiges Board, kann das sein? Kingston ~500€ für 32GB, wenn ich die Kompatibilitätsauskunft bei Kingston richtig interpretiert habe ....

 

[oNyX`]

Reg. ECC ist billiger als Udimm ECC. 32GB 2666er ca 130-140Eur.

zb
Crucial RDIMM 32GB, DDR4-2666 ab Preisvergleich Geizhals Deutschland

 

[Ceiber3]

Okay, das war sehr hilfreich. Danke.
Ich habe dann mal folgendes im Auge:
Supermicro X11SPH-nCTF
Intel Xeon Silver 4210, 10x 2.20GHz

Aber der Speicher scheint doppelt so teuer, wie der für mein derzeitiges Board, kann das sein? Kingston ~500€ für 32GB, wenn ich die Kompatibilitätsauskunft bei Kingston richtig interpretiert habe ....

Ist leider so, vom Preis her kommt erst, Non ECC-UDIMM, ECC-RDIMM, ECC-UDIMM kosten an meisten.

 

[sch4kal]

Okay, das war sehr hilfreich. Danke.
Ich habe dann mal folgendes im Auge:
Supermicro X11SPH-nCTF
Intel Xeon Silver 4210, 10x 2.20GHz

Aber der Speicher scheint doppelt so teuer, wie der für mein derzeitiges Board, kann das sein? Kingston ~500€ für 32GB, wenn ich die Kompatibilitätsauskunft bei Kingston richtig interpretiert habe ....

Ich würde derzeit eher zum Rome Epyc greifen als zu Intel, zumindest im 1 bzw. 2S Bereich ist Rome, im Gegensatz zum Ryzen 3000, eigentlich ein Nobrainer.
Hab selbst noch nen Naples Epyc, läuft absolut rocksolid auf meinem Asus KNPA-U16.
Mehr PCIe-Lanes bekommt man derzeit nicht, er unterstützt viel RAM und die ganze Plattform hat als Naples ca 50W gezogen. Rome sollte da noch einen ticken sparsamer und leistungsfähiger sein.
So ein 7232P oder so, der taktet ja auch schon im Grundtakt höher.

 

[gea]

Ich habe 7 Server mit dem X11SPH-nCTpF im Einsatz (mit SFP+ alles ESXi AiO, Dualhead ZFS vCluster).
Sind ultra stabil und sehr erweiterbar was NVMe angeht.

Für ESXi und Server würde ich noch bei Intel bleiben.
RAM habe ich Samsung aus der Memory List von SuperMicro oder @Kingston Speichersuche.
Ja, reg RAM ist leider etwas teurer dafür geht das Board bis 2TB RAM, auch ist das Board schlecht lieferbar,
warte schon seit 10 Tagen auf eines von sona.de

X11SPH-nCTpF | Motherboards | Products | Super Micro Computer, Inc.
Speichersuche

16GB RAM ca 100,-- (Samsung lt Memory List ist billiger als Kingston)

 

[jonofe]

Ich habe 7 Server mit dem X11SPH-nCTpF im Einsatz (mit SFP+ alles ESXi AiO, Dualhead ZFS vCluster).
Sind ultra stabil und sehr erweiterbar was NVMe angeht.


16GB RAM ca 100,-- (Samsung lt Memory List ist billiger als Kingston)

Das klingt ja noch realistisch.
In der Compatibility-Liste von Kingston habe ich nur 32GB und 64GB Module gefunden.
Die 32er hatten dann auf geizhals.de einen Preis von 500€. Habe jetzt aber gesehen, dass sie durch andere Module von Kingston ersetzt wurden, aber leider wurden die 32GB Module auch nur durch 64GB ersetzt, welche dann auch bei 500€ liegen. Zumindest halbwegs realistisch, aber 4x16 wären wohl ideal, da ja dann immer noch 4 Steckplätze für Erweiterungen frei sind.

Bei Mindfactory liegen die 16GB Module aus der Supermicro Kompatibilitätsliste von Samsung bei 71€.
Insgesamt wäre die Konfiguration dann bei 1350€ (X11SPH-nCTF, Xeon Silber 4210, 64 GB regECC Samsung) zzgl. HBA.
Welchen HBS würd man da nehmen?

Bei ebay liegt der LSI SAS3008 9300-8I Host Bus Adapter PCI-E 3.0 SATA / SAS 8-Port SAS3 12Gb/s aus China bei ca. 100€
Während er neu hier in DE bei anderen Anbietern bei ca. 330€ liegt. Ist China ein Option oder habt ihr damit schlechte Erfahrung gemacht bzw. ratet grundsätzlich davon ab?

Die Epyc Variante schaue ich mir nochmal näher an.

 

[Trambahner]

Bei Epyc hast Du das Problem, dass die Plattform zwar superviel Lanes=I/O bietet, aber Epyc ist halt auch schwierig bei Singlecore Performance. Die kleinen 115x-Xeons takten als Desktop-Abkömmlinge halt recht gut hoch.
Das macht den Charme der Plattform X399+Threadripper für daheim aus (ist ja sehr verwandt zum Epyc) und stopft die Lücke zwischen Xeon E3 und den richtigen Server-CPUs. Auch von den Takten. Aber ist halt entweder Blingbling-Spielzeug oder aber ist neu und unerprobt (X399D8A). Da wag ich mich noch nicht aus der Deckung mit Empfehlungen (hab das Ding erst seit wenigen Tagen), ein Scalable Xeon samt passendem Untersatz ist da aktuell vermutlich die bessere Wette auch bezüglich Stabilität sowie "Ecken und Kanten".

Bei SAS/Storage wäre ich deutlich vorsichtiger wg. Plagiaten als bei den NICs. Du willst Dein Storage ja stabil am laufen haben und Dich verlassen können.

 

[gea]

Das Board hat 10G und einen LSI 12G HBA 3008 onboard.
Einen weiteren HBA braucht man nur für mehr als 8 Port SAS oder einen Dualhead Cluster.

 

[jonofe]

Das Board hat 10G und einen LSI 12G HBA 3008 onboard.
Einen weiteren HBA braucht man nur für mehr als 8 Port SAS oder einen Dualhead Cluster.

Okay, das hatte ich doch komplett übersehen, dafür steht ja das C in nCTF.

Ist eigentlich für den Einstieg in die 10G Welt die SFP+ Variante oder 10GBase-T besser?
10GB Netzwerk-Infrastruktur ist noch nicht vorhanden, aber starke Tendenz zu Mikrotik, da auch mein Router und die APs von Mikrotik sind und ich damit bislang ganz zufrieden bin.

 

[Trambahner]

10Gbase-T kannst Du in der Regel auf guten, vorhandenen Kabeln fahren. Wichtig, wenn die Dinger in den Wänden schon sind. Dazu hast Du halt die guten alten RJ45-Ports, wo Du flexibel auch andere 1G oder gar 100M-Geräte dranhängen kannst.
Glas hat mehr Potential für die Zukunft, aber Du musst mehr vorüberlegen und ggf. hier und da nen Switch hinstellen, um Consumergeräte (TV, Receiver, Laptop, etc.) ans Netz dann zu bekommen.

 

[gea]

Es gibt zwar einen Unterschied im Stromverbrauch, Latenzen und Reichweite.
Entscheidend ist aber die Empfindlichkeit von 10 GBase-T. Ein schlechtes Kabel, mal draufgetreten oder geknickt und die Performance ist weg. Glas ist zwar auch empfindlich aber wenn man etwas aufpaßt ist da die Performance garantiert.

Da die Server bei mir im RZ stehen, ist klar dass ich da SFP+ only nehme.

 

[Ceiber3]

Ich nutze Privat 10 GBase-T, wie Trambahner schon geschrieben hat, kannst du da jedes Gerät daran machen. Egal ob 100M 1G 2,5G 5G oder 10G.
Es ist einfach viel flexibler, selbst mit nem billigen 30 Meter Cat5a Kabel habe ich volle 10G Speed. Bei Glas musst du nur ausversehen mal drauftreten oder bissel knicken und es ist komplett tot.
Glas finde ich ist eher was für große Rechenzentren mit fetten Backbone wo viele GB drüber laufen und wo extrem große Strecken überbrückt werden müssen.

 

[gea]

Der Server muss primär an einen Switch.
Wenn der SFP+ hat und per Patchkabel erreichbar ist (oder per DAC Kabel),
schenkt sich das preislich nichts gegen 10 Gbase-T und ist stabiler.

Zu den Clients ist SFP+ sinnfrei. Da ist Kupfer konkurrenzlos.

 

[jonofe]

Bei Einsatz des Mikrotik Switches CRS312-4C+8XG-RM mit 8x10GB Ethernet RJ45 und 4x10GB SFP+ würde sich also die SFP+ Variante des Boards anbieten. So könnte ich innerhalb des Racks per 10GB AFP+ verwenden und die Clients per 10 GBase-T anbinden.

 

[sch4kal]

Genau, würde sich so auch anbieten.