Supermicro X11SPH-nCTPF defekt - Ersetzen oder Upgraden?

[Bccc1]

Das Board meines Servers scheint tot zu sein. Server reagiert nicht auf Powerknopf. IPMI Licht blinkt zwar, aber ist nicht übers Netzwerk erreichbar. Netzteil und PDU sind unschuldig, hab mit Komponenten aus dem Backup System gegengetestet.
Das ist von 2018 und damit schon lange aus der Garantie raus. Also wollte ich mir mal eben Ersatz bestellen und musste feststellen, dass das Board drastisch im Preis gestiegen ist und aktuell >700€ kostet. Das waren mal ~450€! Wie kann das eigentlich passieren? 6 Jahre nach Release hätte ich eine starke Preissenkung erwartet, durch die verrückte Welt aktuell vielleicht auch original UVP. Aber keine 55% Erhöhung?!

Jetzt bin ich am überlegen, ob ich stattdessen entweder ein "günstiges" Board wie das X11SPL-F kaufe und 10Gbit SFP+, SAS3 Controller und Adapter für die über OcuLink angeschlossene Optane dazukaufe.
Oder wenn ich eh schon am Geld verbrennen bin, vielleicht direkt auf was potenteres aufrüsten. Der Xeon 4110 war teilweise schon nicht schnell genug um in TrueNAS 10Gbit/s über SMB zu kriegen. Gibts irgendein sinnvollen Upgradepfad wo ich mein RAM behalten kann (6x 32GB DDR4-2400 RDIMM)? Die 192GB als DDR5 neuzukaufen wäre für sich alleine schon teuerer als einfach mein altes Board neuzukaufen.

 

[gea]

Bei Neukauf gibts heute deutlich schnellere Hardware. Normale 10G SMB Performance also 300-500MB/s sollte der Xeon aber schaffen. Bei mehr als 600 MB/s wirds eventuell schwieriger. Erst Verschlüssellung geht nicht mit 10G.
Da CPU und RAM recht teuer ist und man SAS Controller recht billig vekommt, wäre ein Austauschboard wohl die ökonomisch beste Lösung

siehe meine ZFS Tests mit dem Board

https://www.napp-it.org/doc/downloads/epyc_performance.pdf

 

[Bccc1]

Klar, die 300-500MiB/s waren kein Problem, zumindest mit halbwegs frischem Pool oder auf SSD. Wenn ich mich recht erinnere bin ich bis ~800MiB/s gekommen. Mit iSCSI auch 1200MiB/s, wobei da evtl das Caching von Windows die Werte verfälscht hat. Ich hätte gehofft das mit genug CPU Leistung auch ~1000-1100 MiB/s über SMB drin sind.

 

[gea]

1000 MB/s+ (ca 900 MiB/s) hatte ich selbst mit Solaris 11.4, original ZFS und dem multithreaded kernelbasierten Solaris SMB Server nicht erreicht. Und der war in meinen Tests immer der schnellste SMB Server.

1200 MiB/s ist Cache Performance.

 

[Bccc1]

Danke, das ist gut zu wissen. Dann bleib ich erstmal beim 4110 bis ich irgendwann auf 40G aufrüste.

 

[Potz]

Was kostet denn so ein Board?
Ich denke man könnte sich auch Stück für Stück nach vorne bewegen und z.B. ein H12SSL-i mit einem 7302P (oder einem anderen gebrauchten Rome) kaufen. Die CPU ist nahezu geschenkt und man hat eine Plattform, die später auch mal Milan kann. Den RAM kannst du dann irgendwann später austauschen, wenn es dir gefällt. Ich würde sogar so weit gehen jetzt schon mal zwei weitere 3200er RDIMMs zu kaufen und zu schauen, ob die sich mit den vorhandenen vertragen. Klar läuft der EPYC mit 2400er DIMMs gebremst, aber langsamer als der Silver Skylake wirds keinesfalls werden.

 

[besterino]

1000 MB/s+ (ca 900 MiB/s) hatte ich selbst mit Solaris 11.4, original ZFS und dem multithreaded kernelbasierten Solaris SMB Server nicht erreicht. Und der war in meinen Tests immer der schnellste SMB Server.

1200 MiB/s ist Cache Performance.

Da fällt mir ein, dass ich nochmal nen Test mit ner Solaris RAM-Disk machen wollte... ich häng' aktuell bei 100Gbit von nem Windows-Client auf Solaris 11.4 iSCSI in nem 2,5GB/s Bottleneck fest (wenn ich mich richtig erinnere, könnte das auch irgendwie ne ESXi-Solaris-Geschichte gewesen sein... ).

 

[Bccc1]

@Potz die Idee gefällt mir. AMD EPYC 7302p+ Supermicro H12SSL-i gibts auf ebay für ~750€, also ~300€ mehr als ein preiswertes X11 Board. Dafür gibts dann 17% mehr SC und 225% mehr MC Performance. Und ich könnte irgendwann auf ein 73F3 aufrüsten für nochmal 40-50% mehr Performance.
Muss ich mir nur noch ein NIC raussuchen (x520-DA2, ConnectX-3 oder gleich auf 40Gbit gehen ...) und mich zwischen SFF-8654 NVMe Adapter und PCIe NVMe Karte entscheiden.

Die meisten Angebote für Server Boards und CPUs auf eBay kommen aus China. Muss ich mir da ähnliche Sorgen um Fälschungen wie bei NICs machen, oder ist es nur das übliche China-Risiko das Sachen evtl nie ankommen oder im Zoll hängen bleiben?

 

[Steggi]

AMD EPYC 7302p+ Supermicro H12SSL-i gibts auf ebay für ~750€

Ja, die Angebote hatte ich auch schon gesehen, an sich recht interessant. Aber aus China zu bestellen hat halt immer ein gewisses Risiko. Hinzu kommen kostenmäßig meines Wissens nach noch Zoll und 19% Einfuhrumsatzsteuer. Oder rechnet Ebay die inzwischen automatisch dazu? Und mit der Deklarierung haben es die Chinesen ja auch nicht so. Da bitten einige Verkäufer auf ihren Seiten ja schon um eine Angabe, wie hoch denn der Rechnungsbetrag auf den Papieren sein soll.

 

[Potz]

Ich würde das Board in Deutschland kaufen (~550€) und bei der CPU ob des niedrigen Preises das Risiko eingehen und in China bestellen (~200€ +19%). Der Bundlepreis scheint sich kaum zu lohnen.

Edit: zu den NVMe: die onboard Anschlüsse sollen soweit ich das mitbekommen habe sehr gut mit den offiziellen Kabeln von Supermicro funktionieren. Oder geht es dir um mehr als zwei U.2/U.3? Dann ist es schwieriger zu entscheiden.

 

[Bccc1]

Klingt vernünftig, mach ich wahrscheinlich so. Bei Jakob gibts das Board als B-Ware nochmal billiger. Ich hab noch gesehen, dass es die CPU auch im Bundle mit dem TYAN S8030 gibt. Taugt das was? Unterstützt Rome und Milan, ist VMWare Partner, sollte also in ESXI keine Probleme machen, hat 2x 10GBase-T auf Intel X550 basis und mehrere NVMe Anschlussmöglichkeiten über M.2 und SFF-8654. Hat weniger PCIe Steckplätze als das SM Board, aber sonst sehe ich auf den ersten Blick keine Nachteile. Woher kommt der niedrigere Preis? Ein erstes Googlen zeigt nicht viel, außer das es wohl für ML Rigs beliebt ist und Wendell es für Workstations empfielt. Wenn das SM Board besser ist, gebe ich da auch gerne mehr für aus, aber bisher sehe ich nicht, was den Preisunterschied rechtfertigt.

Bzgl der NVMe Anschlüsse: Aktuell hab ich nur eine U.2 Optane 900p als SLOG und zwei Consumer M.2 NVMe SSDs als Mirror für VM Storage. Zukünftig könnten noch zwei Server grade SSDs mit PLP als mirrored special vdev für den HDD Pool dazu kommen, das wird dann wahrscheinlich U.2 sein.

 

[Potz]

Detailinfos oder Erfahrungswerte zu dem Board habe ich nicht. Ich persönlich nutze kein 10GBaseT und versuche nur Boards zu kaufen, die es nicht verbaut haben, da ich die Erfahrung gemacht habe, dass die Chips, selbst ohne dass man sie nutzt, nennenswert Strom verbrauchen und teilweise da wo sie sitzen schlecht leise zu kühlen sind, solange man kein Rackgehäuse mit nennenswert Luftdurchsatz verwendet. Wenn man die Anschlüsse nutzen will und super leise nicht das Ziel ist, kann es natürlich sehr lohnend sein.

 

[Bccc1]

Kühlung ist ein guter Punkt. Ich hab mein SC846 auf leise umgebaut, d.h. ich hab deutlich weniger Luftdursatz und vor allem statischen Druck als Original. Ich bestell dann mal das SM Board.
Welchen NIC ich nehme weiß ich noch nicht (ESXI 8 kompatibel -> teuer, wenn man eh schon so viel ausgibt, dann vielleicht gleich SFP28 ...), aber ist auch nicht eilig, ich kann temporär ein ConnectX-3 oder X520-DA2 aus einem anderen System verwenden.
Was für ein Kühler empfielt sich für die CPU? Ich hatte bisher Noctua drauf, aber der NH-U9 TR4-SP3 ist für Threadripper designed und würde daher auf nem Epyc board 90° gedreht sitzen. Das ist für den Luftstrom bestimmt nicht gut. Ein Dynatron A35 würde die CPU locker kühlen können und kostet weniger, aber ist wahrscheinlich ziemlich laut.

 

[Potz]

Ich hatte bisher Noctua drauf, aber der NH-U9 TR4-SP3 ist für Threadripper designed und würde daher auf nem Epyc board 90° gedreht sitzen. Das ist für den Luftstrom bestimmt nicht gut.

Ich habe nur Erfahrungen mit dem NH-U14S TR4-SP3 auf einem H11SSL-i mit EPYC 7551. Das funktioniert in einem Fractal Define C, trotz "gedrehtem" Kühler mit ansonsten ganz normalem Front->Back Airflow wie im Server (nur alles größer), sehr gut. Ich schätze schon, dass das vernünftig funktionieren wird. Optimal ist es natürlich nicht, da stimme ich zu.

 

[Bccc1]

Ich hab inzwischen Board und CPU bestellt. Für den Kühler bin ich noch unentschieden zwischen Noctua mit evtl 3D gedrucktem shroud oder dem Arctic Freezer 4U SP3. Der hat die passende Ausrichtung und passt in mein SC846, wenn auch nur knapp. Die Auslasslüfter direkt hinter der CPU würde ich wahrscheinlich ausbauen müssen oder zumindest ohne original Halterung installieren. In 4U Gehäusen mit Mainboard Tray wäre der Kühler auch schon zu hoch.

 

[Bccc1]

Ich habe vom Noctua Support erfahren, dass es ein Montagekit gibt um mein alten NH-D9 DX-3647 auf ein SP3 Motherboard montieren zu können. Das ist auf der Website nirgends gelistet, aber wenn man nachfragt, gibts das gratis zugeschickt.

 

[Kullberg]

Ich empfehle diesen Kühler von Arctic. Ich hab davon mehrere in Betrieb, z.B. in diesem Rechner.