Mainboard und Prozessorempfehlung

[Gen8 Runner]

Moin,
ich bräuchte nun auch mal eure Mainboard-und Prozessorempfehlung.

Folgende Komponenten sind derzeit vorhanden und verbaut:
- SuperMicro X11SCA-F
- Intel Xeon E2146G
- 4x Samsung M391A4G43MB1-CTD Samsung ECC DDR4 2666MHz 32GB (=128GB RAM)
- NVIDIA Quadro P2000
- LSI Broadcom 9201-8i
- 1x SANDISK NVME M.2 SSD

Nun wollte ich in obiges System noch einpflanzen:
- 1x PCIE 4x 10Gbit Netzwerkkarte

Aber: Geht nicht!
Angeblich, laut Manual, teilen sich Steckplatz PCI-E #2 und NVME Platz #1 die Lanes und sind daher ENTWEDER ODER.
Witzig nur: NVME #1 ist nicht belegt und trotzdem geht bei belegtem PCI-E Slot #2 die NVIDIA Quadro in Fehler 43 und ist auch nicht zum Leben zu erwecken. Ich denke also, dass da zu viele Lanes oder wie auch immer in Gebrauch sind. Nun soll also ein neues Mainboard her, um hier auch noch 10Gbit zu bekommen.

Also soll nun ein neues Mainboard mit Prozessor her, schön wäre es den bestehenden Arbeitsspeicher weiter nutzen zu können.

Laufen sollen also:
- 4x Samsung M391A4G43MB1-CTD Samsung ECC DDR4 2666MHz 32GB (=128GB RAM)
- NVIDIA Quadro P2000
- LSI Broadcom 9201-8i
- 10Gbit Netzwerkkarte (wird auf PCI-E x4 hinauslaufen)
- 1x NVME SSD
- IPMI / IRMC / Fernwartung (ja, zwingend notwendig, bin oft wochenlang weg von Zuhause)

CPU Hersteller ist mir Schnurz, ob Intel oder AMD. Gerne AMD, da die scheinbar das bessere P / L Verhältnis haben.

Hat jemand Ideen und Vorschläge?
Die Filterfunktion bei Geizhals ist zwar echt mächtig, habe dort auch schonmal nach AM4 Mainboards gesucht, aber immer gibt's irgendwo etwas zu mäkeln.
Entweder kein IPMI / IRMC / Fernwartung oder max. 2 RAM Steckplätze und nur 64GB RAM Unterstützung oder zu wenige PCIe Steckplätze.

Hat jemand den ultimativen Vorschlag? Achso und es gibt ja den Sockel 1151 und 1151v2, was wohl mit der Spannungsversorgung zusammenhängt. Ist ein V2 Mainboard "Downgradefähig"? Sprich, könnte ich dort den 2146G einpflanzen und er liefe?

 

[v3nom]

Bist du auf die Quadro angewiesen?
Bist du auf die iGPU angewiesen bzw nutzt diese?

 

[Gen8 Runner]

Bist du auf die Quadro angewiesen?
Bist du auf die iGPU angewiesen bzw nutzt diese?

Auf die Quadro angewiesen, ja.
iGPU brauche ich nicht, sofern IPMI dennoch funktioniert.

Gerade noch auf das Asus WS C246 PRO bzw. ACE gestoßen.
Hat genügend PCIe Anschlüsse an Bord (wobei der 16er auf wahrscheinlich x8 gedrosselt würde, sobald eine andere Karte installiert wird), aber ob die auch alle gemeinsam funktionieren? Handbuch studieren und hoffen, dass die Angaben dort eher passen, als bei Supermicro.

Okay, die 1151er Sockel-Serie ist damit wohl raus, gerade bei reddit gefunden:
"The number of PCIe lanes for this chipset series is rather low, limiting the possibilities to upgrade. This may or may not be a problem for your particular use case. (For instance, you cannot have 10Gb ethernet, a GPU for transcoding video streams/passthrough to VM, and a SAS HBA to be able to add more hard drives.) Also, be aware that if you want to use two M.2 nvme drives with this board, they will both be limited to two lanes.".
Der E2146G hat nur 16 PCIe lanes, also weiterhin neue Plattform gesucht.

 

[hominidae]

Gerade noch auf das Asus WS C246 PRO bzw. ACE gestoßen.
Hat genügend PCIe Anschlüsse an Bord (wobei der 16er auf wahrscheinlich x8 gedrosselt würde, sobald eine andere Karte installiert wird), aber ob die auch alle gemeinsam funktionieren? Handbuch studieren und hoffen, dass die Angaben dort eher passen, als bei Supermicro.

...als *das* macht das https://geizhals.de/asrock-rack-e3c246d4u2-2l2t-a2029218.html auch...Deine CPU ist auch gelistet, weg. S1151v2

Edit: bei Intel sieht es auch beim S1200 nicht besser aus....da scheint es dann nur zurück auf S2011-3 zu gehen?

 

[v3nom]

kA wieviel du ausgeben willst... Hier wären 12x SATA und 4x 10GbE drauf: https://geizhals.de/supermicro-x11s...11sdv-8c-tp8f-o-a1808513.html?hloc=at&hloc=de
Dazu dann noch 2x PCIe Slots.

 

[hominidae]

...und noch RDIMMS kaufen, hmmm...kein Schnäppchen, denn der "Alte" hat UDIMMs, oder?

 

[Gen8 Runner]

Plattform S2011-3 ist auch schon wieder älter oder?

Bin gerade am überlegen die alte Hardware zu verhökern (scheint laut Ebay noch relativ gutes Geld zu geben, dank der schlechten Verfügbarkeit von Intel) und komplett umzusatteln, dann doch inkl. RAM:
Micron RDIMM 64GB, DDR4-3200, CL22-22-22, reg ECC (MTA36ASF8G72PZ-3G2E1) 2x = 500€
SuperMicro H12SSL-NT 1x = 485€
AMD Epyc 7251 (350€), 7281 (460€), 7272 (630€)

Dürften 400€ Aufpreis werden zwischen Verkauf alt und Kauf neuer Hardware...Ich hoffe nur, dass die Stromkosten mir dann nicht die Tränen in die Augen treiben (je nachdem IDLE zwischen 71 und 77 Watt).

Genau, der alte hat UDIMM, die waren auch "schweineteuer". Glaube mein gewünschter Bestandsschutz der alten Riegel ist auch ein Problem bei der Wahl der Komponenten.

 

[v3nom]

Die RAM-Preise sind doch im Sinkflug... sehe da keinen Grund zu "knausern"

 

[Gen8 Runner]

Die RAM-Preise sind doch im Sinkflug... sehe da keinen Grund zu "knausern"

Und die alten Riegel zu behalten?

 

[hominidae]

...und ne Guerilla PV auf den Süd-Balkon ;-)
Oder doch Gehäuse stapeln und aus dem AiO zwei Kisten machen (also eine mit der P2000 dazustellen...10G DAC Links)?

 

[v3nom]

Und die alten Riegel zu behalten?

Mh, ok hast recht :/

 

[Bucho]

Hallo Gen8 Runner,

ich betreibe ebenfalls dieses Board, allerdings ohne dGPU, ohne extra RAID controller und ohne extra LAN Karte. In den beiden PCI-E 16x Slots (CPU Slot6 und Slot4) stecken jeweils PCI-E zu U.2 Adapterkarten mit Intel U.2 Server SSDs. Sprich diese werden als 8x / 8x betrieben, letztendlich mit 4x / 4x genutzt.

Eigentlich sollten für Dein Vorhaben genügend Ressourcen (PCI-E Lanes) vorhanden sein. Zur Erklärung, die "Desktop" Sockel CPUs (Sockel 115x sowie 1200) haben bis auf ganz wenige Ausnahmen 16 PCI-E Lanes direkt von der CPU und 4 PCI-E Lanes zum Chipsatz welcher je nach Typ weitere Lanes bietet.
Betreffend Deiner Frage, Dein Board ist bereits ein 1151v2 und Deine CPU E-2146G eine Coffee Lake CPU. Die Sockel 1151 Varianten waren die E3 v5 und v6 Xeons (Skylake und Kaby Lake) und nein - die E3 v5 und v6 Xeons sind nicht mit Deinem Board (C246 Chipsatz) oder umgekehrt Deine CPU mit einem 1151 v1 (C232 bzw. C236 Chipsatz) Board kompatibel.

Zurück zu Deinem Problem, wie Du schon selbst festgestellt hast sollte der PCH Slot2 (4x) unabhängig von den beiden CPU Slots 4 und 6 sein, da wie der Name schon sagt dieser vom Chipsatz kommt, die anderen beiden von der CPU.

Hast Du schon das aktuellste BIOS drauf? Einstellungen im BIOS betreffend den PCI-E Slots kontrolliert? Bevor ich gleich eine neue Plattform kaufe würde ich da lieber mal alles ausprobieren, rein technisch sollte es funktionieren.
Kannst ja auch mal probehalber den LSI Controller in den PCH Slot2 packen, rennt dann zwar "nur" mit 4 Lanes (und PCI-E 2.0 weil die Karte kein 3.0 kann), aber für ein paar HDDs da dran reichen 4 PCI-E 2.0 Lanes bestimmt auch.

 

[Gen8 Runner]

@Bucho
Danke auch an dich für die umfangreiche Antwort!

Slot 6 und Slot 4 sind mit GPU und dem RAID-Controller belegt (da Slot 4 genutzt wird, läuft die Grafikkarte derzeit auch nur im 8x Modus, anstatt 16).
BIOS ist auf dem aktuellsten Stand. Ich habe im BIOS nun schon den Slot 4 (=RAID-Controller) auf 4x herabgesetzt...Würde theoretisch heißen:
- x8 GPU
- x4 RAID-Controller (eigentlich im x8 Mode)
- x2 NVME
- x4 10Gbit

Den LSI Controller kann ich leider nicht testweise in Slot 2 packen, da dieser x8 ist und somit schon vom Steckkartenformat nicht hineinpasst. BIOS ist auf dem aktuellsten Stand (1.5), aber ich bin mittlerweile ratlos, wie ich noch diese ganze Kombination zum Laufen bringen kann.
Hatte auch im BIOS nichts weiter gefunden, wo man zum Slot 2 noch etwas hätte einstellen können.

Einmal "lief" die ganze Kombi:
Raid-Controller, GPU und 10Gbit Netzwerkkarte wurden in ESXI angezeigt und erkannt...Aber bei der Quadro P2000, duchgereicht zur Windows 10VM: Fehler 43 oder direkt Bluescreen beim Start.
Egal was ich versucht hatte (auch mit den hier im Forum kursierenden Parametern in ESXI für die NVIDIA GPU's): Fehler 43. Nur durch herausnehmen der 10Gbit Netzwerkkarte war dieser zu beheben. Anschließend sofort problemlose Funktion.

 

[Bucho]

Hallo,

das Herabsetzen des Slots 4 auf 4x bringt nichts, da die Lanes wie gesagt von der CPU kommen und nur auf die zwei Slots (6 und 4) aufgeteilt werden. Die haben keine Verbindung zu den M.2 Slots oder restlichen PCI-E Slots.

Der LSI Controller sollte schon auch in Slot 2 gesteckt werden können, der PCI-E 4x Anschluss ist nach hinten offen. Sogar der 1x PCI-E ganz oben ist offen und man könnte sogar eine 16x Karte da einstecken. Ab und zu liefern die Slots aber nicht genug Strom um ne GPU zu versorgen.

Ich denke eher daß da irgendein Kompatibilitätsproblem / Softwareproblem vorliegt. Im BIOS kann man ja für die Slots wählen was die für ein OPROM laden sollen, EFI oder Legacy, vielleicht da mal herumprobieren?

EDIT:
Okay das Problem mit der Quadro dürfte eine Kombination aus IPMI, iGFX und Slotbelegung sowie Einstellungen im BIOS sein.
Hier auf der letzten Seite wird darüber gesprochen:

Notes about Supermicro X11SCA-F

forums.unraid.net

Bei der Intel iGFX dürfte es helfen da keinen Monitor dranzuhängen, dann kann man die in einer VM durchreichen und drauf transcoden und trotzdem IPMI bzw. iKVM nutzen. Weiß nicht wie es mit der Quadro aussieht.

 

[Stueckchen]

Man könnte auch was ganz wirres mal probieren und die P2000 in den 4x Slot packen.
Ich habe jetzt nicht gefunden was die wirklich machen soll, aber häufig ist der Leistungseinbruch durch weniger Lanes garnicht so groß.

 

[hominidae]

...musst Du halt den Slot aufsägen..der scheint wohl hinten nicht offen zu sein, nachdem was oben steht.

 

[Stueckchen]

@hominidae

der PCI-E 4x Anschluss ist nach hinten offen. Sogar der 1x PCI-E ganz oben ist offen und man könnte sogar eine 16x Karte da einstecken. Ab und zu liefern die Slots aber nicht genug Strom um ne GPU zu versorgen.

 

[Gen8 Runner]

Danke an alle, besonders an @Bucho

Es funktioniert tatsächlich, der PCIe x4 Slot ist tatsächlich nach hinten offen. Wusste ich noch gar nicht, dass es sowas gibt...Nur die "eingeritzten" Karten kannte ich, welche das ende vom Slot "überstülpen".
Ich habe nun zwei Stunden im BIOS herumgeschraubt und glaube ich die Einstellung getroffen.

Nun taucht die Broadcom 10Gbit schonmal wenigstens unter den physischen Netzwerkadaptern auf (denke mal, dass meine Transceiver inkompatibel sind) und auch die Quadro läuft nicht mehr in Fehler 43.
Was ich geändert habe:
- SR-IOV Support auf "enabled" gestellt
- PCIe Slot 6 (also den, in welchem die Quadro läuft) von Legacy auf EFI umgestellt

Nun funktioniert also alles zusammen in einem System!


Aber heiß gemacht hat mich trotzdem die Idee vom Epyc, in Kombination mit dem H12SSL-NT...
Für die alte Hardware gibt es noch gutes Geld, ich könnte die 10Gbit Karte rausschmeißen und verkaufen (da 10Gbit an Bord) und es wäre wohl auch der LSI3008 Controller an Bord (habe hier derzeit den 2008 verbaut, wessen Unterstützung bei ESXI 7.0 ja nur noch teilweise gegeben ist) - der könnte also auch komplett entfallen.
Wäre nur noch Mainboard und Grafikkarte, das wär's an extra Equipment. Nun muss ich überlegen, ob ich nicht dennoch den Umstieg mache und dann gleich wieder für viele Jahre Ruhe habe.

Die Broadcom 57810S hat zwei 10Gbit SFP+ Anschlüsse.
PCIE 3.0 x4 macht max. 3,9Gbyte, die Broadcom kann THEORETISCH 5Gbyte durch die Gegend schicken (was sie in der Realität hier nie tun wird). D.h. beide Anschlüsse wären nutzbar, aber "nur" mit insgesamt 3,9Gbyte, ist das soweit richtig? 1,1Gbyte an theoretischem Geschwindigkeitsverlust?

 

[underclocker2k4]

PCIE 3.0 x4 macht max. 3,9Gbyte

Duplex (Nachrichtentechnik) – Wikipedia

Beitrag automatisch zusammengeführt: 11.01.2021

D.h. beide Anschlüsse wären nutzbar, aber "nur" mit insgesamt 3,9Gbit, ist das soweit richtig? 1,1Gbyte an theoretischem Geschwindigkeitsverlust?

Bit – Wikipedia
vs
Byte – Wikipedia

 

[Gen8 Runner]

Duplex (Nachrichtentechnik) – Wikipedia

Beitrag automatisch zusammengeführt: 11.01.2021

Bit – Wikipedia
vs
Byte – Wikipedia

Tippfehler, sollte auch Byte sein und alles auf einen Nenner kommen.

10 Gbit x 2 = 20 Gbit
Aufgrund von Duplex also 40 Gbit (Verkabelte Netzwerktechnik ist doch m.W.n. Duplex oder?)!?
40 Gbit -> Gbyte = 5 Gbyte
Max. Kapazität PCIE 3.0 x4 = ~3,9 Gbyte (=~32Gbit)

Kommt das so nun hin oder bei den Einheiten was durcheinandergewürfelt?
Diese 8 Gbit schafft der Homeserver alleine von der Lese & Schreibrate her nicht, dürfte also locker herunterfallen, sofern wenigstens beide Anschlüsse verfügbar wären.

 

[underclocker2k4]

Max. Kapazität PCIE 3.0 x4 = ~3,9 Gbyte (=~32Gbit)

Duplex (Nachrichtentechnik) – Wikipedia

de.wikipedia.org

PCI Express – Wikipedia

 

[Bucho]

Gut daß das System nun so funktioniert wie es soll.

Was underclocker2k4 sagen will, ohne etwas zu sagen, ist daß PCI-Express genauso Duplex kann wie die Netzwerkverbindung. Sprich Du rechnest die 2 x 10GBit des Netzwerkcontrollers (eine Richtung) gegen die 32GBit von einem 4x PCI-E 3.0 Port (eine Richtung). Passt also alles.

Die Broadcom 57810S Karte welche Du erwähnst hat übrigens einen 8x PCI-E 2.0 Steckkontakt. In dem 4 x PCI-E 3.0 würde sie also nur mit 4 x PCI-E 2.0 laufen = 20GBit (eine Richtung).