Mainboard (Sockel 2011-3) mit NUMA-aware BIOS + 2x M.2 Slots gesucht

[okxyz]

Hallo,
ich benötige einen neuen Entwicklungsrechner und suche ein Mainboard (XEON E5 2630 v4 -> Sockel 2011-3), das 2x M.2 slots (PCIe 3.0 x4) und ein NUMA aware BIOS besitzt.
Im BIOS möchte ich gern das memory interleaving an und abschalten können. Die zwei M.2 slots werden in einen raid1-Verbund eingebunden (System).
Leider kann ich kein passendes Mainboard finden, vielleicht habt ihr einen Tipp?!
Das ASUS Z10PA-U8 hat leider nur eine M.2 slot.
VG,
Oliver

 

[okxyz]

Das ASUS Z10PA-U8 geht auch nicht, da nur M.2 NGFF 2242 unterstützt wird (kein 2280) :^(

 

[emissary42]

Warum kommt denn die Verwendung von PCIe 3.0 x4 M.2 Adaptern nicht in Frage?

 

[okxyz]

Warum kommt denn die Verwendung von PCIe 3.0 x4 M.2 Adaptern nicht in Frage?

Wenn man die beiden Adapter zu einem raid1 verbauen und von denen booten kann? Was wäre Deine Empfehlung?
Beim Z10PA-U8 werden die beiden PCIe x16 auf PCIe x8 heruntergeschalten, wenn einer der beiden anderen PCIe x8 slots (in dem Fall mit M.2 Adapter) bestückt ist.

 

[Holt]

RAIDs von NVMe SSDs dürften bei keinem S. 2011-3 gehen, die gehen nur am Z170, nur der hat PCIe Lanes für Storage Devices die vom RST unterstützt werden und trotzdem gibt es immer wieder Probleme mit den RAIDs daran, z.B. mit der RD400. Da solltest Du Dir eine Alternative überlegen, z.B. ein SW-RAID, sonst wirst Du nie fündig.

 

[okxyz]

RAIDs von NVMe SSDs dürften bei keinem S. 2011-3 gehen, die gehen nur am Z170

Sorry - ich hatte leider nicht angeben, daß ich die RAID-Unterstützung von LINUX verwende.

Ich vermute, daß nur Server-Boards mit einem entsprechenden BIOS, daß NUMA Optionen anbietet, ausgestattet sind.
Bei den XEON CPUs kann man auch den snoop-Algorithmus (cache snooping) wechseln - vermutlich geht das dann nur bei den hochpreisigen Mainboards im BIOS einzustellen.

Hättet ihr eine Empfehlung? Bisher hatte ich nur ASUS, daher bin ich auf das Z10PA-U8 gekommen (ist zum Glück auch nicht ganz so teuer).

 

[Xen12]

Erstmal ein Board finden mit 2 M.2 Plätze bei 2011-3 wird nicht ganz einfach. Bis jetzt hab ich nur Board mit einen M.2 Platz gesehen.
Was erhoffst du dir von der M.2 Raid kombi ?

 

[okxyz]

Erstmal ein Board finden mit 2 M.2 Plätze bei 2011-3 wird nicht ganz einfach.

Es würde wahrscheinlich auch mit zwei Adapter in den PCIe x4/x8 slots gehen - M.2 slot auf dem Mainboard ist wie es aussieht nicht unbedingt notwendig.
Allerdings bin ich mir nicht sicher, ob man auch von solchen Adapter booten kann.

Bis jetzt hab ich nur Board mit einen M.2 Platz gesehen.
Was erhoffst du dir von der M.2 Raid kombi ?

M:2 wg. Performance + RAID1 wg. Ausfall/Fehler auf einer Karte.
Mein jetziger Rechner ist ca. 10 Jahre alt - da waren schon einige male ein sync. zw. den zwei RAID1-Platten notwendig.

 

[okxyz]

Vermutlich läuft es auf M.2 Karten via Adapter in PCIe x4 slots hinaus.
Ich habe folgende Server-Mainboards angeschaut:

- Supermicro Xeon Boards X10SRA: kein Hinweis auf QPI/NUMA in Manual
- Supermicro Xeon Boards X10DRL-i: BIOS erlaubt Einstellungen bzgl. NUMA/QPI, Dual-Proz.
- ASUS Z10PA-U8: BIOS erlaubt Einstellungen bzgl. NUMA/QPI
- ASUS Z10PA-D8: BIOS erlaubt Einstellungen bzgl. NUMA/QPI, Dual-Proz.

Von den PPCIe 3.0 slots würde das X10DRL-i passen, allerdings nur 1x PCIe x16.

 

[Xen12]

Du kannst auch auf ein Dual Board nur ein Prozessor benutzen. Nur im falle das du das nicht wustest.

 

[okxyz]

Du kannst auch auf ein Dual Board nur ein Prozessor benutzen. Nur im falle das du das nicht wustest.

ist schon klar, wäre ein Option für später - wären dann immerhin 20C/40T.
Das Problem ist, das ich eine ASUS Radeon R7 240 Silent 2GB verwenden möchte, die würden den einzigen PCIe x16 belegen. Dann könnte ich später aber keine weiteren x16 Karten (CUDA oder Intel Xeon Phi - wg. Programmierung) einbauen.
Irgendwelche Ideen?

 

[okxyz]

Eventuell könnte beim Supermicro X10DRL-i vorerst den 16 lane PCIe slot für die Grafikkarte benutzen und später, falls Xeon Phi o. CUDA ansteht, auf eine x8 slot umstecken. Allerdings bin ich mir wg. der Energieversorgung unsicher. Die ASUS Radeon R7 240 Silent 2GB verbraucht nur 35W - aber ob das der x8 PCIe slot liefert? Ich meine mich zu erinnern, da? die max. 25W abgeben können?!

 

[Kullberg]

Nur zur Info: NUMA gibt es zumindest bei Intel nur bei Boards mit 2 CPUs.

 

[2ultima4]

2011-3 Board mit 2x M.2 da fällt mir doch mein ASRock OC Formula ein, einmal 32Gbit und einmal 20GBit (laut Tests) nur im Schreiben leicht! langsamer.
Nur das Bios passt dann noch nicht.

 

[mattiii]

ich würd vielleicht noch Skylake X abwarten oder muss unbedingt jetzt gekauft werden?

Sonst würde ich das X99 Taichi in den Raum werfen.

 

[fdsonne]

ist schon klar, wäre ein Option für später - wären dann immerhin 20C/40T.
Das Problem ist, das ich eine ASUS Radeon R7 240 Silent 2GB verwenden möchte, die würden den einzigen PCIe x16 belegen. Dann könnte ich später aber keine weiteren x16 Karten (CUDA oder Intel Xeon Phi - wg. Programmierung) einbauen.
Irgendwelche Ideen?

ne PCIe 1x Grafikkarte besorgen und diese nutzen?

Ansich würde ich persönlich aber das M.2 Zeug nicht für die Bootgeschichte nutzen... Warum? Weil es nix bringt... Ne normale SSD, nimm halt einfach zwei Allrouter im Raid 1, Software unter Linux oder von mir aus in "Hardware" am Chipsatz des Boards und dort das OS drauf -> M.2 mit einem Softwareraid, wie auch immer angebunden (2x Adapter, 1x Adapter + 1x intern oder wenn es sowas geben sollte, 2x intern) dann für die Datenpartitionen, ggf. Temppartition und Swap und gut ist.

Die Verwendung von derartigen Sachen als Bootmedium erschließt sich mir halt einfach nicht. Unter Linux ist das zwar etwas "anders" als unter Windows, gerade weil Windows eben viel viel mehr Datenzeugs mitbringt, aber das reine "doing" ist doch bei beiden Systemen auf eine eigene Partition auslagerbar.

Und wie Kullberg schon sagte, das NUMA Thema kannst du solange ignorieren, wie du nur eine CPU nutzt. Denn mit nur einer hast du so oder so nur einen NUMA Node... Da gibst nix, was es da zu verbiegen gäbe Im Dual Betrieb sieht das imho anders aus...

 

[Holt]

Allerdings bin ich mir nicht sicher, ob man auch von solchen Adapter booten kann.

Die Adapter schleifen die PCIe Lanes nur vom PCIe Slot zum M.2 Slot durch, spielen also keine Rollen wenn es um die Frage der Bootfähigkeit geht. Wenn man aber bei Board und CPU schon Server-HW verwendet, sollte man dies auch bei den Massenspeichern, also den SSDs und HDDs tun und beachten, dass HDDs üblicherweise nur auf ein Service Life von 5 Jahren ausgelegt sind.

 

[okxyz]

Nur zur Info: NUMA gibt es zumindest bei Intel nur bei Boards mit 2 CPUs.

Hmm, richtig - ich hatte bisher fälschlicherweise angenommen, daß der Proz. bereits zwei NUMA nodes bereitstellt.

- - - Updated - - -

Die Verwendung von derartigen Sachen als Bootmedium erschließt sich mir halt einfach nicht. Unter Linux ist das zwar etwas "anders" als unter Windows, gerade weil Windows eben viel viel mehr Datenzeugs mitbringt, aber das reine "doing" ist doch bei beiden Systemen auf eine eigene Partition auslagerbar.

Deine Argumentation erschließt sich mir nicht. Warum sollte M.2 als Systemmedium (von dem auch gebootet wird) Mißt sein? Die M.2 Karten werden für Daten + System ausreichend groß sein. Separierung von Systemdaten und Userdaten ist bei mir nicht unbedingt notwendig. Daher wäre eine zusätzliche SSD nur finanzieller Mehraufwand.

- - - Updated - - -

Die Adapter schleifen die PCIe Lanes nur vom PCIe Slot zum M.2 Slot durch, spielen also keine Rollen wenn es um die Frage der Bootfähigkeit geht.

OK

Wenn man aber bei Board und CPU schon Server-HW verwendet, sollte man dies auch bei den Massenspeichern, also den SSDs und HDDs tun.

Warum? Was spricht gegen M.2? Ich hätte M.2 wg. Performance (die soll ja besser als die von SSDs sein) ausgewählt.

- - - Updated - - -

Falls M.2 Karten ausscheiden sollten (Verwendung von SSDs), dann wäre das ASUS Z10PA-D8 interessant. Sofern ich nicht die darunterliegenden 8 lane PCIe slot benutze, hätte ich 2x x16 PCIe slots.

 

[Holt]

Ich hätte M.2 wg. Performance (die soll ja besser als die von SSDs sein) ausgewählt.

M.2 SSDs sind auch SSDs, von daher macht der Satz keinen Sinn, wenn Du nicht die SSDs genauer spezifizierst deren Performance schlechter als die von M.2 SSDs sein soll. Das wären z.B. SATA SSDs, pauschal muss das aber so auch nicht immer stimmen, außerdem gibt es bei M.2 sowohl M.2 SATA SSDs die dann eben nicht schneller als SATA SSDs in anderen Formfaktoren sind als auch M.2 PCIe SSDs. PCIe SSDs gibt es aber nicht nur im M.2 Formfaktor, sondern auch im 2.5" Formfaktor also U.2 und als Add-In Cards.

Du solltest lernen zwischen dem Formfaktor und der Schnittstelle der SSDs zu unterscheiden, sonst kommt nur wirres Zeug bei den Aussagen raus und Du schießt Dir am Ende ins eigene Knie. Ob eine schnelle M.2 PCIe SSDs wie die 950 Pro überhaupt einen Vorteil bringt, hängt neben dem System auch sehr von den Anwendungen ab, es gibt nicht so viele die wirklich vom Potential solcher SSDs profitieren.

 

[okxyz]

M.2 SSDs sind auch SSDs, von daher macht der Satz keinen Sinn, wenn Du nicht die SSDs genauer spezifizierst deren Performance schlechter als die von M.2 SSDs sein soll. Das wären z.B. SATA SSDs, pauschal muss das aber so auch nicht immer stimmen, außerdem gibt es bei M.2 sowohl M.2 SATA SSDs die dann eben nicht schneller als SATA SSDs in anderen Formfaktoren sind als auch M.2 PCIe SSDs. PCIe SSDs gibt es aber nicht nur im M.2 Formfaktor, sondern auch im 2.5" Formfaktor also U.2 und als Add-In Cards.

Ich beziehe mich auf M.2 B Key NVMe SSDs, also z.B. die Samsung 950 Pro. Ein anderes Forenmitgleid hatte 'normale SSDs' erwähnt, vermutlich sind SATA-III SSDs gemeint.
Nichts für ungut, ich denke ich habe alle Informationen (u.a. hat Supermicro mir ein paar Infos bzgl. des Mainboards gegeben).

 

[Holt]

Mir ist keine M.2 B Key NVMe SSD bekannt, die NVMe SSDs haben alle nur M Key, weil das bisher alles PCIe x4 SSDs sind und der B Key genau die Pins betrifft über die die 3. und 4. PCIe Lanes läufen. Aber wenn Du meinst alle Informationen zu haben, dann ist ja gut und ich bin hier raus.