Mehrere M.2 über 1 PCIe-Adapter?

[mensa]

Hallo,

ich möchte noch auf die Samsung SSD 980 warten (Neue SSDs: Samsung 860 Evo, 970 Evo und 980 Pro tauchen erstmals auf - Hardwareluxx) und dann 2 Stück (512 GB + 256 GB) in einem ESXi Server per PCIe-Adapter verbauen, da das verwendetet Board (ASUS Z10PA-D8) selbst keine passenden M.2 Slots hat.

Es wird dann eh schon mal spannend, ob der ESXi die M.2 über den PCIe-Adapter überhautp erkennt, aber mal probieren...

Die Frage, die ich mir eigentlich stelle ist folgende:
Die SSD 980 soll ja Leseraten bis zu 3.400 MB/s und Schreibraten bis zu 2.400 MB/s schaffen. Jetzt hätte ich einen ganz praktischen PCIe-Adapter gesehen, wo man über einen einzigen gleich 4 Stück M.2 SSDs anschließen kann:
ASUS Hyper M.2 X16 Card Preisvergleich sterreich
Aber macht das überhaupt Sinn? Wenn jetzt theoretisch 2 oder gar 4 SSD 980 auf Anschlag laufen würden, würden diese dann nicht über den einen einzigen PCIe-Port ausgebremst? Oder geht da locker alles drüber?

Edit: Was mich wundert ist, dass es entweder Adapter für 1 Stück M.2 über PCIe gibt, oder eben gleich 4 Stück M.2 über PCIe. Gibts nichts für 2 Stück M.2 über PCIe?

Edit 2: Am Board direkt hätte ich einen M.2 2242 Anschluss. Kann man da nicht auch eine M.2 2280 reinstecken, wenn es sich vom Platz her ausgeht? Ist ja nur länger, oder? Oder gibts evtl. dafür auch einen Adapter?

 

[Andi 669]

von den Lanes passt das schon, der PCIe-Adapter kommt ja in einen 16x (Lanes) Port, u. jede von den M.2 braucht 4x (Lanes),

aber ob es da möglich ist die SSD einzeln anzusprechen, oder nur gleich im Raid weiß ich jetzt auch nicht so genau.

 

[h00bi]

Es wird dann eh schon mal spannend, ob der ESXi die M.2 über den PCIe-Adapter überhautp erkennt, aber mal probieren...

Die normalen M.2 auf PCIe Adapter sind mechnaische Adapter und völlig transparent, der Server merkt gar nicht dass da ein Adapter dazwischen ist.

ASUS Hyper M.2 X16 Card Preisvergleich sterreich Aber macht das überhaupt Sinn?

eine M.2 NVMe hat 4 PCIe lanes, die Karte greift 16 vom Board ab. Also keine Bremse.
Allerdings sitzt hier ein zusätzlicher Chip drauf (also nicht mehr transparent), da kommt dann plötzlich die Frage auf ob das mit dem ESXi laufen wird.

Gibts nichts für 2 Stück M.2 über PCIe?

Gibts, z.B. hier. Fujitsu Carrier fr M.2 zu PCIe x8 (D3352-A GS1) - Zubehör für SSDs | Mindfactory.de
Ist transparent, geht aber nicht auf jedem Board. Auf dem ASUS Z10PA-D8 sollte das aber gehen. Stichwort "PCIe bifurcation".
Guck mal da: 2x M.2 SSDs in PCIe 16x Steckplatz? bzw. da: Fujitsu D3352-A GS1 (S26361-D3352-A2)

Am Board direkt hätte ich einen M.2 2242 Anschluss

Theroretisch kannst du da auch eine 2280er betreiben, du musst hat die verriegelung vom Board abbauen und dir eine eigene dran bauen. Und sie steht dann halt 4cm über den Rand vom Board raus.

2 Stück (512 GB + 256 GB)

Warum eigentlich ungleich große wenn du eh neu kaufst?

 

[kaiser]

Vorsicht, das Board muss es unterstützen, dass der PCIe x16 gesplittet wird! nicht jedes kann des. Eher vereinzelte können das. Und des muss im BIOS expliziet ausgewählt werden

Und der M.2 2242 Anschluss braucht dann auch den M Key. Der hat aber vermutlich E Key für WIFI Karten (PCIe x2 + USB)

 

[mensa]

Danke für die ganzen Tipps.

Meine Befürchtungen sind eher, ober ESXi die M.2 SSD überhaupt erkennt (egal ob mit oder ohne Adapter). Aber das werde ich morgen mal ausprobieren.
Ich nehm 2 ungleich große, da mir insgesamt 2 x 256 GB zu wenig und 2 x 512 GB zu viel sind. Ist ja eigentlich egal, oder? Im ESXi leg ich die VMs dann je nach belieben auf die einzelnen SSDs.

Beim Board steht, dass es M.2 Key unterstützt.

 

[Holt]

Andi 669, ein RAID gibt es von alleine mal gar nicht und da VROC erst nit den Nachfolge CPUs eingeführt wurde, bliebe hier bur die Option ein SW RAID aufzusetzen.

h00bi, was für "ein zusätzlicher Chip" st bei der ASUS Hyper M.2 X16 Card drauf? Schon der Preis lässt da ganz sicher kein PLX Chip drauf vermuten! Hier kann man dies auch nachlesen! Damit hat kaiser als einziger das wirklich relevante Thema angeschnitten, nur nicht bbeim Namen genannt: PCIe bifurcation!

Im Prinzip unterstützt die Plattform dies, die Frage ist ob das Board es auch tut und wenn ja für welche Slots. Normalerweise kann in einem Slot nur ein Gerät angesprochen werden, damit geht in den einfachen Boards ohne PLX Chip (der ist dann für den Rechner nur ein Gerät und teilt die Lanes an die vier SSDs auf) und wie der ASUS Karte, nur eine der verbauten SSDs und auch nur, wenn diese im richtigen M.2 Slot steckt. Die PCIe bifurcation bewirkt eben, dass so ein x16 Slot sich wie zwei x8 oder auch wie 4 x4 Slots verhalten kann. Solche Karten wie die von ASUS wird es bald noch mehr geben, denn beim X299 und bei TR4 können scheinbar alle PCIe Slots PCIe bifurcation und man kann in den x16 Slot damit 4 M.2 PCIe SSDs betreiben, in x8 Slots nur 2. Die Karten mit PLX Chips sind weit teurer, dafür kann man dann in jedem Slot dort 4 M.2 PCIe SSDs betreiben, egal wie viel Lanes der hat (ggf. wird er dann zum Flaschenhals) und ob der PCIe bifurcation unterstützt.

- - - Updated - - -

Hier steht es auch noch mal deutlich:

Note that the ASUS Hyper M.2 X16 Card will only work on motherboards supporting PCIe bifurcation, which allows the CPU to split PCIe lanes into subgroups without the need of a PLX chip.

 

[Andi 669]

Andi 669, ein RAID gibt es von alleine mal gar nicht und da VROC erst nit den Nachfolge CPUs eingeführt wurde, bliebe hier bur die Option ein SW RAID aufzusetzen.

ich habe ja auch nicht geschrieben das es da automatisch ein RAID gibt, sondern das es "eventuell" nur in einen RAID geht,
mir ging es darum das ich nicht sicher war das man da dann gleich große SSD einsetzen muss oder ähnliches, war mit RAID etwas falsch formuliert

 

[h00bi]

h00bi, was für "ein zusätzlicher Chip" st bei der ASUS Hyper M.2 X16 Card drauf?

Hab noch kein Foto gefunden auf dem man die Beschriftung lesen kann.

Meine Befürchtungen sind eher, ober ESXi die M.2 SSD überhaupt erkennt

kommt auf die Versuion an, aber ich glaube ab 6.5 U2 sollte das gar kein Problem sein.

 

[mensa]

Geil, da freu ich mich schon drauf!
Das wird ja eine richtige Rakete dann
Ich finde M.2 sowas von genial und mehr als fair von Preis / Leistung!

Ich könnte die M.2 2280 zum Testen ja mal im 2242 Slot testen, ohne diese anzuschrauben, oder? Ich hab leider echt keinen Plan ob und wie ich die in diesem Slot direkt befestigen könnte. Da müsste man ja durchs Motherboard boren um eine neue Befestigung/Abstandhalter anzubringen, was vermutlich nicht so gesund ist.

 

[besterino]

ESXi 6.5U1 jedenfalls erkennt m.2 PCIe/NVMe SSDs völlig unproblematisch zum Beispiel mit solchen preiswerten Adaptern von Inter Tech für'n schlappen 10er. Davon booten will man da eh nicht mit, das ist ja Perlen vor die Säue. Als VM-Storage geht das aber ganz tuffig und die Dinger lassen sich (selbst mit Adapter) locker mit PCIe-Passthrough an eine VM durchreichen. Alles schon ausprobiert - hab 2 von den Adaptern (kommen übrigens mit Standard- und lowprofile-Blende) - auf verschiedenen Brettern (u.a. alten 1155er Mainboards mit Xeon E3 v1).

Ich versuch' gerade einen 2er-Adapter mit 2 PCIe-NVMe-SSDs ans Laufen zu bekommen, habe mir wohl bisher mit den falschen Bios-Settings mein Glück versucht. Dafür muss das Board schon Bifurcation können, da arbeite ich gerade noch dran. Daumen drücken.

Die Asus Hyper x16 habe ich vor über einer Woche mal bestellt, da hat der freundliche Händler aber kürzlich ein "Lieferdatum unbekannt" mitgeteilt. Schau'mer mal.

 

[Holt]

mensa, M.2 ist nur ein Formfaktor und keine Schnittstelle! Es gibt M.2 SATA und M.2 PCIe SSDs, die im Preis fairen M.2 SSDs sind meistens M.2 SATA SSDs, die dann aber in so eine Karte nicht funktionieren, diese Karten sind nur für M.2 PCIe SSDs. Es gibt auch welche für M.2 SATA SSD, da ist dann entweder eine SATA Buchse um diese mit einem Port zu verbinden oder ein SATA Host Controller drauf, die Performance ist dann aber nicht besser als bei SATA SSDs im 2.5" Formfaktor, bei denen mit SATA Host Controller meist sogar deutlich schlechter als bei den SATA Ports des Chipsatzes.

Eine 2280er in einem 2242er Port zu testen ist keine so gute Idee, denn die SSDs sollte schon ordentlich im Slot sitzen, also parallel zum Mainboard verlaufen und dies dürfte kaum möglich sein, wenn der Slot so kurz ist. Außerdem sind diese kurzen Slots mit für I/O Karten (wie WLAN) gedacht und verfügen dann nur über eine PCIe Lanes, wenn es nicht gar E-Key Slots sind in die eine M-Key SSD gar nicht passt, außer mit Gewalt und dann ist sie hinterher kaputt.

 

[mensa]

Ich versuch' gerade einen 2er-Adapter mit 2 PCIe-NVMe-SSDs

Genau so einen Adapter bräuchte ich, aber halt mit PCIe 3.0 x8 anstannt x4.
PCIe 3.0 x4 hat ein Limit von ca. 4 GB/s was für 2 Stück SSD 980 ja schon deutlich zu wenig wäre, oder?

Scheint leider momentan der einzige Adapter mit 2x M.2 PCIe zu sein: geizhals.eu EU

@Holt: Ich interessiere mich ausschließlich für M.2 PCIe, da über SATA leider die Geschwindigkeit nicht möglich ist.

 

[Trambahner]

Der Supermicro ist PCIe3 x8 und teilt die Lanes auf zwei PCI3 x4 auf (nicht 4x auf zwei 2x). Solange Board und CPU Bifurcation können.
An diese Maximalraten (2* 3,5 GB/s) kommst aber eh kaum ran, weil mit welchen Applikationen willst des dauerhaft auslaten?

Solche Datenraten auf dem Papier und in künstlichen Benchmarks sind das eine, die tatsächliche nutzbare Leistung und das "look&feel" nochmal was anderes. Siehe das Review von PCper bzgl. der Intel Optane 900P.
Sobald Du Leseanteile in die Schreibvorgänge einstreust, wars das mit der gigantischen Leistung. Ebenso kommt man mit den schnellen SSDs mittlerweile in Regionen, wo administrative Dinge wie Trim oder Garbagecollection schlicht ausbremsen können und Antwortzeiten verlängern.

 

[Holt]

mensa, die Adapterkarte von Supermicro die besterino hat, besitzt ebensowenig einen PLX Chip wie die von ASUS und in beiden Fälle bekommt jede SSD 4 PCIe 3.0 Lanes, wenn der Slot das unterstützt und dies hängt eben beim S.2011-3 vom Board und dem UEFI ab, ggf. noch von der CPU, denn im Prinzip unterstützt die Plattform es schon.

 

[besterino]

@Mensa: die AOC-SLG3-2M2 ist meine und wie geschrieben bringt der für jede SSD x4 rüber.

@Holt: ...und offenbar auch noch abhängig von der verwendeten SSD. Ich habe den Verdacht, dass Intel SSDs da Zicken machen, eine Optane 32GB auf jeden Fall (will nicht im 2er Adapter, in einem einfachen m2–>PCIE oder onboard aber sehr wohl) und meine P600 habe ich inzwischen auch schon als „inkompatibel“ im Verdacht.

Bin grad unterwegs und kann frühestens am Wochenende weiter testen.

Wenn man es problemlos haben will: einfache m2–>PCIE Adapter nehmen.

 

[Holt]

Mit welchen SSDs und in welchem Board (und dort Slot) hast Du des denn probiert? Mit dem Z270er Board aus Deiner Systeminfo dürfte es wohl nicht gehen, mit dem 2 fache Adapter schon gar nicht, da der Z270er die 16 PCIe Lanes der CPU nur auf x8/x8 oder x8/x4/x4 aufteilen kann, mit dem ASUS vierfach Adapter könnten also auch nur bestenfalls 3 SSDs laufen, aber der zweifach Adapter greift ja nur die ersten 8 PCIe Lanes ab und die sind nicht teilbar!

 

[besterino]

Primär rumgespielt mit dem X11SPi-TF aus meiner Signatur - das kann (theoretisch) x4/x4/x4/x4. Bin da im Kontakt mit dem SM-Support, die das in einem anderen Board der Reihe erfolgreich getestet haben, allerdings mit anderen SSDs und außer dem Adapter ohne weitere Steckkarten. Das muss ich eben noch einmal mit meiner Hardware nachvollziehen.

Da das aber bei mir jedenfalls nicht „out-of-the-Box“ lief, bin ich mit konkreten Empfehlungen dazu noch zurückhaltend, insbesondere bis ich überhaupt mal einen Erfolg erzielt habe, zwei SSDs in dem Adapter irgendwo „gesehen“ zu haben.

Klar, liegt im Zweifel auch daran, dass ich mit nicht von SM explizit freigegebener Hardware (SSDs und zusätzliche Steckkarten) unterwegs bin, aber das trifft wahrscheinlich auf 99% der Homeuser zu.

EDIT: mehr dazu findest Du hier: [Sammelthread] Server Zubehör Sammelthread (m.2-Adapter, Performance, Kompatibilität...)

 

[besterino]

Update: hab‘s hinbekommen. Lag wohl an den Intel m2 SSDs, mit einer Samsung SM961 in Kombination mit einer Samsung PM961 ging’s (Screenshots im verlinkten Thread ein Post weiter oben).

 

[smani]

Hallo,
ich habe hier noch eine Frage zu; Wenn ich die NVME als Cache benutze, muss dieser dann so groß wie die einzelne VM sein damit es etwas was bringt?
Der Cache sieht doch sicher nur eine VMFS5 Datei oder?
Grüße
Simon

 

[besterino]

Nein. Cache funktioniert eher Blockbasiert, d.h. der beschleunigt das, was häufig gelesen wird Datei- und ggf. sogar Filesystem-übergreifend (je nachdem um welchen Cache es geht).

Wenn Du genaueres wissen willst, musst Du mal bei VMware schauen. Meine VMs liegen alle auf reinem SSD-Speicher.

 

[smani]

HI,
danke für die Rückmeldung. Das heisst der Cache vom Server beschleunigt jede einzelne Bild Datei, obwohl diese ja in einer VMDK datei liegt?
Nur Read, wie ich gelesen habe.

Eigentlich geht es darum:

Ich habe hier einen ESXI Server aus 2015 mit 6 VM wo 7 *600gb (+1hot spare) SAS Platten verbaut sind. Jetzt habe ich nur etwa 250GB frei. was natürlich zu wenig auch für Snapshots ist.
Von dieser Gesamtmenge sind ca 1,5 TB Daten an Office,Bilder und CAD Kram welche ich sicher auslagern könnte.

Ich weiss nicht so recht was ich machen soll;

entweder ein NAS mit etwa 8 x 4-6TB Platten in dieser dann eine SSD Cache ( Synology ) sitzt, aber dann denke ich das der SSD Cache nichts bringt, wenn ich diese als LUN in die VMWare Umgebung intigriere.
Oder diese Daten dann ohne Virtualisierung auf der NAS legen, dann bringt mir der SSD Cache der Synology ja ordentlich etwas.
Aber dann hab ich vermutlich zu wenig Geschwindigkeit für das LUN für weitere VM´s `? ( Weil der Synology Cache die VMDK nicht cached, bzw der Cache dafür sicher zu klein ist. )

Den Server würde ich dann mit 3 x 2 TB SSD im Raid 5 aufrüsten. Das beschleunigt die Datenbanken auch sicher.
Alternativ, die jetzigen Platten so lassen, und den Server nur mit SSD Cache aufrüsten.

2 x 10GBe zwischen NAS und Server wäre vorhanden.

Grüße
Simon

 

[besterino]

Nochmal & stark vereinfacht: der Cache kümmert sich idR nicht um das Dateisystem oder einzelne Dateien. Der sieht nur „oh, der Datenträger muss total oft da hinten in der Ecke links lesen“ und dann zieht der sich das was da ist in den Cache - und hat keine Ahnung was das ist. In der „Ecke links“ kann ein Teil der VMDK einer VM liegen (weil da zufällig die Datenbank liegt, auf die die VM permanent zugreift) zusammen mit dem Filmchen, das vor kurzem 3 Leute parallel geguckt haben.

Den Rest der VMDK (wo z.B. das Office-Paket installiert ist), der nie benutzt wurde, landet dann z.B. nicht im Cache.

Dann: Raid5 ist eine Speedbremse. Wenn du schnell & sicher willst, Raid10. Gilt übrigens generell: sicher kostet Performance - vor allem mit ESXi und beim Schreiben, da ESXi regelmäßig synchrones Schreiben einschaltet - vor allem wenn’s ein Datenspeicher im Netz ist (da bricht Dir selbst nen SSD-Raid gerne mal krass ein). Muss man halt abwägen, was man will und wo der Engpass liegt.

Grundsätzlich: viel genutzte Datenbanken gehören auf den schnellstmöglichen Speicher (SSD only), wenn noch Platz ist, die VMs da mit hin. Daten und Rest auf HDDs - je nach Anwendungsfall die dann eben mit SSD Cache zusätzlich beschleunigen.

 

[folkwang]

....noch ein Tip zu der Frage vom Anfang: Squid PCI Express Carrier Boards™ for M.2 SSD modules - Amfeltec

 

[besterino]

Für die +800 Euro würde ich aber was anderes kaufen... zum beispiel eine komplette 3647-Plattform (board und CPU) mit Bifurcation und sowas: ASUS Hyper M.2 X16 Card ab Preisvergleich Geizhals Deutschland

Wenn man 'nen kleinen Xeon Bronze nimmt, bekommt man sogar noch etwas RAM für den Preis...