NVME File-Server

[CaptainGrim]

Ich interessiere mich für einen NVME File-Server Barebones von Tyan (B8026T70AE24HR) oder Supermicro (2113S-WN24RT). Angeschlossen werden sollen 12 U.2 Festplatten (4TB Intel SSD DC P4510 4TB, U.2 (Raid 10 mit hot spare)). Nach langem Suchen und Fragen konnte ich zu manchen meiner Fragen leider immer noch keine Antwort finden. Vielleicht kann mir hier jemand zu diesen Fragen weiterhelfen:

1. Bei dem Supermicro System sind 3 Adapter Karten verbaut (2x AOC-SLG3-2E4R-P und 1x AOC-SLG3-4E4R-P), welche insgesamt Anschlussmöglichkeit für 8 U.2 Festplatten bieten. Um auf 12 Stück zu erweitern würde ich praktisch noch eine AOC-SLG3-4E4R-P Adapter Karte benötigen. Stimmt das?

2. Was wäre die optimale Konfiguration um 24 NVMe Festplatten anzuschließen in diesem Server?

3. Im Mainboard Handbuch habe ich gesehen, das dieses MB 8 NVME Steckplätze besitzt. Wozu dienen diese?

4. Bei dem Tyan Server sind ebenfalls nur 2 Adapter Karten vorverbaut (TYAN M2093). Auch hier würde ich für mehr Drives mehr Adapter Karten benötigen. Stimmt das?

Vielen Dank für eure Antworten.

 

[gea]

Prinzipiell werden NVMe direkt an PCIe angeschlossen. Für volle Performance sind dabei per NVMe 4 Lanes erforderlich. Das ist unabhängig davon ob man die NVMe per Oculink (der übliche Mainboardconnector für U.2 NVMe) oder M.2 oder eine Adapterkarte anschließt. Letztere können dann unterschiedlichen Buchsen wie Oculink, M.2 oder SFF 8643 haben. Ist funktionell egal, man braucht halt ein passendes Anschlußkabel für die U.2 NVMe.

Wenn man mehrere NVMe anschließen möchte dann geht es einfach ans Zusammenrechnen. Wieviel onboard Oculink + M.2 hat man. Dazu kommen die NVMe Anschlüsse an den Karten. Eine 16x Karte kann 4 NVMe versorgen, eine 8x Karte deren zwei und eine 4x Karte eine NVMe. Bei den Mehrfachkarten muss man beachten ob die "dumm" sind. Dann muss das Mainboard die PCI Lanes aufsplitten also 16x -> 4 x 4x (nennt sich Bifurcation). Kann das Mainboard das nicht, braucht man teure Karten mit PLX Chip. Begrenzt wird das schnell durch die Anzahl freier Slots und deren Lane Anzahl.

Wenn man noch mehr NVMe anschließen möchte kann man entweder nur eine oder zwei Lanes per NVMe bereitstellen oder braucht irgendeine Switching/Expander Technologie beidesmal auf Kosten der Performance.

Zuletzt muss man sich im Klaren sein, dass NVMe ja nur eine Schnittstelle ist. Langsame Flash Bausteine bleiben auch mit NVMe langsame Flash Bausteine. Insbesonder im Vergleich zu Dualport 12G SAS und High Performance Laufwerken wie WD SS530 erhält man mit SAS eine Performance die einer NVMe Lösung kaum nachsteht, ohne die ganzen Krücken die man mit NVMe und hoher Portzahl schlucken muss. Da sind Storage Lösungen mit Hunderten Laufwerken kein Problem. Ist eh ganz schnell so dass ein Disk Subsystem ein mehrfaches des möglichen Serverdurchsatzes liefert. Lediglich Latenz und write iops bei kleinen Daten (4k) bleibt dann ein Kriterium und das ist fast unabhängig von der Schnittstelle.

Lediglich mit Intel Optane ist NVMe derzeit unerreicht, liegt aber auch daran dass es Optane nicht mit SAS 12G gibt.