NVMe passthrough ESXi + Solaris(h)

[Anglefire]

Hallo zusammen,


nachdem ich ESXi nun mehrfach probiert habe, bei 6.5U2 hängen geblieben bin, habe ich nun mehrere Betriebssysteme durchprobiert.

Windows und Ubuntu kommen mit und ohne ESXi mit den NVMe und klar. Solaris 11.4 bekommt das leider nur ohne ESXi hin:


Wenn ich das über ESXi als VM mache, dann bleibt die VM beim starten hängen, noch bevor ich überhaupt installieren kann, sobald ein NVMe durchgereicht wird:


Ich habe auch das ova template von napp-it ausprobiert mit OmniOS. Hier spielt es keine Rolle, ob ich die NVMe durchreiche oder nicht, napp-it funktioniert grundsätzlich in beiden Fällen, die NVMe werden aber genauso wenig erkannt. nvmeadm als Tool auf der Kommandozeile gibt keinen Controller zurück.

Hat jemand eine spontane Idee für einen oder beide Fälle? Mit der Internetsuche bin ich bisher nicht fündig geworden.


Vielen Dank!

 

[gea]

Mit Solaris habe ich es noch nicht probiert.
Mit OmniOS war der Stand bisher, dass ältere NVMe (getestet mit Intel P750,P3600) im pass-through funktionierten, nicht aber die neue Intel Optane und die ist es ja ganz besonders die man als NVMe und/oder Slog haben möchte.

Wenn man z.B. die Optane als Slog nutzen möchte, so ist das empfohlenen Verfahren, darauf ein ESXi Datastore und eine 20GB vdisk anzulegen und diese als Slog zu nutzen. Das ergibt zusätzlich die Option, die Optane auch als ESXi Bootdevice, als Datastore für die Storage VM und L2Arc zu nutzen. Die Optane ab 800P und vor allem ab 900P ist so überirdisch gut dass der gleichzeitige Lese/Schreibzugriff nur geringe Einbußen bringt und auch der Performanceverlust gegen echtes Pass-through tolerierbar ist (bei normalen Flashbasierten NVMe würde ich das vermeiden).

Unter ESXi 6.7 gibt es zudem die Option einen virtuellen NVMe Controller einer VM hinzuzufügen und die vdisk daran festzumachen. Ich habe zwar noch keine Tests gemacht, die Latenz soll aber geringer sein als bei einem virtuellen Sata oder SAS Controller was vor allem einem Slog zugute kommt.

siehe Performance eines Diskpools mit Optane Slog als vdisk unter ESXi Kapitel 4.1 ff
http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

Die sequentielle Sync-Write Performance steigt damit geradezu dramatisch von 38 MB/s auf 630 MB/s

ps
Für Solaris 11.4beta gibt es noch keine angepassten vmware tools. Die aktuell bei ESXi beiliegenden Tools für Solaris laufen noch nicht. Man kann also eine Solaris 11.4 VM nicht aus ESXi herunterfahren und es fehlt die schneller vmxnet3 vnic. Das könnte man allenfalls durch pass-through einer Netzwerkkarte ausgleichen.

 

[Anglefire]

@gea: danke für den Input. Ich hatte auch 11.3 ausprobiert, da bietet sich erst mal dasselbe Bild in Bezug auf Hängen beim Starten. OmniOS werde ich auch noch ausprobieren.

Geplant war, dass ich auf der einen NVMe ESXi + Napp-it packe, für Napp-it die zwei im Asus-Adapter befindlichen NVMe durchreiche und dort dann eine NFS-Freigabe für ESXi für alle anderen VMs mache (Raid 1 oder einfach nur eine mit täglichem Backup/snapshot auf die zweite). So die (meine) graue Theorie.

Ansonsten muss ich wohl auf 2 vdisks gehen und die wie von dir beschrieben mit virtuellem NVME Controller anbinden (zumindest die Option sehe ich auch unter 6.5U2) - 6.7 hatte ich nur kurz angetestet, da man hier ja den SATA-Controller nicht mehr durchreichen kann mangels veränderbarer /etc/vmware/passthru.map.

Mal schauen, ob sich noch Erkenntnisse gewinnen lassen aus den weiteren Tests...