[Kaufberatung] X399 Mainboard mit viel Passtrough unter ESXi 6.7+?

[Seelbreaker]

Moin

je nachdem wann die Ryzen CPUs rauskommen warte ich wohl noch bis zum Release, aber ich wollte mal fragen ob jemand mit einem X399 Mainboard unter ESXi unterwegs ist und seine Erfahrungen bezüglich Passtrough (hauptsächlich USB & GPU) teilen/testen kann.

Viele X399 Mainboards bieten ja en masse USB Ports an, aber die kann man ja scheinbar nicht passtroughen. Wäre cool wenn eins der Mainboards das auch könnte, weil ich dann bequemer USB-Ports durchschleifen kann ohne PCIe Karte und mehr Kerne dank TR4-CPU - why not?

Letztendlich wird da auch eine Desktop-VM laufen, daher der GPU Passtrough. Läuft aktuell problemlos auf meinem Ryzen System und nebenher laufen noch andere VMs

Viele Grüße!
Seel

 

[AliManali]

Hi

Fragt sich, ob Du bei den USB Geräten die echt per IOMMU, oder wie das bei AMD heisst, durchreichen musst. Reicht es nicht, die USB Geräte herkömmlich den VM's zur Verfügung zu stellen, also ohne Passtrough?

X399 tönt nach Desktop Board. Hatte ich auch ein paar Jahre in Betrieb gehabt nen Desktopboard, aber mit Sachen wie Passtrough, bzw. USB bin ich mit dem neuen Serverboard jetzt echt besser bedient.

Für was brauchst Du die ganzen USB Geräte denn? Und wie viele sind es?

Ich für meinen Teil brauch mal ein Netzwerk USB Device Server, weil mir die USB Ports nicht mehr ausreichen. Aber seit dem Wechsel von X79 auf C612 funktioniert USB recht gut, allerdings ohne Passtrough.

 

[Seelbreaker]

Hi

Fragt sich, ob Du bei den USB Geräten die echt per IOMMU, oder wie das bei AMD heisst, durchreichen musst. Reicht es nicht, die USB Geräte herkömmlich den VM's zur Verfügung zu stellen, also ohne Passtrough?

X399 tönt nach Desktop Board. Hatte ich auch ein paar Jahre in Betrieb gehabt nen Desktopboard, aber mit Sachen wie Passtrough, bzw. USB bin ich mit dem neuen Serverboard jetzt echt besser bedient.

Für was brauchst Du die ganzen USB Geräte denn? Und wie viele sind es?

Ich für meinen Teil brauch mal ein Netzwerk USB Device Server, weil mir die USB Ports nicht mehr ausreichen. Aber seit dem Wechsel von X79 auf C612 funktioniert USB recht gut, allerdings ohne Passtrough.

Jup bei AMD ist des IOMMU.

Sofern ich des weiß werden USB-Geräte nur dann mit durchgeschliffen wenn die Remote-Konsole offen ist, aber dann probiere ich mal aus ob ich die auch so durchschleifen kann - wäre natürlich ne feine Sache
Ich benötige an meinem Desktop-ESXi:
1x Keyboard
1x Maus
1x Wireless Headset
1x Headset-Stand
1x Xbox 360 Controller Receiver

Bei meinem aktuellen Gigabyte AX370 K7 funktioniert Passtrough bei GPU und PCIe Ports auch super - und was wohl via Chipsatz geht lässt sich auch durchschleifen Aber ich ging davon aus, dass eine dedizierte USB-PCIe Karte via Passtrough weniger Stress macht.

Die Ocolus braucht ja auch 3x USB 3.0 - daher habe ich gleich mit PCIe Ports gearbeitet

 

[AliManali]

Sofern ich des weiß werden USB-Geräte nur dann mit durchgeschliffen wenn die Remote-Konsole offen ist

Ne, USB geht auch ohne remote Konsole. Einfach im Hostclient bei den VM Einstellungen USB Gerät eintragen. Da brauchst Du kein Passtrough für. Das geht recht schmerzfrei.

Wobei Sound kann im vmware Umfeld wohl Probleme machen, was ich gelesen habe. Aber selbst nie getestet.


Edit:

Hast Du die TR CPU, bzw. den RAM denn schon? Weil sonst würd ich mal nach Epyc oder XEON schauen. Hatte echt jahrelang nur Theater mit der Desktop Plattform.

 

[MC Drehstuhl]

Du wirst wohl eine oder eher mehrere PCIe Karten brauchen.

Ich würde dir da folgende Links empfehlen.

Supported USB device models for passthrough from an ESX or ESXi host to a virtual machine (1021345)

Using USB devices that are not included in the supported device list
If a USB device is not on the supported list, set up a test environment with ESX/ESXi hosts and virtual machines to replicate your production environment. Attach the USB device to the ESX/ESXi host and add it to the virtual machine. If the USB device operation works as expected, you can attach the USB device to a production ESX/ESXi host and virtual machine.

These USB devices are not available for passthrough:
USB devices such as mice and keyboards that have a bootable HID interface.
USB devices such as real time video cameras and audio devices that use isochronous data transfers.
USB devices on which an ESXi host is installed. For more information, see VMware support for USB/SD devices used for installing VMware ESXi (1010574).

USB support in ESXi/ESX 4.1, ESXi 5.x, and ESXi 6.x (1022290)

Ich hatte auch mal ein USB Device das den ESXi zum Absturz gebracht hat. Das war 6.5 oder 6.7.
Und vergiss nicht das du dann kein Hot Plug hast. Ich hätte keinen bock jedes mal wenn ich einen USB Stick anschließe diesen erst durchzureichen.

 

[AliManali]

Neben dem, dass ich dazu kein Desktop Board kaufen würde, käm da wohl doch die ein oder andere USB Passrough Karte zum Einsatz. K.A., was da bei einer VR Lösung so über 3x USB 3.0 übertragen wird (auch Video?). Aber das würde ich dann wohl doch über eine Steckkarte realisieren.

Eigentlich würd ich den Desktop wohl gar nicht in einer VM haben wollen, wenn wir ehrlich sind. Ich hab halt zwei Rechner, nen Server und den Desktop. Die all in one Lösung find ich halt voll umständlich, obwohl ich es nie getestet habe.

 

[Seelbreaker]

Moin

Danke erstmal für die ganzen zahlreichen Antworten!

Also - das ganze Setup habe ich momentan mit 3 Desktop-PCs (unsupported wie sau <-- das ist mir bekannt ;-) ) am laufen:

1x ESXi 6.7 U1 mit FM1 CPU und nem Gigabyte Mainboard das ich noch auf Ebay finden konnte (aber leider nicht mehr als 16GB RAM bietet ).
1x ESXi 6.7 U1 mit Ryzen CPU und dem Gigabyte AX370 Gaming K7 <-- Hier läuft die Linux-Desktop VM welche die GPU und eine PCIe-USB Karte via Passtrough erhält.

die stehen beide bei mir...

1x ESXi 6.7 U1 mit Phenom 2 1090T auf einem Asrock 970 Pro3 R2.0 <-- Hier läuft auch eine Windows-Desktop-VM welche via Passtrough eine GPU bekommen hat und zwei interen USB Ports vom ASMedia Controller durchgeschliffen wurden.
Das Ding steht bei der Familie.

Und dann gibts noch einen Hetzner ESXi-Server welcher sich um Mails, VPN, Anti Spam und Proxy kümmert.



Nur bei der FM1 CPU habe ich das Whitelisting beim Setup umgehen müssen beim Phenom 2 1090T habe ich es auch gemacht, da 6.7 U1 erst ab Bulldozer-Architektur die Installation zulässt und ich auf Nummer sicher gehen wollte.

Aber das läuft für mich sehr zufriedenstellend!
Klar die Desktop-VMs Performen beim Spielen nicht so gut wie direkt auf der Hardware. Aber eine Linux VM mit Open-Source GPU-Treibern welche über 100 FPS in Rocket League erreicht, ist für mich Grund genug das auf Dauer so zu behalten.

Klar habe ich durch das Passtrough Nachteile. Aber ein HotAdd Backup kann ich fahren indem ich die Desktop-VM herunterfahre und die Sache ist gegessen (und wenn ich mich aufraffe um noch zwei PowerCLI Einzeiler zu schreiben geht das noch bequemer).



Was VR angeht - die Ocolus braucht 3x USB 3.0:
- 2x für die beiden Kameras
- 1x für das Headset

Damit es da halt nicht zu Problemen kommt habe ich mir damals die USB 3.0 PCIe-Karte besorgt und konnte damit auch problemlos über die Desktop-VM in die VR einsteigen.

Der Ryzen Desktop wird letztendlich auch zum HTPC-ESXi degradiert, wenn der neue "Desktop" steht. Dann starte ich je nach Lust und Laune entweder die Steam-VM, die Oculus-VM oder die Filme-VM - whatever (Da wäre ne PowerCLI App für Android cool :P).


TR4 CPU oder Mainboard habe ich noch nicht und das wird bis August auch erstmal warten, weil dann ja wohl die 3000er Ryzen rauskommen und die Preisentwicklung wird auch zeigen was dann interessant wird.


Das ich das Konstrukt mittlerweile so fahre ist auch nur dem geschuldet, dass der GPU-Passtrough und alles drumherum so einwandfrei funktioniert. Sonst hätte ich wohl immernoch auf dem Desktop Windows drauf.


Edit: und Desktop Board ist gar nicht mal so verkehrt, weil ich da eher mit undervolting an der CPU schrauben kann als an einem SuperMicro oder sowas, richtig?