Server für Virtualisierung mit GPU Passthrough - Ist das mölglich?

[Jaster]

Hallo,

ich betreibe aktuell einen kleinen Server der auch eine KVM Engine mit Passthrough besitzt (unRaid).
Nun möchte ich meine Workstation und einige "kleinere" Rechner abschaffen, durch Slim Clients ersetzen und die eigentliche Rechenleistung über den Server laufen lassen.
Dabei sollten die Anwendungen aber natürlich so laufen wie auf einer Workstation und nicht mit größeren (RDP typischen) Verzögerungen vor sich hin rattern.

Folgende VMs möchte ich betreiben:
#1 Workstation - Win 10 Ent - Hauptsächlich Entwicklung mit dem Visual Studio (Bitte nicht mit Eclipse oder ähnlichem vergleichen... das Ding braucht Performance). Dazu noch die üblichen Verdächtigen wie SQL Server, etc. All zu grafiklastig wird es nicht, auch wenn VS die GPU verwendet.
#2 Surf & Stream Client - Das OS ist mir im Grunde egal, Win 10 Pro könnte ich mir gut vorstellen - Eine VM die ich regelmässig zurücksetze und hauptsächlich zum Surfen verwende. Hier sollte sowas wie Youtube oder sonstige Streams flüssig laufen.
#3 Game Client - Wenn ich mal spiele, dann eigentlich nichts "zu krasses", aber klar ist, dass es über einfaches RDP nicht geht. Ein beispiel wäre hier XCOM 2
#4 Plex Stream Client - Sollte irgendwas sein, dass Plex Steamen kann - aktuell bis 2.5k, zukünftig sollte es 4k fähig sein.

An folgende Hardware habe ich für den Server gedacht:
- i9-7900x (Ich brauche den Takt pro Kern für VS, daher kein Xeon)
- X299 Board (ECC und mehr als 16GB pro Riegel brauche ich nicht, daher kein C422)
- GTX 1070 (oder doch Ti? oder 1080?)
SSDs, genügend Arbeitsspreicher und GBit Lan sind obligatorisch

Jetzt die Fragen:
1. Kann ich das was ich vor habe überhaupt realisieren oder sind die Latenzen zu groß? (Ich gehe aktuell noch davon aus)
2. Was sollte ich als Slim Clients nehmen (Software&Hardware) - Pi3 wird wohl etwas zu schlapp jenseits von 1080p sein... Vieleicht einen NUC?
3. Verbidnung zu den VMs -> So etwas wie RDP, oder einen Client wie Horizon oder...?
4. Wenn ich zwei Instanzen einer Game VM starte, brauche ich dann zwei exklusive GraKas oder "teilen" sich die Instanzen die Power?
5. Paralellebetrieb: Game + Stream -> Kann die Stream VM auch ohne GPU Passthrough flüssig wiedergeben?

Ich hoffe jemand von euch hat Erfahrungen mit so etwas.
Ich danke schon mal für euren Input.

 

[Fusseltuch]

Du kannst die GPU aber leider nur an eine VM durchreichen. Das Aufteilen der Grafikleistung auf mehrere Clients wird nur von den professionellen Grid/Tesla- oder FirePro-Karten unterstützt. Das scheint ja dann schon fast so etwas wie das KO-Kriterium zu sein.

 

[Jaster]

Das heißt also, dass nur eine VM pro GraKa laufen kann... also eher mehrere "kleine" Grakas nehmen und die VMs damit versorgen? Während eine 1070 Sicherlich toll zum zocken ist, wird für die anderne Zwecke eine ~150€ Karte ja ausreichen - davon kann ich dann ja 3-4 Einbauen anstatt der 1070.

Bzw: solange nur eine der VMs im Einsatz ist -> kein Problem... oder?

 

[Fusseltuch]

Ja, die Möglichkeit besteht, wenn du genügend Slots zur Verfügung hast. Entweder eine sackteure Profi-Karte plus entsprechende Lizenzen, oder für jede VM, die Grafikpower benötigt, eine eigene Karte.

 

[Jaster]

Lassen wir das Gaming ausßen vor... was wären gute GraKas dafür? Und wie sieht es mit den anderen Punkten aus? Also Latenz, Software, etc...?

 

[iceman84]

Kumpel hat bei seinem 6700k auch ne kvm mit arch linux drunter wo nur die igpu hernimmt.

gpu (1080 afaik) hat er dann durchgereicht an die windows vm was ohne probleme läuft.
ich glaube nicht dass es eine Lösung gibt wo sich mehrere VM´s dann die GPU sharen, zumindestens nicht mit costumer hardware (div. nvidia karten gibts ja glaub ich wo man 4-8 instanzen auf einer laufen lassen kann - aber ich bezweifle dass die treiber fürs zocken geeignet sind bzw. das ganze auch preislich sinn macht).

falls du immer am gleichen ort zockst kannst du dort ja evtl den server hinstellen und die gpu direkt mit dem monitor / tv verbinden dann hast du keinen delay und den rest über rdp machen.

ansonsten würde ich das ganze ggf. splitten wenn du die gpu power wirklich nur fürs zocken brauchst evtl 2 kisten, ein i3 (8350 z.b. 4 kerne/4threads @4ghz) liegt bei 160€ falls 3.6ghz reichen 110€ (8100) mit 16 gb ram und ner ssd könnte ja evtl schon für deine vs umgebung reichen. außer du willst einfach die möglichkeit haben immer an x orten arbeiten zu können

für den surf an stream client -> schau dir mal das nvidia shield an gibt auch noch schöne controller aktuelles android (kein sideloading für kodi etc...) und das teil kann fast alles (hdr 4k/60hz/hdmi cec) etc.. ggf. musst du bei dolby atoms abstriche machen da bin ich mir nicht sicher, aber ohne ne 1060 zu kaufen wirst du da selbst mit igpu nichts finden was alles kann.
zusätzlich findest du massiv apps und kannst auch mal das eine oder andere minigame auf dem teil spielen

 

[Jaster]

Also für meine VS Umgebung reicht definitiv kein i3 oder i5, ich arbeite da schon etwas professioneller - (i7 x 4 Threads mit 3ghz+ sind schon das minumum)

Ja ich möchte an verschiedenen Orten die gleichen VMs nutzen, daher die Frage nach den Slim Clients - wenn ich unterwegs bin, sollten meine Laptops sowieso genug power dafür haben.

Genau das was dein Kumpel da hat, möchte ich tun, aber übers Netzwerk und daher die Frage ob das über einen Slim Client geht, bzw wie (Hard&Software)

 

[schoko keks]

Gibt hier eine sehr gute Auflistung all deiner Möglichkeiten, GPU's durchreichen ist immer so ne Sache

https://www.terasky.com/ultimate-guide-vmware-3d-graphics/

 

[Jaster]

Ok, vom Prinzip ist alles klar. Es geht, aber je nach Anwendunung brauche ich pro VM eine GraKa.

Aber nun die Frage zum Client: Wie baue ich einen Slim Client (Hard und Software), der sich quasi wie "Lokal" anfühlt.

 

[iceman84]

Also für meine VS Umgebung reicht definitiv kein i3 oder i5, ich arbeite da schon etwas professioneller - (i7 x 4 Threads mit 3ghz+ sind schon das minumum)

Wenn dass das Minimum ist sollte der i3 ja reichen.... 4Ghz bei 4 rellenen Kernen -> 4 Threads (da kein HT)
i5 hat bei den 8xxx dannn 6 Kerne / 6 Threads
und i7 hat 6 Kerne / 12 Threads (da HT)

@unterwegs
was hast du da für ne Anbindung mit dem Laptop bzw. was für ein Datenvolumen + Daheim an Upload

ich versteh dich schon, nur bevor ich mir ne 900€ CPU kaufe + 200-300€ fürs Mainboard um dann die Latenz etc.. zu haben bzw. ggf unterwegs Verbindungsabbrüche / kein Arbeiten da stellenweise kein Netz und noch eine entsprechende Mobilfunkrechnung (z.B. 80€ im Monat von Telekom für unlimited traffic) etc...

Da kannst du dir auch schon fast 2 schöne Laptops kaufen und die Daten + Profile/Settings in die Cloud oder von zuhause aus hosten.

@Zocken / Lan ohne Kompremierung kommen schon gewaltige Datenmengen zusammen
und Kompremierung kostet halt Qualität, Leistung und erhöht den Delay merklich
bei Twitch mit 0 delay Feature (muss Streamer einschalten + Qualität = Source) ist der Unterschied 50-100ms statt 5000-8000ms (sprich 5-8sekunden) gewesen.

Full-HD-Video ca. 3 Gbit/s
4K-UHD1-Video ca. 10,2 Gbit/s bei 30 Hz
ca. 14,93 Gbit/s bei 60 Hz

 

[flxmmr]

Auch wenn du "professioneller" (dein Vergleich mit Eclipse ist es eher nicht...) arbeitest, bezweifle ich, dass du bei dem vorgeschlagenen i3 wirklich den 25%-Unterschied bei Verwendung aller Kerne ggü. einem alten 4c/8t-i7 wahrnimmst. Und wenn man dann mal länger als 1-2 Sekunden warten muss (und alle Kerne nutzen kann), musst du halt wissen, wieviel dir die Verkürzung der Wartezeit wert ist – in den Bereichen sind 4-Kern-i7 auf der Desktop-Plattform schon lange nicht mehr Maß der Dinge.

Ansonsten: mit unraid wirst du nur von der GPU profitieren, wenn du auch an einem an diese angeschlossenen Monitor sitzst (Ausnahme: Steam-In-Home-Streaming – hat aber einige Limitierungen). Beschleunigung für den Remotedesktop (a la RemoteFX) gibt es nicht. Teilen geht auch nur insofern, als man die die GPU nutzende VM stoppen kann, und eine andere starten kann – das erfordert allerdings gelegentlich einen Reboot (zumindest bei mir). Grafikkarten: nvidia-GTX funktioniert nur, wenn man dem Treiber klarmacht, dass man nicht in der VM ist. AMD hat diese Einschränkung nicht, bei mir gingen eine HD6850 (die sogar sehr(!) problemlos als Sekundärdevice → keine Initialisierung während des UEFI), eine R9 390 und jetzt eine RX470.

Meine Meinung: GPU-Passtrough ist wirklich toll, wenn man eine Workstation mit Windows & Linux haben möchte/braucht (und dabei auf beiden System nennenswerte Workloads hat). Die immer wieder aufkommenden Vorhaben, damit "Server" zu betreiben und alles, was man so hat, zu konsolidieren, halte ich mittlerweile für ziemlich sinnlos (nicht nur wegen der unterschiedlichen Anforderungen Server ←→ Workstation).

 

[Jaster]

Iceman: nein.

Ein i3 reicht nicht. Ich habe wirklich keine Lust über die Unterschiede zwischen den verschiedenen Prozessoren zu diskutieren. Ich denke ich weiß sehr genau, was geht und was nicht. Du "glaubst", ich weiß es. Du hast mal drüber gelesen, ich nutze es täglich. Seid sehr vielen Jahren, also lassen diese Diskussion. Danke.

Ein "schönes" Laptop ist für mich sicher etwas anderes als für dich. Im Bereich unter 2000€ finde ich nichts was mich auch nur annährend intressieren würde und davon abgesehen habe ich mehrere aktuelle Laptops. Trotzdem möchte ich dieses System aufbauen.

Also ist laut deiner Rechnung 1080p nicht über ein GBit Lan Streambar?.... Intressant. Aber falsch. Komprimierung ist nicht Transcodierung (wird gerne verwechselt), sondern ein symetrischer prozess... der... ach lassen wir das.

Ich rechne aktuell mit Hardwarekosten um etwa ~5000€.

Game Streaming wird immer realistischer und aktueller... ich versuche etwas in der Art nach zu bauen.

@flxmmr:
1-2 Sekunden "länger" sind tatsächlich inakzeptabel - im consumer bereich ist doch schon lange "billig trumpf", intressiert mich aber nicht. Ich setze auf i7 und xeon und fahre immer sehr gut damit. Ja, es ist teuer, aber mir das Geld Wert.

Das ist ein bisschen die Basis für mein Vorhaben:
https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=2ahUKEwiX58GcrN3cAhWCzqQKHSzhBfYQwqsBMAB6BAgGEAQ&url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DriaYymXF6CA&usg=AOvVaw2zVgBAGjy3b2KxyrZ37J_Y

 

[iceman84]

Auch wenn du "professioneller" (dein Vergleich mit Eclipse ist es eher nicht...) arbeitest, bezweifle ich, dass du bei dem vorgeschlagenen i3 wirklich den 25%-Unterschied bei Verwendung aller Kerne ggü. einem alten 4c/8t-i7 wahrnimmst. Und wenn man dann mal länger als 1-2 Sekunden warten muss (und alle Kerne nutzen kann), musst du halt wissen, wieviel dir die Verkürzung der Wartezeit wert ist – in den Bereichen sind 4-Kern-i7 auf der Desktop-Plattform schon lange nicht mehr Maß der Dinge.

er hatte ja sogar noch 4 Threads geschrieben = 2 Kerne (sprich nen halber i7 bei 3 Ghz)

RemoteFx hatte ich hier mal ein paar Monate getestet, da ich eh noch einen 2016 r2 Datencenter key von der Uni rumliegen hatte
allerdings nur einfache Sachen wie einen VM mit jameica + hibiscus fürs onlinebanking / VM mit Jdownloader etc.. sprich nur D2 in einer Windows VM nichts mit 3D geschweige denn Mantle / DX12 / PhysX



@Jaster
vielleicht hilft dir dass ja weiter habs nur kurz die überschrift gelesen und überflogen :work work:

NVIDIA GameStream | PC-Spiele auf NVIDIA SHIELD spielen

bzgl. 1080p und GBit LAN
wollte dir nur klar machen dass du das Signal nicht unkomprimiert über die Leitung bekommst.
zum Thema Komprimierung / Transcodierung (so wie ich das sehe / aus meinem FF)
komprimierung = raw -> komprimiertes format (z.B. cam nimmt auf -> x264)
transcodierung = komprimiertes format -> anderes format (z.B. 4k film von plesk -> 720p aufs handy streamen)
aber gibt da von amd und nvidia schon lösungen welche größstenteils von der gpu erledigt werden (ka wie da der delay ist).

 

[flxmmr]

Ein i3 reicht nicht. Ich habe wirklich keine Lust über die Unterschiede zwischen den verschiedenen Prozessoren zu diskutieren. Ich denke ich weiß sehr genau, was geht und was nicht. Du "glaubst", ich weiß es. Du hast mal drüber gelesen, ich nutze es täglich. Seid sehr vielen Jahren, also lassen diese Diskussion. Danke.

Dann solltest du vllt. mal schauen, von welchem i3 iceman spricht. Denn von deinem i7/4c/8t mit 3GHz+ ist dieser i3 weniger als 1/3 der Rohleistung entfernt. Und nachdem tatsächlich jeder Nutzer weiß, dass sich diese Rohleistung bei den typischen GUI-Anwendungen (und ja, auch dein professionelles VS gehört dazu) ab einer gewissen Kernzahl nicht mehr bemerkbar macht, irrst du dich einfach. Danke auch hier.
Wo es einen Unterschied macht ist, wenn du tatsächlich alle Kerne auslastest (sei es auch dadurch, dass du wesentlich mehr, als VS und einen Browser laufen hast), dann ist dein i7 tatsächlich ein paar Prozent schneller/VS findet immer seine 2-3 HW-Threads, die es für responsives Arbeiten braucht. Außer dem Hintergrundlast-Szenario meine ich allerdings, dass das immer unschöne Pausen ergeben sollte (ob die Pause nun 3s oder 1.5s dauert, dürfte für den "Nervfaktor" kaum eine Rolle spielen).

Ein "schönes" Laptop ist für mich sicher etwas anderes als für dich. Im Bereich unter 2000€ finde ich nichts was mich auch nur annährend intressieren würde und davon abgesehen habe ich mehrere aktuelle Laptops. Trotzdem möchte ich dieses System aufbauen.

Und warum kannst du auf diesen Laptops nicht arbeiten/surfen? Magst du uns mal erklären, was du mit VS machst, außer Code zu editieren?!?!?!?! (ich kenne einige SPS-Tools, die auf VS aufsetzen, mag sein, dass die mehr Leistung brauchen...)

Ich rechne aktuell mit Hardwarekosten um etwa ~5000€.

[...]

Das ist ein bisschen die Basis für mein Vorhaben:
https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&ved=2ahUKEwiX58GcrN3cAhWCzqQKHSzhBfYQwqsBMAB6BAgGEAQ&url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DriaYymXF6CA&usg=AOvVaw2zVgBAGjy3b2KxyrZ37J_Y[

Schön. Du weißt zwar überhaupt nicht, was du haben willst (das ist mit Abstand das gruseligste YT-Video zu dem Thema, was ich je gesehen habe), aber weißt, wieviel es kostet . Mit dir arbeitet man sicher gut zusammen .

@flxmmr:
1-2 Sekunden "länger" sind tatsächlich inakzeptabel - im consumer bereich ist doch schon lange "billig trumpf", intressiert mich aber nicht. Ich setze auf i7 und xeon und fahre immer sehr gut damit. Ja, es ist teuer, aber mir das Geld Wert.

Musst du wissen. Wenn du wirklich Tasks hast, die 1-2 Sekunden ein paar Threads 100% auslasten können, kann es sein, dass das mit deinem i9 unter die Wahrnehmungsschwelle fällt. Dein i7 wird allerdings da auch noch zu tun haben .

Ach und weil ich gar nicht so böse bin:
Das Problem "IOPS und VM" löst du wie?

 

[Boy2006]

scaue mal hier rein: https://www.youtube.com/user/LinusTechTips

 

[besterino]

...oder in meine Signatur zur GPU-VM. Ich würde das für professionelle Anwendungen aber (trotz Machbarkeit) nicht nehmen und Zocken ist auch eher so „naja“ - der Performanceverlust war bei meinen Tests mit einem Xeon v1 jedenfalls schon deutlich. Und bleibt noch die Clientfrage - das hängt dann von der Lösung ab, die man für die Übertragung der Bild-, Ton- und Eingabesignale verwenden will. RDP geht dafür eher nicht.

Muss da die Tage auch nochmal weiter mit spielen, aber momentan fehlt da einfach die Zeit...