[Sammelthread] Proxmox Stammtisch

[Shihatsu]

Also der Gedanke dahinter war folgender:
VM 1 ist direkt per physischer NIC an den Router angeschlossen (Fritzbox), wenn diese VM Downloads macht, stört sie den Rest nicht.
VM2 ist direkt per NIC an den Router angeschlossen, in einem eigenen Netz, dieses Netz ist von außen erreichbar (Webhosting, temporär, on demand als Backuplösung eienr Seite). Wie ich hier die Absicehrung und das Routing mache ist noch nicht raus, aber da ich eh als nächstes eine pFsense-VM machen will um meine 4 Netze zu bauen (Eltern, Kids, Geräte die nicht ins Internet dürfen, Gastnetz), wird das wohl der Weg werden. Diese würde dann auch einen direkten Zugang zum Router kriegen, ebenfalls per dedizierter NIC.
Und der ganze Rest hängt am proxmox Switch - so mein Gedanke. Bis hier hin völliger Quatsch?

Mit der Möglichkeit für proxmox auf quad-Gbit zu gehen hast du mir jetzt einen Flo ins Ohr gesetzt. Der wird da aber nicht lange bleiben, weil der flo im anderen Ohr namens 10GB hybscher ist... o Mann!

 

[P0stbote]

Du hättest 2 Möglichkeiten dein Vorhaben wie beschrieben umzusetzen:
- Direkter PCI-E Passthrough der NIC an die VM (Geht nur pro Karte und du bekommst eventuell Probleme mit iommu Groups)
- Pro NIC einen eigene Linux Bridge in Proxmox anlegen und dann nur die eine VM drauf konfigurieren
Technisch dürfte das beides funktionieren, ist aber nicht wirklich Sinn einer Virtualisierung, diese sollte den physikalischen Aufwand ja eher verringern


Ich würde an deiner Stelle mit VLANs arbeiten, das macht die ganze Sache viel flexibler, mache ich auch so. Du brauchst aber einen entsprechenden (smart) managed Switch dafür. Ich hab z. B. einen Mikrotik CRS328-24P-4S+RM im Einsatz.
Hinter meiner FritzBox steht eine (virtuelle) Opnsense, die das Gast/IoT/Servernetzwerk bereitstellt, jeweils in ein eigenes VLAN. Wenn ich bestimmte Geräte in ein anderes Netz schieben will, muss ich dafür nur die Konfiguration am Switch verändern und nichts umstecken oder ähnliches.

Auf der Proxmoxebene habe ich nur 2 NICs konfiguriert, die in einem OVS Bond zusammengeschlossen, und diese dann an eine OVS Bridge angeklemmt. Switchseitig sind für die beiden Ports alle VLANs "tagged" konfiguriert, es wird also ein zusätzlicher 802.1Q Header mit der VLAN-ID im Ethernet-Frame hinterlegt, anhand dessen Proxmox (bzw. OVS oder Linux Bridge) und der Switch die verschiedenen Netze auseinanderhalten kann. Somit sind die Netze logisch getrennt.
In der Konfiguration der VMs hinterlege ich dann die gewünschte VLAN ID.

Das ganze Thema VLAN hat mich früher auch erschlagen, jetzt will ich nicht mehr ohne

Bei Interesse kann ich gerne mal mein physikalischer und logischen Netzaufbau in einem Diagramm verpacken. Das hab ich eigentlich schon seit Ewigkeiten vor, aber bisher keine Motivation gefunden.

 

[Shihatsu]

Hier, ein Kannister Motivation bitte, danke! - will meinen: Hohes Interesse! In die Richtung mit mehreren Netzen soll es für mich auch tatsächlich gehen, daher bin ich hier gerade massiv im Lernprozess und werde heute die ersten Schritte mit pFsense machen will. Und ja, solch einen hscikcen Switch brauche ich für meine Netze natürlich auch - ich habe mir bisher mit einem kleinen 8Port Cisco und einem unmanaged Netgear beholfen, das ist natürlich kein Zustand.

 

[define]

Bei Interesse kann ich gerne mal mein physikalischer und logischen Netzaufbau in einem Diagramm verpacken. Das hab ich eigentlich schon seit Ewigkeiten vor, aber bisher keine Motivation gefunden.

Ich hab daran ebenfalls Interesse. Ich bin bei mir immer wieder in einer Config-Schleife, aus der mein Kopf nicht herraus möchte

 

[M.D. Geist]

Wie (leider) zu erwarten war verträgt sich mein Proxmox überhaupt nicht mit meiner neuen 6900 XT. (Dachte Navi hat läuft besser? oh well)

Setup siehe Sig/PC
Einzelne 6900XT (mit dummy plug, das MSI board erlaubt Boot ohne GPUs)
Proxmox 6.3-6
Diverse Guides von PCIE Passthrough schon probiert
anfangs war meine grub cmd noch einfach, mittlerweile ist sie:

GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt pcie_acs_override=downstream,multifunction nofb nomodeset video=vesafbff,efifbff"

Symptome:
Win10 VM crasht HART (=kompletter Proxmox startet neu) entweder während der Installation der Radeon Treiber, oder nach Gniffs-Vendorreset Hack spätestens beim Neustarten nach der Installation!
Egal ob mit oder ohne Rom-Bar.

War vorher auch eine 2. GPU drin, hat auch nicht geholfen...

Weitere Beobachtungen:
Rechner geht nicht aus

Hat wer rat mit neuen Navis?
Konnte noch nicht checken, obs am UEFI im BIOS liegt, falls nicht gehen mir die Möglichkeiten aus...

 

[P0stbote]

Okay, das ging doch schneller als erwartet, ich hab es aber auch ein wenig vereinfacht. Eigentlich habe ich 2 Firewalls die zusammen in HA agieren, das hätte das Diagramm aber etwas unübersichtlich gemacht.
Ich hoffe, ich habe nichts essentielles vergessen

FritzBox IPv4 Routing Tabelle:

So spare ich mir das Doppel-NAT für die nachgelagerten Netze.

Proxmox Netzwerkkonfiguration:
Ich setzte bei mir auf OpenVSwitch, das ohne zutun direkt VLAN-aware ist. vmbr0 darf man sich als Virtueller Switch vorstellen, an den die physikalischen Uplinks (bzw das bond0 Interface) und die "intPorts" dranhängen, hier z.b. für das Management. Ich hab übrigens oben gelogen, ich hab 3 Ports im Bond Interface. 2x 10G und 1x 1G

Was im Screenshot nicht auftaucht sind die ganzen Ports für die VMs, das kriegt man aber über "ovs-vsctl show" leicht raus:

Spoiler

root@server:~# ovs-vsctl show
3493351c-55f7-4f62-a87c-655968d23a44
    Bridge "vmbr0"
        Port "veth119i3"
            tag: 100
            Interface "veth119i3"
        Port "fwln119o0"
            tag: 16
            Interface "fwln119o0"
                type: internal
        Port "tap170i2"
            tag: 101
            Interface "tap170i2"
        Port "veth113i0"
            tag: 99
            Interface "veth113i0"
        Port "fwln107o1"
            tag: 201
            Interface "fwln107o1"
                type: internal
        Port "tap170i4"
            tag: 3
            Interface "tap170i4"
        Port "bond0"
            Interface "enp2s0f0"
            Interface "enp2s0f1"
            Interface "eno1"
        Port "tap172i2"
            tag: 101
            Interface "tap172i2"
        Port "veth118i0"
            tag: 99
            Interface "veth118i0"
        Port "tap170i0"
            tag: 16
            Interface "tap170i0"
        Port "veth104i0"
            tag: 99
            Interface "veth104i0"
        Port "veth105i0"
            tag: 99
            Interface "veth105i0"
        Port "tap172i4"
            tag: 3
            Interface "tap172i4"
        Port "tap170i1"
            tag: 99
            Interface "tap170i1"
        Port "mgnt0"
            tag: 16
            Interface "mgnt0"
                type: internal
        Port "tap200i0"
            tag: 201
            Interface "tap200i0"
        Port "veth109i0"
            tag: 99
            Interface "veth109i0"
        Port "fwln100o0"
            tag: 16
            Interface "fwln100o0"
                type: internal
        Port "fwln108o0"
            tag: 99
            Interface "fwln108o0"
                type: internal
        Port "veth101i0"
            tag: 99
            Interface "veth101i0"
        Port "tap172i3"
            tag: 100
            Interface "tap172i3"
        Port "veth102i0"
            tag: 99
            Interface "veth102i0"
        Port "veth112i0"
            tag: 101
            Interface "veth112i0"
        Port "tap170i3"
            tag: 100
            Interface "tap170i3"
        Port "fwln110o0"
            tag: 99
            Interface "fwln110o0"
                type: internal
        Port "tap172i1"
            tag: 99
            Interface "tap172i1"
        Port "tap172i0"
            tag: 16
            Interface "tap172i0"
        Port "vmbr0"
            Interface "vmbr0"
                type: internal
        Port "veth107i0"
            tag: 99
            Interface "veth107i0"
        Port "tap200i1"
            tag: 16
            Interface "tap200i1"
        Port "veth106i0"
            tag: 99
            Interface "veth106i0"
        Port "tap120i0"
            tag: 101
            Interface "tap120i0"
        Port "veth119i2"
            tag: 99
            Interface "veth119i2"
        Port "veth119i1"
            tag: 101
            Interface "veth119i1"
    ovs_version: "2.12.3"

Beispiel Container (Minecraft Server)

Konfiguration der Firewall-VM

(Vlan 3 ist rein intern und nicht geroutet, das dient als HASync Interface zwischen beiden Firewalls)

 

[Shihatsu]

O, wow, das sieht schonmal sehr gut aus! Links die "physische" View, rechts die VLANS? Ich hab noch viel zu lernen. Ich hab sowas tatsächlich noch nie von Grund auf selber designed, obwohl ich das beruflich tatsächlich immer mal wieder serviert kriege...

 

[P0stbote]

Links logisch, rechts physikalisch.

 

[Sup_X]

Hallo Zusammen, ich bräuchte da bei einer Sache Hilfe, ich wollte mir demnächst einen neuen Proxmox Server zusammen schrauben, mit gebrauchter Hardware am besten und im mittleren Preissegment.

Ich dachte da CPU mäßig an einen Xeon E5 2670 oder ähnliches, mit single CPU Board, nur tue ich mir etwas schwer damit ein passendes Board zu finden. Habe hier im Forum auch schon die Suche bedient, allerdings noch nichts passendes gefunden.

Ein meiner Anforderungen ist, dass es min. 3 PCEe hat und ich wollte ebenfalls einen GPU Passthrough realisieren, mit meinem aktuellen System funktioniert es leider nicht (code 43), obwohl IOMMU Groups getrennt sind und sämtliche Voraussetzungen erfüllt zu sein scheinen, scheint wohl öfter ein Problem mit Nvidia Karten zu sein.

Welche Nvidia Karten kommen dafür sonst so infrage, in dem Tutorial auf Reddit steht etwas von 1060 ti oder 1050 ti oder würdet ihr eher auf AMD GPU setzen? (wobei ich damit noch warten wollte, die Preise scheinen immer noch relativ hoch zu sein...)

Würde mich über die eine oder andere Empfehlung freuen, Danke!

 

[M.D. Geist]

Konnte mein Problem eingrenzen:
AMD hat bei den neusten Treibern Mist gebaut und VFIO ist ne absolute Qual nun...

Ein meiner Anforderungen ist, dass es min. 3 PCEe hat und ich wollte ebenfalls einen GPU Passthrough realisieren, mit meinem aktuellen System funktioniert es leider nicht (code 43), obwohl IOMMU Groups getrennt sind und sämtliche Voraussetzungen erfüllt zu sein scheinen, scheint wohl öfter ein Problem mit Nvidia Karten zu sein.

Welche Nvidia Karten kommen dafür sonst so infrage, in dem Tutorial auf Reddit steht etwas von 1060 ti oder 1050 ti oder würdet ihr eher auf AMD GPU setzen? (wobei ich damit noch warten wollte, die Preise scheinen immer noch relativ hoch zu sein...)

Würde mich über die eine oder andere Empfehlung freuen, Danke!

Versuch mal die neuesten Nvidia Treiber, die haben erst vor kurzem die Code-43 Problematik verbessert.
Von AMD GPUs / Navi kann ich aktuell nur abraten, siehe Link:

Working AMD drivers for GPU passthrough (newer than 20.4.2)

I run Windows Server 2016 Datacenter as my host machine and use Hyper-V DDA to passthrough my AMD RX 5700 XT to a Windows 10 gaming VM. I primarily chose the AMD card because of the all too well known Code 43 issue that NVIDIA cards have because of VM detection built into the driver. I can’t...

forum.level1techs.com

Ich dachte da CPU mäßig an einen Xeon E5 2670 oder ähnliches, mit single CPU Board, nur tue ich mir etwas schwer damit ein passendes Board zu finden. Habe hier im Forum auch schon die Suche bedient, allerdings noch nichts passendes gefunden.

Gewisse Boards erlauben auch das Booten ohne GPU, was einem die CPU Auswahl deutlich angenehmer gestaltet. Meine Mobo/CPU Kombo funktioniert z.B. super mit Proxmox, ich brauchte nur initial eine GPU für Einstellungen im BIOS.

 

[maxpowers]

Konnte mein Problem eingrenzen:
AMD hat bei den neusten Treibern Mist gebaut und VFIO ist ne absolute Qual nun...

Ich hab irgendwie seit ein paar Tagen auch Probleme mit meiner Windows VM, ist jedoch eine RX570 verbaut. An der GPU haengen 2 Monitore, sobald ich den 2. Anschalte bekomm ich entwender Pixelmatsch oder die VM startet neu. Wenn beide Monitore vor dem Starten der VM bereits angeschaltet sind scheint es zu klappen.

Hab einfach mal zum testen ein Rollback auf die (glaube ich) 20.2.X gemacht, müsste ich zuhause nochmal schauen.

Aber schon aergerlich, hab mir auch extra eine AMD Karte gekauft. Jetzt hat NVidia ja wohl die Beschränkung aufgehoben und ich aerger mich mit der AMD Karte rum

 

[Sup_X]

Konnte mein Problem eingrenzen:
AMD hat bei den neusten Treibern Mist gebaut und VFIO ist ne absolute Qual nun...



Versuch mal die neuesten Nvidia Treiber, die haben erst vor kurzem die Code-43 Problematik verbessert.
Von AMD GPUs / Navi kann ich aktuell nur abraten, siehe Link:

Working AMD drivers for GPU passthrough (newer than 20.4.2)

I run Windows Server 2016 Datacenter as my host machine and use Hyper-V DDA to passthrough my AMD RX 5700 XT to a Windows 10 gaming VM. I primarily chose the AMD card because of the all too well known Code 43 issue that NVIDIA cards have because of VM detection built into the driver. I can’t...

forum.level1techs.com

Gewisse Boards erlauben auch das Booten ohne GPU, was einem die CPU Auswahl deutlich angenehmer gestaltet. Meine Mobo/CPU Kombo funktioniert z.B. super mit Proxmox, ich brauchte nur initial eine GPU für Einstellungen im BIOS.

Ok, interessant weil ich hatte immer wieder gelesen, das es mit den AMD Karten besser funktionieren soll als mit Nvidia.

Ich hab irgendwie seit ein paar Tagen auch Probleme mit meiner Windows VM, ist jedoch eine RX570 verbaut. An der GPU haengen 2 Monitore, sobald ich den 2. Anschalte bekomm ich entwender Pixelmatsch oder die VM startet neu. Wenn beide Monitore vor dem Starten der VM bereits angeschaltet sind scheint es zu klappen.

Hab einfach mal zum testen ein Rollback auf die (glaube ich) 20.2.X gemacht, müsste ich zuhause nochmal schauen.

Aber schon aergerlich, hab mir auch extra eine AMD Karte gekauft. Jetzt hat NVidia ja wohl die Beschränkung aufgehoben und ich aerger mich mit der AMD Karte rum

Liegt das dann primär am Treiber, ich hatte das vor etwa 5 Wochen getestet gehabt, wie gesagt leider ohne Erfolg mit code 43. Ähnliche Probleme mit Linux Guest Systemen, die Karte scheint zwar erkannt zu werden aber wirklich rund laufen tuen die nicht, sehr ärgerlich.

Manche Karten scheinen auch generell Probleme zu machen, scheint wohl am BIOS der Karte zu liegen, wenn ich das richtig verstanden habe.

Mit welchen Karten habt ihr Erfolg gehabt?

Wie sieht es mit Boards und CPU's aus, was kann hier empfohlen werden?

 

[M.D. Geist]

MSI Boards für AMD sind gut, wegen der Möglichkeit ohne GPU booten zu können.
Für serveruse sind ryzen aktuell eh interessanter als alles was intel zu bieten hat. Problem ist "nur" die Verfügbarkeit der 12/16er Desktop Cores.

Ist schade, dass AMD aktuell mehr Probleme bei den GPU-Treibern hat als Nvidia hat, war vor ein paar Monaten noch genau anders rum! Mit Glück kriegen wir mit Intel sogar echtes Gpu-Sharing, aber wohl frühestens Anfang 2022.

Bisher konnte ich meine 6900XT nur zu Blackscreen und Code43 überreden.

 

[maxpowers]

Ok, interessant weil ich hatte immer wieder gelesen, das es mit den AMD Karten besser funktionieren soll als mit Nvidia.



Liegt das dann primär am Treiber, ich hatte das vor etwa 5 Wochen getestet gehabt, wie gesagt leider ohne Erfolg mit code 43. Ähnliche Probleme mit Linux Guest Systemen, die Karte scheint zwar erkannt zu werden aber wirklich rund laufen tuen die nicht, sehr ärgerlich.

Manche Karten scheinen auch generell Probleme zu machen, scheint wohl am BIOS der Karte zu liegen, wenn ich das richtig verstanden habe.

Mit welchen Karten habt ihr Erfolg gehabt?

Wie sieht es mit Boards und CPU's aus, was kann hier empfohlen werden?

Also bei mir ist es denke ich ein Treiber/Windows Problem, bis vor ein paar Monaten hatte ich noch keine Probleme und Updates werden auf dem Host eher selten installiert ..

Aktuell hab ich Treiber 20.2.2 drauf, hab auch mal den Clockspeed der GPU (State 6&7) um 30mhz reduziert. Das soll wohl auch etwas helfen.

Hostsystem:

Linux 5.4.78-2-pve #1 SMP PVE 5.4.78-2
4 x Intel(R) Xeon(R) CPU E3-1225 v5 @ 3.30GHz (1 Socket)
FUJITSU D3417-B2
Radeon RX 580 Armor 4G OC
+ noch eine billige USB Karte (ebenfalls an die VM durchgereicht)

VM Config:

Spoiler

rgs: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=NV43FIX'
balloon: 0
bios: ovmf
boot: cdn
bootdisk: scsi0
cores: 4
cpu: host,flags=+pcid;+hv-evmcs;+aes
hostpci0: 02:00,pcie=1,romfile=rx580.bin
hostpci1: 01:00.0
ide0: none,media=cdrom
machine: q35
memory: 8192
name: win10
net0: virtio=B6:BC:0F:59:20:F1,bridge=vmbr0
numa: 0
onboot: 1
ostype: win10
scsi0: /dev/disk/by-id/nvme-INTEL_SSDPEKKW128G7_BTPY736508SC128A-part1,cache=unsafe,size=122095M
scsihw: virtio-scsi-pci
smbios1: uuid=ba26156c-df67-4f71-90a2-c86a9a6f6cc8
sockets: 1
tablet: 0
vga: none
vmgenid: 238bb39a-dc67-4543-a550-11d378d73b37

Im Eventviewer von Windows hab ich folgenden Eintrag entdeckt der auch immer mit dem Problem auftritt:
Display driver amdkmdag stopped responding and has successfully recovered.

Ansich hat das Setup so aber immer solide funktioniert, ich werd mal mit anderen Treibern weiter testen.

 

[aXu]

sorry, völlig quer reingeworfen, aber: war da nicht irgendwas mit proxmox das laden der treiber zu verbieten? die graka wird ja durchgereicht und erhält dann in der vm die treiber

 

[Sup_X]

MSI Boards für AMD sind gut, wegen der Möglichkeit ohne GPU booten zu können.
Für serveruse sind ryzen aktuell eh interessanter als alles was intel zu bieten hat. Problem ist "nur" die Verfügbarkeit der 12/16er Desktop Cores.

Ist schade, dass AMD aktuell mehr Probleme bei den GPU-Treibern hat als Nvidia hat, war vor ein paar Monaten noch genau anders rum! Mit Glück kriegen wir mit Intel sogar echtes Gpu-Sharing, aber wohl frühestens Anfang 2022.

Bisher konnte ich meine 6900XT nur zu Blackscreen und Code43 überreden.

Danke für den Tipp! Wie sieht denn da der Gebraucht-Markt aktuell aus, du sagst das die 12/16 er nicht verfügbar sein sollen, gibt es ältere Modelle auf die man ausweichen kann?

Deswegen hatte ich auch den E5 ins Augegefasst, die bekommt man gebraucht relativ preiswert. Ich hatte gehofft einen Kompromiss zu finden, zwischen guter Leistung und Preis. Wie sieht es mit den IOMMU's aus bei AMD, scheint bei dir jedenfalls funktioniert zu haben?

Also bei mir ist es denke ich ein Treiber/Windows Problem, bis vor ein paar Monaten hatte ich noch keine Probleme und Updates werden auf dem Host eher selten installiert ..

Aktuell hab ich Treiber 20.2.2 drauf, hab auch mal den Clockspeed der GPU (State 6&7) um 30mhz reduziert. Das soll wohl auch etwas helfen.

Hostsystem:

Linux 5.4.78-2-pve #1 SMP PVE 5.4.78-2
4 x Intel(R) Xeon(R) CPU E3-1225 v5 @ 3.30GHz (1 Socket)
FUJITSU D3417-B2
Radeon RX 580 Armor 4G OC
+ noch eine billige USB Karte (ebenfalls an die VM durchgereicht)

VM Config:

Spoiler

rgs: -cpu 'host,+kvm_pv_unhalt,+kvm_pv_eoi,hv_vendor_id=NV43FIX'
balloon: 0
bios: ovmf
boot: cdn
bootdisk: scsi0
cores: 4
cpu: host,flags=+pcid;+hv-evmcs;+aes
hostpci0: 02:00,pcie=1,romfile=rx580.bin
hostpci1: 01:00.0
ide0: none,media=cdrom
machine: q35
memory: 8192
name: win10
net0: virtio=B6:BC:0F:59:20:F1,bridge=vmbr0
numa: 0
onboot: 1
ostype: win10
scsi0: /dev/disk/by-id/nvme-INTEL_SSDPEKKW128G7_BTPY736508SC128A-part1,cache=unsafe,size=122095M
scsihw: virtio-scsi-pci
smbios1: uuid=ba26156c-df67-4f71-90a2-c86a9a6f6cc8
sockets: 1
tablet: 0
vga: none
vmgenid: 238bb39a-dc67-4543-a550-11d378d73b37

Im Eventviewer von Windows hab ich folgenden Eintrag entdeckt der auch immer mit dem Problem auftritt:
Display driver amdkmdag stopped responding and has successfully recovered.

Ansich hat das Setup so aber immer solide funktioniert, ich werd mal mit anderen Treibern weiter testen.

Selbe CPU hab ich auch, ist mir aber mittlerweile etwas zu schwach

Aber Danke für den Input, ich werde deine Konfig mal mit meiner vergleichen!

sorry, völlig quer reingeworfen, aber: war da nicht irgendwas mit proxmox das laden der treiber zu verbieten? die graka wird ja durchgereicht und erhält dann in der vm die treiber

Jup, ganz genau, die Treiber werden erst geblacklisted und vom Host dann normalerweise nicht mehr verwendet.

Ich bin wie hier https://www.reddit.com/r/homelab/comments/b5xpua/the_ultimate_beginners_guide_to_gpu_passthrough/ vorgegangen, meine GTX 770 macht aber trotzdem nicht mit, obwohl ich der Meinung bin, alles richtig gemacht zu haben...

 

[maxpowers]

So hab ich das bei mir auch eingerichtet.
Musste jedoch noch im BIOS des Mainboards die GPU deaktivieren, das hat die GPU quasi vor dem Laden der Config bereits "abgefangen" und damit hat die Einstellung denke ich nicht mehr gegriffen.

Was wird denn bei der GPU als Kernel Modul angezeigt wenn du "lspci -nnk" eintippst?
Da muss entweder "Kernel driver in use: vfio-pci" stehen oder die Zeile mit "Kernel driver in use" ueberhaupt nicht vorhanden sein.

Und wie sehen die iommu groups bei dir aus? Kannst du dir anzeigen lassen mit "find /sys/kernel/iommu_groups/ -type l"

Hier stehen auch nochmal paar nuetzliche Sachen: https://pve.proxmox.com/wiki/Pci_passthrough

.. ist schon laenger her das ich das eingerichtet habe und wie es sich fuer ein Homelab gehoert natuerlich auch nicht dokumentiert 🙃

 

[Sup_X]

So hab ich das bei mir auch eingerichtet.
Musste jedoch noch im BIOS des Mainboards die GPU deaktivieren, das hat die GPU quasi vor dem Laden der Config bereits "abgefangen" und damit hat die Einstellung denke ich nicht mehr gegriffen.

Was wird denn bei der GPU als Kernel Modul angezeigt wenn du "lspci -nnk" eintippst?

root@pve:/# lspci -nnk
00:00.0 Host bridge [0600]: Intel Corporation Xeon E3-1200 v2/Ivy Bridge DRAM Controller [8086:0158] (rev 09)
Subsystem: ASRock Incorporation Xeon E3-1200 v2/Ivy Bridge DRAM Controller [1849:0158]
Kernel modules: ie31200_edac
00:01.0 PCI bridge [0604]: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor PCI Express Root Port [8086:0151] (rev 09)
Kernel driver in use: pcieport
00:01.1 PCI bridge [0604]: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor PCI Express Root Port [8086:0155] (rev 09)
Kernel driver in use: pcieport
00:14.0 USB controller [0c03]: Intel Corporation 7 Series/C210 Series Chipset Family USB xHCI Host Controller [8086:1e31] (rev 04)
Subsystem: ASRock Incorporation Motherboard [1849:1e31]
Kernel driver in use: xhci_hcd
Kernel modules: xhci_pci
00:16.0 Communication controller [0780]: Intel Corporation 7 Series/C216 Chipset Family MEI Controller #1 [8086:1e3a] (rev 04)
Subsystem: ASRock Incorporation Motherboard [1849:1e3a]
Kernel driver in use: mei_me
Kernel modules: mei_me
00:1a.0 USB controller [0c03]: Intel Corporation 7 Series/C216 Chipset Family USB Enhanced Host Controller #2 [8086:1e2d] (rev 04)
Subsystem: ASRock Incorporation Motherboard [1849:1e2d]
Kernel driver in use: ehci-pci
Kernel modules: ehci_pci
00:1b.0 Audio device [0403]: Intel Corporation 7 Series/C216 Chipset Family High Definition Audio Controller [8086:1e20] (rev 04)
Subsystem: ASRock Incorporation Z77 Extreme4 motherboard [1849:1898]
Kernel driver in use: snd_hda_intel
Kernel modules: snd_hda_intel
00:1c.0 PCI bridge [0604]: Intel Corporation 7 Series/C216 Chipset Family PCI Express Root Port 1 [8086:1e10] (rev c4)
Kernel driver in use: pcieport
00:1c.3 PCI bridge [0604]: Intel Corporation 7 Series/C216 Chipset Family PCI Express Root Port 4 [8086:1e16] (rev c4)
Kernel driver in use: pcieport
00:1c.4 PCI bridge [0604]: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 5 [8086:1e18] (rev c4)
Kernel driver in use: pcieport
00:1c.5 PCI bridge [0604]: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 6 [8086:1e1a] (rev c4)
Kernel driver in use: pcieport
00:1c.7 PCI bridge [0604]: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 8 [8086:1e1e] (rev c4)
Kernel driver in use: pcieport
00:1d.0 USB controller [0c03]: Intel Corporation 7 Series/C216 Chipset Family USB Enhanced Host Controller #1 [8086:1e26] (rev 04)
Subsystem: ASRock Incorporation Motherboard [1849:1e26]
Kernel driver in use: ehci-pci
Kernel modules: ehci_pci
00:1f.0 ISA bridge [0601]: Intel Corporation Z77 Express Chipset LPC Controller [8086:1e44] (rev 04)
Subsystem: ASRock Incorporation Motherboard [1849:1e44]
Kernel driver in use: lpc_ich
Kernel modules: lpc_ich
00:1f.2 SATA controller [0106]: Intel Corporation 7 Series/C210 Series Chipset Family 6-port SATA Controller [AHCI mode] [8086:1e02] (rev 04)
Subsystem: ASRock Incorporation Motherboard [1849:1e02]
Kernel driver in use: ahci
Kernel modules: ahci
00:1f.3 SMBus [0c05]: Intel Corporation 7 Series/C216 Chipset Family SMBus Controller [8086:1e22] (rev 04)
Subsystem: ASRock Incorporation Motherboard [1849:1e22]
Kernel driver in use: i801_smbus
Kernel modules: i2c_i801
01:00.0 VGA compatible controller [0300]: NVIDIA Corporation GK104 [GeForce GTX 770] [10de:1184] (rev a1)
Subsystem: eVga.com. Corp. GK104 [GeForce GTX 770] [3842:2775]
Kernel driver in use: vfio-pci
Kernel modules: nvidiafb, nouveau
01:00.1 Audio device [0403]: NVIDIA Corporation GK104 HDMI Audio Controller [10de:0e0a] (rev a1)
Subsystem: eVga.com. Corp. GK104 HDMI Audio Controller [3842:2775]
Kernel driver in use: vfio-pci
Kernel modules: snd_hda_intel
02:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 [8086:1528] (rev 01)
Subsystem: Intel Corporation Ethernet 10G 2P X540-t Adapter [8086:5003]
Kernel driver in use: ixgbe
Kernel modules: ixgbe
02:00.1 Ethernet controller [0200]: Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 [8086:1528] (rev 01)
Subsystem: Intel Corporation Ethernet 10G 2P X540-t Adapter [8086:5003]
Kernel driver in use: ixgbe
Kernel modules: ixgbe
04:00.0 SATA controller [0106]: ASMedia Technology Inc. ASM1062 Serial ATA Controller [1b21:0612] (rev 01)
Subsystem: ASRock Incorporation Motherboard [1849:0612]
Kernel driver in use: ahci
Kernel modules: ahci
05:00.0 Ethernet controller [0200]: Broadcom Limited NetLink BCM57781 Gigabit Ethernet PCIe [14e4:16b1] (rev 10)
Subsystem: ASRock Incorporation Z77 Extreme4 motherboard [1849:96b1]
Kernel driver in use: tg3
Kernel modules: tg3
06:00.0 PCI bridge [0604]: ASMedia Technology Inc. ASM1083/1085 PCIe to PCI Bridge [1b21:1080] (rev 03)
08:00.0 USB controller [0c03]: ASMedia Technology Inc. ASM1042 SuperSpeed USB Host Controller [1b21:1042]
Subsystem: ASRock Incorporation Motherboard [1849:1042]
Kernel driver in use: xhci_hcd
Kernel modules: xhci_pci
root@pve:/#

Und wie sehen die iommu groups bei dir aus? Kannst du dir anzeigen lassen mit "find /sys/kernel/iommu_groups/ -type l"

root@pve:/# find /sys/kernel/iommu_groups/ -type l
/sys/kernel/iommu_groups/17/devices/0000:02:00.1
/sys/kernel/iommu_groups/7/devices/0000:00:1c.0
/sys/kernel/iommu_groups/15/devices/0000:01:00.1
/sys/kernel/iommu_groups/5/devices/0000:00:1a.0
/sys/kernel/iommu_groups/13/devices/0000:00:1f.2
/sys/kernel/iommu_groups/13/devices/0000:00:1f.0
/sys/kernel/iommu_groups/13/devices/0000:00:1f.3
/sys/kernel/iommu_groups/3/devices/0000:00:14.0
/sys/kernel/iommu_groups/21/devices/0000:08:00.0
/sys/kernel/iommu_groups/11/devices/0000:00:1c.7
/sys/kernel/iommu_groups/1/devices/0000:00:01.0
/sys/kernel/iommu_groups/18/devices/0000:04:00.0
/sys/kernel/iommu_groups/8/devices/0000:00:1c.3
/sys/kernel/iommu_groups/16/devices/0000:02:00.0
/sys/kernel/iommu_groups/6/devices/0000:00:1b.0
/sys/kernel/iommu_groups/14/devices/0000:01:00.0
/sys/kernel/iommu_groups/4/devices/0000:00:16.0
/sys/kernel/iommu_groups/12/devices/0000:00:1d.0
/sys/kernel/iommu_groups/2/devices/0000:00:01.1
/sys/kernel/iommu_groups/20/devices/0000:06:00.0
/sys/kernel/iommu_groups/10/devices/0000:00:1c.5
/sys/kernel/iommu_groups/0/devices/0000:00:00.0
/sys/kernel/iommu_groups/19/devices/0000:05:00.0
/sys/kernel/iommu_groups/9/devices/0000:00:1c.4
root@pve:/#

so sieht das bei mir aus

 

[M.D. Geist]

Iommu gruppen waren bei mir nicht das Problem. Hauptschuldiger ist und bleibt der AMD Treiber im VM Umfeld. Grad eben Win10 baremetal installiert, sofort alles funktioniert! Als VM rafft er die neuesten Treiber nicht für ne 6900.

Interessante ist auch der Stromverbrauch, da die Karte nicht richtig erkannt wurde, hat sie sich 60-75W via PCIE Slot gegönnt, wurde auch warm und hatte Lüfter an.
Nun in Win10 nach richtigem Install dropt die Powerusage auf 6-12 W und Lüfter sind auch komplett aus.

Mein Server ging so von ~130W Usage auf wieder 60 runter. Nur will ich eigentlich Win10 nicht als Host System...

 

[Sup_X]

Nur will ich eigentlich Win10 nicht als Host System...

Wer will das schon auf nem Server

Interessant das mit dem Stromverbrauch habe ich auch in anderen Foren gelesen und genau das selbe Problem habe ich, glaube ich auch mit meiner Nvidia, der Proxmox Server saugt mir laut USV 105W weg, sollte eigentlich nicht sein wenn der CPU im IDLE Betrieb läuft.

 

[M.D. Geist]

Wer will das schon auf nem Server

Interessant das mit dem Stromverbrauch habe ich auch in anderen Foren gelesen und genau das selbe Problem habe ich, glaube ich auch mit meiner Nvidia, der Proxmox Server saugt mir laut USV 105W weg, sollte eigentlich nicht sein wenn der CPU im IDLE Betrieb läuft.

Bin mir nicht sicher, ob sich das Problem lösen würde, wenn eine Win10 VM mit richtigem Treiber install die Karte erkennen würde. Eigentlich müsste er sie ja dann auch drosseln, wenn nix gemacht wird.

Wodurch die paradoxe Situation entsteht, dass es immer besser ist die Win10 Instanzen mit GPUs laufen zu lassen um Strom zu sparen!

 

[Sup_X]

Bin mir nicht sicher, ob sich das Problem lösen würde, wenn eine Win10 VM mit richtigem Treiber install die Karte erkennen würde. Eigentlich müsste er sie ja dann auch drosseln, wenn nix gemacht wird.

Wodurch die paradoxe Situation entsteht, dass es immer besser ist die Win10 Instanzen mit GPUs laufen zu lassen um Strom zu sparen!

Das ist wirklich paradox, hast du dazu Referenzen bzw. Links wo das ebenfalls bestätigt wird?

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Check mal bitte die beiden YT Videos aus, bin am überlegen ob ich das mit der Hardware auch so handhabe wie der...?

 

[M.D. Geist]

Die Vids von Tim taugen nix in meinem Fall, da ich mit AMD unterwegs bin, nicht mit Nvidia. Die Flags bringen bei mir nicht den Erfolg, nurn schwarzen Screen.

Anleitung ist btw. schon wieder veraltet! iommu_type1 wird nicht mehr benötigt, ist in den neuesten Kernels schon drin. => überflüssig. Andere Befehle ändern sich dadurch auch leicht.
Von Prox 6.1 auf 6.2 gabs nen Sprung siehe dazu:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Diese Anleitung war auch hilfreich um mein initiales Crashen wegzukriegen. Musste VM komplett neu aufsetzen, da sie mit den alten Parametern wohl teils korrupt war...

Reddit - Dive into anything

www.reddit.com

Edit: bei der anleitung kann man auch normale Qemu Console lange benutzen und braucht kein remote desktop...

 

[Sup_X]

In dem Video wird allerdings eine Nvidia Quadro verwendet, welche besser für Virtualisierung geeignet sein soll, siehe vGPU, ob diese dann auch "besser" für einen Passthrough sind, kann ich nicht sagen.

Edit: Noch eine Frage, für was genau sind eigentlich diese HDMI Dummi Plugs, sollten mittlerweile eigentlich auch überflüssig sein oder?

 

[M.D. Geist]

Edit: Noch eine Frage, für was genau sind eigentlich diese HDMI Dummi Plugs, sollten mittlerweile eigentlich auch überflüssig sein oder?

Jain, je nach Zugriffssoftware sind die essentiel!!
Bei Parsec z.B. braucht man einen aktiven Monitor, sonst kriegt man nurn schwarzen Bildschirm. Plug erlaubt hier einfaches 4k Streaming ohne extra Monitor!
Wenn man aber nur Proxmox Console oder Windows Remotedesktopverbindung benutzt, dann braucht man sie nicht! RDP geht ja auch ohne angeschlossene Monitore.

Ich muss grad zum Gaming Parsec benutzen, alle anderen guten Alternativen setzen auf Nvidia.
Wegen Encoding frisst die reine Übertragung dann bereits ~40W GPU, Karte muss ja bisl aktiv sein. Mit Win-RDP geht Last auf 6W runter und erlaubt wieder Zero-Fan Modus.

 

[Sup_X]

Ich muss grad zum Gaming Parsec benutzen, alle anderen guten Alternativen setzen auf Nvidia.

Wie funktioniert parsec? Ist das über Steam oder wie stelle ich mir das vor, wie performant ist das und warum nutzt du das, welche Server Hardware?

 

[M.D. Geist]

Wie funktioniert parsec? Ist das über Steam oder wie stelle ich mir das vor, wie performant ist das und warum nutzt du das, welche Server Hardware?

Ist eines der besten Streaming-Programme aktuell. Quasi wie Remotedesktop nur viel besserer En-/Decoder und damit Latency, geht auch über 120fps bei 4k. Man muss sich allerdings via Webaccount einloggen, kann dann aber die Software auch für interne LAN benutzen.
Wird auch gerne benutzt für Cloudserver mit GPUs.

Man kann damit entweder komplett remote Arbeiten (also auch z.B. Videoschnitt, Officezeug etc.) oder nur bestimmte Apps freigeben. Co-Op Modus hats auch, sehr praktisch für gewisse Multiplayer games, die man mit mehreren Controllern an einem PC spielen kann.

Serverhardware siehe Profil, gedacht hatte ich den Server mit 3 GPUs. 2 fürs Zocken, 1 für ML. Geht aktuell leider nicht, aber 1 Spielserver hätte ich ready nun mit separatem Win-10 Boot.

 

[Xeroxxx]

Versuch mal die neuesten Nvidia Treiber, die haben erst vor kurzem die Code-43 Problematik verbessert.
Von AMD GPUs / Navi kann ich aktuell nur abraten, siehe Link:

Working AMD drivers for GPU passthrough (newer than 20.4.2)

I run Windows Server 2016 Datacenter as my host machine and use Hyper-V DDA to passthrough my AMD RX 5700 XT to a Windows 10 gaming VM. I primarily chose the AMD card because of the all too well known Code 43 issue that NVIDIA cards have because of VM detection built into the driver. I can’t...

forum.level1techs.com

Nvidia hat da nichts verbessert, sie haben einfach die künstliche Einschränkung entfernt. Nvidia wollte nicht, dass man mit Geforce Karten Passthrough macht. Könnte ja passieren, dass Unternehmen Geforcekarten kaufen und "günstig" Passthrough machen. Auch der Hinweis es sei eine "Beta" mit Treiber 465 ist nen Witz.

Ok, interessant weil ich hatte immer wieder gelesen, das es mit den AMD Karten besser funktionieren soll als mit Nvidia.

Liegt das dann primär am Treiber, ich hatte das vor etwa 5 Wochen getestet gehabt, wie gesagt leider ohne Erfolg mit code 43. Ähnliche Probleme mit Linux Guest Systemen, die Karte scheint zwar erkannt zu werden aber wirklich rund laufen tuen die nicht, sehr ärgerlich.

Manche Karten scheinen auch generell Probleme zu machen, scheint wohl am BIOS der Karte zu liegen, wenn ich das richtig verstanden habe.

Mit welchen Karten habt ihr Erfolg gehabt?

Wie sieht es mit Boards und CPU's aus, was kann hier empfohlen werden?

Probier mal Treiber 465, da gibts kein Error 43 mehr. Nvidia hat die künstliche Beschränkung entfernt.

Nvidia erlaubt nun Passthrough für Geforce Karten

Hallo zusammen, ich wusste jetzt nicht wo ich es posten soll ohne einen alten Thread hochzuholen. Vielleicht für den Ein oder Anderen VFIO-Nutzer interessant. (Error Code 43 ist das Stichwort) Treiber Version 465R (Beta) erlaubt GeForce Karten den PCIe Passthrough zu virtuellen Maschinen (ohne...

www.hardwareluxx.de

 

[Sup_X]

Serverhardware siehe Profil, gedacht hatte ich den Server mit 3 GPUs. 2 fürs Zocken, 1 für ML. Geht aktuell leider nicht, aber 1 Spielserver hätte ich ready nun mit separatem Win-10 Boot.

Oke, also hast du auf deinem Server wie vorhin beschrieben win10 drauf installiert und von dort aus werden mittels parsec games gehostet die von den clients gestreamt werden können?

Parsec ist das dann ein Server Dienst so zu sagen und es wird aber ein Account vom Parsecdienstleister benötigt, um sich dort einzuloggen bzw. zu verifizieren?

Hört sich interessant an, läuft Parsec dann auch unter Linux?

 

[M.D. Geist]

Oke, also hast du auf deinem Server wie vorhin beschrieben win10 drauf installiert und von dort aus werden mittels parsec games gehostet die von den clients gestreamt werden können?

Parsec ist das dann ein Server Dienst so zu sagen und es wird aber ein Account vom Parsecdienstleister benötigt, um sich dort einzuloggen bzw. zu verifizieren?

Hört sich interessant an, läuft Parsec dann auch unter Linux?

Ja, gibt auch Clients für linux und mac und mehr.

Im Win10 Host (kann eine VM sein) konfiguriert man einfach Parsec als Host, und mit schwächeren PCs/Laptops verbindet man sich dann einfach drauf (sowohl via LAN als auch Inet). Account online wird leider benötigt ist aber (noch?) kostenlos.
Eine bessere Screensharingsoftware für AMD GPUs habe ich leider noch nicht gefunden, die auch ohne Internet funktioniert.

GameStream / Moonlight sind Alternativen für NVidia
Sunshine istn Beta Fork von moonlight auch für AMD, taugte aber noch net so viel wie Parsec...