[Kaufberatung] Quad-Port NIC PCIe

[DJDark]

Da der TE ja Proxmox im Einsatz hat, laut Signatur, wäre ein i350 mit SR-VIO evtl interessanter als der i340
Siehe auch: https://www.reddit.com/r/Proxmox/comments/cm81tc/tutorial_enabling_sriov_for_intel_nic_x550t2_on/

Und da liegt der Hase wohl bei mir im Pfeffer wie man so schön sagt. Ich war wohl etwas voreilig und habe mir für 18,50€ eine D2745 geholt. Die hat den i340-T4 Chip drauf. Läuft auch wunderbar unter Proxmox aber ich kann nur einen Port oder alle Ports an eine VM durchreichen. Sobald eine VM die Karte nutzt kann ich keiner weiteren VM einen weiteren Port geben: failed to open /dev/vfio/2: Device or resource busy
Ich werde mir also eine D3045 zulegen müssen, die andere Karte geht in den nächsten Tagen in den MP.

 

[hominidae]

...moment, das Thema SR-VIO ist aber was anderes....da kannst Du viele, weitere virtuelle Adapter pro physischem "erscheinen lassen".
Du willst das physische 4er Set aufteilen auf VMs mittels passthrough.
Das ist ein IOMMU Thema....das kann auch vom MB und Chipsatz abhängen, wie sich die Devices darstellen.
Was sagt denn ein "lspci" bei Dir?

 

[besterino]

Kann ABSOLUT NICHTS zu Proxmox sagen, aber eigentlich ist doch genau dafür ein Hypervisor da: dem gibst du die Hardware und den VMs die virtuellen Devices. Gerade beim Netzwerk-Stack verstehe ich nicht, warum da immer wieder welche auf Passthrough gehen? Unter ESXi würde ich einfach 4 virtuelle Switche anlegen, je einen der physischen Ports einem der vSwitches zuweisen und dann kann jede VM „ihr“ Physisches Netzwerk bekommen... und je nach Wunsch eben auch noch andere VMs oder eine (Firewall-)VM mit mehreren undundund...

Das sind doch Kernfunktionaliäten eines Hypervisors - wenn ihr dem das nicht zutraut, solltet ihr die NIC gleich in eine eigenständige Büchse stecken...

SR-IOV ist auch kein „passthrough“, sondern im Prinzip „von der NIC bereitgestellte virtuelle Devices“, die eben im Vergleich zu einer virtuellen NIC des Hypervisors noch näher an der Hardware sind und bestimmte Funktionen eben direkt der VM von der NIC zur Verfügung gestellt werden. Die NIC ist quasi ein kleiner Hypervisor für sich.

 

[hominidae]

...moment, das Thema SR-VIO ist aber was anderes....da kannst Du viele, weitere virtuelle Adapter pro physischem "erscheinen lassen".
Du willst das physische 4er Set aufteilen auf VMs mittels passthrough.
Das ist ein IOMMU Thema....das kann auch vom MB und Chipsatz abhängen, wie sich die Devices darstellen.
Was sagt denn ein "lspci" bei Dir?

...das Zauberwort ist eine Kernel-Config mit "pcie_acs_override=downstream", damit wird für jedes Device eine eigene Gruppe definiert.
Siehe: https://pve.proxmox.com/wiki/Pci_passthrough#Verify_IOMMU_Isolation
Je nach Typ der Karte, zumindest geht es hier in unRaid so, kann auch statt "downstream" ein "both" oder eine Liste"downstream,multifunction" helfen.
@DJDark - ich würde die i340er nicht gleich in den Wind schiessen.

 

[DJDark]

...moment, das Thema SR-VIO ist aber was anderes....da kannst Du viele, weitere virtuelle Adapter pro physischem "erscheinen lassen".
Du willst das physische 4er Set aufteilen auf VMs mittels passthrough.
Das ist ein IOMMU Thema....das kann auch vom MB und Chipsatz abhängen, wie sich die Devices darstellen.
Was sagt denn ein "lspci" bei Dir?

IOMMU ist aktiv, der LSI-Controller wird auch an TrueNAS durch gereicht. Es liegt anscheinend an dem P8B. Erst mit dem zusätzlichen Kernel-Parameter pcie_acs_override=downstream ließen sich die einzelnen Ports weiter leiten. Denke, mit dem X9SRi-F wird es weniger Probleme, leider muss ich da erst einen neuen BIOS-Chip drauf löten.

 

[hominidae]

IOMMU ist aktiv, der LSI-Controller wird auch an TrueNAS durch gereicht. Es liegt anscheinend an dem P8B. Erst mit dem zusätzlichen Kernel-Parameter pcie_acs_override=downstream ließen sich die einzelnen Ports weiter leiten. Denke, mit dem X9SRi-F wird es weniger Probleme, leider muss ich da erst einen neuen BIOS-Chip drauf löten.

...das ist eigentlich bei fast allen Boards so....hier ein Video, was das ganze schön zeigt...aus dem unRaid Blog, aber grundsätzlich eben für Linux-Kernel interessant.
Da sieht man auch, das andere Parameter als ein"downstream" sinnvoll sein können.

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[DJDark]

...das ist eigentlich bei fast allen Boards so....hier ein Video, was das ganze schön zeigt...aus dem unRaid Blog, aber grundsätzlich eben für Linux-Kernel interessant.
Da sieht man auch, das andere Parameter als ein"downstream" sinnvoll sein können.

Danke, ich habe multifunction hinzugefügt