i5 7640X - PCIe Lanes und die Möglichkeiten

[Jaster]

Hallo,

ich habe eine Verständnis Frage:
Ich möchte einen i5 7640x verwenden und dazu zwei seperate GraKas (PCIe x16), allerdings nicht im SLI Betrieb sondern als Passthrough für Virtualisierung.
Des Weiteren möchte ich noch eine Controller Karte (PCIe x4) verwenden.
Funktioniert das alles zusammen oder kann die CPU nicht alle PCIe Komponenten ansteuern, bzw was wird passieren wenn ich die Konfiguration so laufen lasse?

 

[Igor das Tunfisch]

der 7640x hat wie der 7600k nur 20 Lanes zur Verfügung, 16 für die Erweiterungsslots und 4 wahrscheinlich für eine M.2, also pro Karte nur 8 Lanes. Deine Controllerkarte wird dann über den chipsatz laufen und wahrscheinlich etwas gedrosselt werden, kommt aber aufs board drauf an

 

[Holt]

Der i5 7640X ist im Grunde eine S.1151 CPU, die haben zwar 20 Lanes, aber 4 davon werden fest zu Anbindung des Chipsatzes benutzt und daher bei Intel nicht mitgezählt. Der Chipsatz bietet noch einmal bis zu 24 PCIe 3.0 Lanes, an denen kann man dann die Controller Karte mit 4 Lanes anbinden und die beiden Grakas können mit je 8 Lanes der CPU in den entsprechenden Slots des Board benutzt werden, so es eine Aufteilung in x8/x8 bieten. Ein Blick ins Handbuch des Boards ist wie immer zu empfehlen.

- - - Updated - - -

PS: Hast Du CPU und Board schon gekauft? Wenn nicht, wieso soll es ein Kaby Lake-X sein, der macht eigentlich überhaupt keinen Sinn, vor allem wenn man eigentlich die PCIe Lanes der S.2066 Plattform haben möchte, da er eben nicht mehr PCIe Lanes als eine S.1151 CPU bietet und man damit gar nicht die vollen Möglichkeiten des Boards verwenden kann, sonder nicht mehr als bei einem Z270er Board auch möglich wäre.

 

[Jaster]

Das Board ist ein ASUS TUF X299 Mark 2.
Gekauft ist es, aber noch nicht da.
Klar, die CPU macht keinen Sinn, aber ich hab keinen Bock mehr auf die i9er zu warten. Daher baue ich das System zusammen und hab dann die i5 ist der "Platzhalter" bis die i9 da ist.
Stornieren/Zurücksenden kann ich noch; Mir geht es primäre darum, das System schon mal Aufbauen zu können. In einem Monat (oder zwei) tausche ich dann nur noch die CPU.

 

[fdsonne]

Unabhängig von der CPU kommt es eher aufs Board an, wie die IOMMU groups aufgestellt sind.
Selbst ein Board mit vielen PCIe Slots und ne CPU mit vielen Lanes heist nicht automatisch, dass die Gruppenverteilung sauber ist, so dass du die Geräte auch entsprechend in die VMs reichen kannst.
Oft ist es aber so, dass gerade Consumer Boards da eher bescheiden aufgestellt sind.

Aber mal was anderes - wozu überhaupt Gamerhardware bei diesem Vorhaben?

 

[AliManali]

btw.: ist Dir aber schon klar, dass PCIe Passtrough nur bei Typ 1 Hypervisoren funktioniert? Falls Du das willst, würde ich wie fdsonne anmerkt auch zu Serverhardware mit IPMI und sowas greifen. Dann reicht auch eine GPU.

 

[Jaster]

IOMMU und KVM PCIe Passtrough sind kein Problem, solange die CPU in der Lage ist die GraKas anzusteuern. Falls der Controller über den Chipsatz (als fallback) läuft, ist das auch völlig okay.
WIe gesagt, die CPU fliegt in absehbarer Zeit raus... sucht jemand eine leicht gebrauchte i5 7640x?

 

[Sir Diablo]

Steht das Board schon fest? Sonst schau dich noch um, ob die Onboardcontroller auch eigene IOMMU Gruppen besitzen. Macht es hin und wieder deutlich komfortabler.

 

[Holt]

Jaster, auf welchen i9 wartest Du? Die i9 für das Board, schau Dir die CPU Supportliste an, gibt es schon, bis auf einiger der Skylake-X Refresh. Solltest Du an einen i9 9900K denken, so wäre dies das falsche Boards für den.

 

[Jaster]

Natürlich warte ich nicht auf den K (der ist ja auch schon verfügbar), sondern auf einen X.
Nach CPU Support hatte ich auch nicht gefragt

 

[jdl]

Das Board ist ein ASUS TUF X299 Mark 2.
Gekauft ist es, aber noch nicht da.
Klar, die CPU macht keinen Sinn, aber ich hab keinen Bock mehr auf die i9er zu warten. Daher baue ich das System zusammen und hab dann die i5 ist der "Platzhalter" bis die i9 da ist.
Stornieren/Zurücksenden kann ich noch; Mir geht es primäre darum, das System schon mal Aufbauen zu können. In einem Monat (oder zwei) tausche ich dann nur noch die CPU.

Sinnvoller wäre die Kombination SuperMicro X11SRA und Xeon W-2125, dann funktioniert das ganze auch und der Xeon W hat 48 Lanes.

 

[Jaster]

Hmm ja... super Idee. Der Xeon ist doppelt so teuer wie der i5 und landet genau so in der Tonne. Das Board kostet auch nen hunderter mehr. Dafür läuft der i9 bestimmt viel besser mit einem C422 Chip.

 

[jdl]

Hmm ja... super Idee. Der Xeon ist doppelt so teuer wie der i5 und landet genau so in der Tonne. Das Board kostet auch nen hunderter mehr. Dafür läuft der i9 bestimmt viel besser mit einem C422 Chip.

Der Punkt ist, willst Du funktionierendes IOMMU oder willst Du eine Gamer GPU? Wenn es funktionierendes IOMMU sein soll, dann ist ein Xeon mit passendem Board nahezu unvermeidlich.

 

[Jaster]

So ein Schwachsinn. Ich reiche sogar die IGPU problemlos durch. Lies doch mal wonach ich frage und versuch wenigstens zu verstehen, was ich vorhabe.
Meine Erfahrung mit dem Durchreichen ist eine andere und es funktioniert wunderbar auch - sogar vor allem - mit Consumer Hardware.

Nochmal: Mich interessiert keine "Beratung für den richtigen Prozessor". Ich möchte wissen, ob der i5 es schafft 2x PCIe x16 zu befeuern. Laut Intel Ark geht es nicht, die Infos dort sind aber selten korrekt. Also... hat schon mal jemand versucht mit einem i5 bzw eine 1151er Prozessor zwei (oder mehr) PCIe x16 Karten zu betreiben?

 

[Sir Diablo]

Der Punkt ist, willst Du funktionierendes IOMMU oder willst Du eine Gamer GPU? Wenn es funktionierendes IOMMU sein soll, dann ist ein Xeon mit passendem Board nahezu unvermeidlich.

Son Quatsch, fast alle Consumer Boards haben ganz brauchbare IOMMU Gruppen.

@jaster
Mit dem i5 hast du 1*16 oder 2*8, mehr Lanes hat die CPU nicht. Und den Controller über den Chipsatz pcie 4x Slot

Hier ist die falsche Anlaufstelle für so was(man wird teils angefeindet wenn man passthrough nutzt), frag besser im entsprechenden sub reddit. Meiner Erfahrung nach sollte dein Vorhaben so wie vorgestellt klappen.

 

[jdl]

Nochmal: Mich interessiert keine "Beratung für den richtigen Prozessor". Ich möchte wissen, ob der i5 es schafft 2x PCIe x16 zu befeuern.

Die Frage wurde Dir längst beantwortet: es geht nicht!

Entscheidend beim Durchreichen per IOMMU (VT-d) ist, dass die Peripherie an verschiedenen PCIe Rootkomplexen hängt. Bei der typischen Consumer 115x Plattform gibt es drei PCIe Rootkomplexe IGP, PCH und x16 Slot. Alles was am PCH hängt und die geteilten Lanes des x16 Slots hängen am selben PCIe Rootkomplex. D.h. es ist eben nicht so ohne weiteres möglich eine nativen GPU und eine per IOMMU durchzureichende GPU an einem S115x Prozessor zu betreiben. (Ausnahme sind hier die alten Xeon E3 und Xeon E3v2, die haben nämlich noch zusätzlich x4 Lanes mit einem eigenem PCIe Rootkomplex). Karten die an einem PCIe Rootkomplex hängen können nur unter sehr speziellen Bedingungen an unterschiedliche VMs durchgereicht werden. I.d.R. fangen da die Probleme an. Sollte das Board noch zusätzlich irgend welche PCIe Switche haben wird es noch komplizierter. Wegen dieser PCIe Switche sind viele Gamerboard nicht geeignet zwei GPUs per IOMMU durchzureichen, und es gehört nicht zu den getesteten Szenarien von Gamerboard Anbietern.

Der von mir angeführte Xeon W kann problemlos zwei GPUs mit vollen x16 Lanes betreiben, und zusätzlich hängen diese beiden GPUs an unterschiedlichen PCIe Rootkomplexen, d.h. es wird keinerlei Problem geben die beiden GPUs an unterschiedliche VMs durchzureichen bzw. eine nativ und die andere als IOMMU GPU zu betreiben.

 

[Sir Diablo]

Wenn der Rootport in 2x8 geteilt wird bekommen die auch zwei IOMMU Gruppen, zumindest war das auf Z97 so und auf AM4 ist das auch so. Hängt natürlich von der Implementierung des Boardherstellers ab.

 

[jdl]

Wenn der Rootport in 2x8 geteilt wird bekommen die auch zwei IOMMU Gruppen, …

Das ist nicht automatisch der Fall, und ob es geht hängt vom Hypervisor ab. Es passiert nur dann automatisch, wenn die Slots an verschiedenen Root Ports hängen. Es gibt hier im Forum ja zu diesem Thema einen längeren Thread, und da hatte ich hinreichend viel dazu geschrieben.

 

[Sir Diablo]

Was soll denn der verwendete Hypervisor für einen Einfluss darauf haben, in welcher IOMMU Gruppe ein Device steckt? (Er nutzt übrigens kvm)

Und diese Aufteilung kommt mMn von der Boardimplementierung. Meistens passt die, dass er sich darüber aber bei seinem Board schlau machen soll, hab ich ja oben schon geschrieben.

 

[jdl]

Was soll denn der verwendete Hypervisor für einen Einfluss darauf haben, in welcher IOMMU Gruppe ein Device steckt? (Er nutzt übrigens kvm)

Die PCIe Root Ports generieren immer eine eigene IOMMU Gruppe. Bei den Xeon W/SP gibt es 3x16 PCIe Lanes, die sich auf drei Root Ports verteilen. Bei einem S1151v2 hast Du nur einen Root Port für die x16 Lanes. Werden die x16 Lanes weiter aufgeteilt, muss der Hypervisor die Einteilung in IOMMU Gruppen unterstützen. Das ist wegen diversen Dinge nicht trivial und stellt ein potentielles Sicherheitsrisiko dar. Für die private Nutzung und Durchreichen einer GPU ist das kein Problem, solange es stabil läuft.

Lies Dir am besten diesen Thread durch.

 

[Sir Diablo]

Du berätst total am Thema vorbei.

1. Die Frage nach dem Hypervisor stellt sich doch gar nicht, k.A. warum du darauf immer wieder eingehst, er nutzt kvm, schreibt er doch

2. Da das offensichtlich Privatgebrauch wird, stellt sich die Frage nach der Sicherheit von IOMMU Gruppen wohl kaum, wenn du wirklich glaubst das System kommt in einen Produktiveinsatz, solltest du vtl. an anderer Stelle anfangen zu beraten, da ist der verwendete Intel Prozessor aber schon der größere Angriffsvektor als IOMMU, dazu musst du nämlich ein präpariertes Device und/oder einen verseuchten Treiber nutzen...

3. solange es stabil läuft .... ähm ja, ALLES, solange es stabil läuft, stellt kein Problem dar, wat ne Erkenntnis

 

[jdl]

Du berätst total am Thema vorbei.

Du verstehst das Problem nicht!

1. Die Frage nach dem Hypervisor stellt sich doch gar nicht, k.A. warum du darauf immer wieder eingehst, er nutzt kvm, schreibt er doch

Bei diversen Linux Kernelversionen wird an einem i5 7640X zwei GPUs die an den geteilten x16 Lanes der CPU hängen in eine IOMMU Gruppe eingeteilt! Das ist das Problem. Es gibt Kernelpatches dafür, aber das ganze ist nicht wirklich ausgereift.

An einem Xeon W-2125 gibt es keines dieser Probleme und zwei GPUs können garantiert und stabil in zwei IOMMU Gruppen betrieben werden. Jetzt endlich verstanden?

 

[Sir Diablo]

Das soll ein Übergangsprozessor werden, hast du wohl nicht gelesen und ja es gibt immer noch soft IOMMU...

Edit:
Die Aufteilung der IOMMU Gruppen hat auch nichts mit der kernelversion zu tun...

 

[jdl]

Das soll ein Übergangsprozessor werden,

… mit dem das geforderte nicht funktioniert!

 

[Sir Diablo]

Tatsache, bei Intel gibts auf dem root Port kein ACS Support bei der "kleinen" Plattform. Wenn der Controller an die selbe VM wie die GPU durchgereicht wird, gehts trotzdem.

Ansonsten bietet sich als Übergang dann ein 7800x, oder ein Headless betrieb bis zum i9 Upgrade, an