Werbung
Auch wenn Multi-GPU-Lösungen im Endkunden-Bereich immer weiter in den Hintergrund rücken, so ist der ein oder andere noch immer bereit, sich ein entsprechendes System zusammenzustellen. Dabei stellt sich die Frage nach dem richtigen Unterbau und hier sind für viele die zur Verfügung stehenden PCI-Express-Lanes entscheidend. Wir haben uns einmal angeschaut, wie sich dies beim Sockel LGA1151 darstellt und ob ein Supermicro C9Z390-PGW mit PCI-Express-Bridge ein Vor- oder Nachteil sein kann.
Zunächst einmal zu den Grundvoraussetzungen: Je nach Plattform steht nur eine bestimmte Anzahl an PCI-Express-Lanes zur Verfügung. Im Falle der aktuellen Coffee-Lake-S-Prozessoren werden zusammen mit dem Z390-Chipsatz maximal 40 PCI-Express-Lanes geboten. Bei den Ryzen-Prozessoren von AMD sind es inkl. FCH höchstens 24 PCI-Express-Lanes. Diese Lanes müssen neben den dazugehörigen Steckplätzen auch schnelle SSDs und weitere Komponenten anbinden. Zieht man nun schon 16 Lanes für den primären PCI-Express-Steckplatz der ersten Grafikkarte ab, bleiben recht schnell nur noch wenige weitere Lanes zur Verfügung und auf den erwähnten Plattformen sind für einen Dual-GPU-Betrieb nur noch 2x 8 Lanes oder 16 + 4 Lanes vorgesehen.
Abhilfe verschaffen nur die "Prosumer"-Plattformen von Intel und AMD, die auf Basis von Skylake-X/Sockel LGA2066 und Ryzen Threadripper/TR4 immerhin 44 bzw. 60 PCI-Express-Lanes bieten und damit deutlich mehr Spielraum lassen. Allerdings sind die Anschaffungspreise hier deutlich höher und auch die Anforderungen an den Speicherausbau steigen.
Auch wenn SLI-Systeme für Spieler zunehmend weniger interessant sind, so gibt es dennoch eine Benutzergruppe die ebenfalls mehr als eine GPU einsetzen möchte. Für die Compute-Beschleunigung kann der Einsatz mehrere GPUs ebenfalls interessant sein und je nach Anwendungen ist noch nicht einmal eine NVLink-Verbindung vorrangig wichtig, sondern die Anbindung der GPUs über das PCI-Express-Interface. Für Games spielt es hingegen kaum eine Rolle, ob die Grafikkarte über acht oder 16 PCI-Express-Lanes angebunden ist.
Supermicro bietet mit dem C9Z390-PGW ein Mainboard für den Sockel LGA1151 an, welches eine Besonderheit aufweist. Es besitzt PEX 8747, der früher von PLX angeboten wurde, die inzwischen aber von Broadcom gekauft wurden. Der PEX 8747 ist noch immer die gängige Lösung um das Angebot an PCI-Express-Lanes auszuweiten und bereits seit mehreren Jahren am Markt verfügbar. Vor allem auf Servermainboards kommt er häufiger zum Einsatz. Als Dual-GPU-Grafikkarten für AMD und NVIDIA noch ein Thema waren, befand sich auf diesen Karten ebenfalls immer ein PEX 8747 als Verbindungshardware zwischen den beiden GPUs.
Der PEX 8747 kann insgesamt 48 PCI-Express-Lanes verwalten. Hinsichtlich der Geschwindigkeit wird PCI-Express 3.0 unterstützt. Diese können auf fünf Ports aufgeteilt werden. Denkbar ist also eine Konfiguration aus 3x 16 PCI-Express-Lanes oder aber 2x 16 und 2x 8 PCI-Express-Lanes. Laut Spezifikation wird eine Latenz von bis zu 100 ns zum übertragenen Signal hinzugefügt.
Warum nicht mehr Mainboards auf den PEX 8747 setzen, hängt mit dem Preis des Chips zusammen. Bei einer Einzelabnahme wird für Endkunden ein Preis über 100 US-Dollar aufgerufen. Selbst wenn ein Hersteller wie Supermicro also tausende abnehmen sollte, dann sprechen wir noch immer von einem Stückpreis von etwa 50 US-Dollar. Der Einsatz eines PEX 8747 wirkt sich dementsprechend auf den Preis des Mainboards aus. Wird für ein gut ausgestattetes Z390-Mainboard ein Preis von 250 bis 300 Euro aufgerufen, sprechen wir beim C9Z390-PGW von Supermicro von etwa 375 Euro. Derzeit ist das Mainboard aber noch nicht hierzulande im Handel verfügbar.
Im Falle des C9Z390-PGW von Supermicro wird der PEX 8747 mit 16 Lanes direkt vom Prozessor gefüttert. Daraus sind vier Ports mit jeweils acht Lanes umgesetzt, wobei sich diese entweder auf vier Steckplätze mit jeweils acht Lanes aufteilen oder aber wieder zu 2x 16 Lanes zusammengeschaltet werden können. Als Multiplexer für das Zusammenschalten und Trennen kommen ASM1480 von ASMedia zum Einsatz.
Die Frage die sich nun stellt ist, ob ein PCI-Express-Bridge-Chip eine Latenz hinzufügt und/oder ob es einen Unterschied in der mGPU-Leistung gibt. Wir haben das C9Z390-PGW zusammen mit einem Intel Core i7-9700K verwendet. Außerdem als Vergleichsbasis zum Einsatz gekommen ist ein ASRock Z390 Taichi (Test), welches im mGPU-Einsatz auf dem primären und sekundären PCI-Express-Steckplatz nur noch acht Lanes bietet. Das Supermicro C9Z390-PGW hingegen bietet auf allen vier PCI-Express-x16-Steckplätzen auch die vollen 16 Lanes. Bei den Sockel-LGA1151-Mainboards ist der Einsatz eines PEX8747 eher ungewöhnlich und in dieser Kategorie auf dem C9Z390-PGW ein Novum. Supermicro möchte aber mehr und mehr auch im Endkunden-Markt eine Rolle spielen und will sich durch solche speziellen Angebote abheben.
Messungen zu den Frametimes
Nun kommen wir aber zu den Messungen der Frametimes. Dazu haben wir das besagte ASRock Z390 Taichi sowie da Supermicro C9Z390-PGW verwendet. Als Prozessor kam der Intel Core i7-9700K zum Einsatz. Der Arbeitsspeicher stammt aus dem Hause Corsair und arbeitet auf zwei Kanälen mit jeweils 8 GB mit einem Takt von 3.200 MHz. Bei den Grafikkarten setzten wir auf eine GeForce RTX 2080 Ti in der Founders Edition (Test) und eine MSI GeForce RTX 2080 Ti Duke 11G OC (Test).
Auf dem ASRock Z390 Taichi haben wir die beiden Karten mit einer NVLink-Bridge mit drei Slots Abstand verbunden, auf dem Supermicro C9Z390-PGW musste es eine mit einem Abstand von vier Slots sein. Sobald sich beide Karten im entsprechenden Slot befinden und die Brücke aufgesteckt ist, können wir in den NVIDIA Systemeinstellungen das SLI aktivieren.
Getestet haben wir folgende drei Titel:
- Shadow of the Tomb Raider
- Final Fantasy XV
- Far Cry 5
Gerne hätte wir uns Spiele wie Battlefield V mit aktiven DXR-Effekten angeschaut, leider aber fehlt es nicht nur am dazugehörigen SLI-Profil, auch eine manuelle Aktivierung über die SLI-Bits ist nicht möglich. Dies ist derzeit auch für Shadow of the Tomb Raider notwendig.
Kommen wir zu den Messungen der Frametimes. In den Diagrammen sind links (Y-Achse) die Frametimes im Millisekunden aufgeführt und in der X-Achse der Zeitverlauf in Frames.
In blau sind die Ergebnisse mit einer GPU zu sehen. Hier sind die Frametimes natürlich etwas höher als im Multi-GPU-Betrieb. Die Skalierung soll hier zunächst einmal keine Rolle spielen, aber einmal mehr zeigt sich, dass SLI häufig nicht die ideale Skalierung bietet und zudem die Frametimes auch noch stärker streuen. In Grau (Supermicro C9Z390-PGW) und Orange (ASRock Z390 Taichi) sind die Frametimes mit SLI aufgeführt.
Der Abgleich der Frames erfolgt im SLI über die SLI- bzw. NVLink-Bridge. Bei einer Bandbreite von 100 GB/s unter Verwendung zweier GeForce RTX 2080 Ti sollte dies also keinerlei Hindernis darstellen.
Keine messbar höheren Latenzen
Oftmals wird gegen PCIe-Bridge-Lösungen mit höheren Latenzen argumentiert. Der PEX 8747 erzeugt eine im Datenblatt angegebene Latenz im Signal von 100 ns. Diese spielt in der Praxis für den SLI-Betrieb offenbar keine Rolle. Auch der ASM1480 Multiplexer sorgt theoretisch für eine gewisse Latenz im Signal, aber auch diese können wir in der Praxis nicht nachteilig feststellen.
Wir haben auch mit Compute-Anwendungen versucht das System an seine Grenzen zu bringen. Beispielsweise wurde After Effects von Adobe auf das 3D-Rendering auf den drei GeForce-RTX-Karten angesetzt, während die Radeon Pro WX 8200 sich mit einem Rendering in Autodesk Maya beschäftigte.
Hier müssen die Daten aber nur einmalig an die jeweilige Grafikkarte übertragen werden. Das PCI-Express-Interface wird also zu Beginn der Berechnung stark belastet, dann aber liegen die meisten Daten bereits im Grafikspeicher. Das Flaschenhals in der initialen Übertragung liegt dann sicherlich eher in den 16 PCI-Express-Lanes vom Prozessor zum PEX 8747. Danach aber kann der Datenaustausch innerhalb und hinter dem PCI-Express-Bridge-Chip stattfinden.
Einen PEX 8747 auf dem Mainboard unterzubringen kann also ein Vorteil sein, muss aber vor allem kein Nachteil sein. Dies zeigt sich unter anderem beim Supermicro C9Z390-PGW.