Werbung
Mit NVLink präsentierte NVIDIA 2014 auf der GPU Technology Conference seinen eigenen Interconnect, um die GPU-Beschleuniger untereinander und mit weiteren Komponenten eines Servers, zum Beispiel Prozessoren, schneller zu verbinden. Da ein möglichst schneller Interconnect inzwischen ein entscheidender Faktor geworden ist, haben Hersteller wie Intel mit Omni Path ebenfalls solche Technologien entwickelt, denn PCI-Express ist selbst im aktuellen 3.0-Standard mit 32 GB/s bei 16 Lanes einfach der limitierende Faktor geworden.
Seit Frühsommer diesen Jahres liefert NVIDIA den GPU-Beschleuniger Tesla P100 aus und dieser kommuniziert in entsprechenden Servern primär über NVLink – entweder die GPUs untereinander oder aber mit einem Co-Prozessor, der in diesem Falle aus dem Hause IBM (Power8) stammt. Inzwischen hat NVIDIA die Tesla P100 zwar auch schon mit PCI-Express-Interface angekündigt, der Austausch von Daten von und zur Karte ist über NVLink aber deutlich schneller.
NVLink basiert auf dem High-Speed Signaling Interconnect (NVHS), eine Entwicklung von NVIDIA. Eine NVHS-Verbindung mit einer Bandbreite von 20 GBit/s wird über ein Differential Connection ermöglicht. Acht dieser Connections ergeben einen Sub-Link. Zwei Sub-Links stellen wiederum einen Link dar und eben ein solcher Link stellt die Verbindungen zwischen zwei GPUs (GPU-to-GPU oder GPU-to-CPU) sicher. Ein solcher Link hat eine Bandbreite von 40 GB/s in beide Richtungen und für den eigentlichen Datentransfer stehen 97 % dieser Bandbreite zur Verfügung. Damit ist der Overhead sehr gering.
Eine GP100-GPU verfügt über vier Links. Diese können zudem zu Gangs zusammengefasst werden. Im Falle einer GP100-GPU bedeutet dies eine maximale Bandbreite für eine Verbindung von 160 GB/s. Theoretisch sind aber auch vier einzelne Links oder zwei Gangs zu jeweils 80 GB/s denkbar. Welche Art von NVLink-Struktur in einem Server genutzt wird, hängt davon ab, welchem Einsatzzweck diese dienen sollen.
NVLink 2.0 dreht zunächst einmal an der Geschwindigkeitsschraube und soll die zur Verfügung stehende Bandbreite erhöhen. Details dazu stammen aus dem Umfeld von IBM. Dort sollen die ersten Server mit Power9-Prozessor Mitte 2017 ausgeliefert werden. Jeder Link soll hier über eine Bandbreite von 25 GB/s verfügen – in Sende- und Empfangsrichtung. Bei angenommenen vier Links der aktuellen GP100-GPU kommen wir damit auf 200 GB/s in einer Richtung und 400 GB/s Gesamtbandbreite. NVLink der ersten Generation kommt hier auf 320 GB/s. Wir sprechen also über eine Steigerung um 25 %, was auf den ersten Blick nach nicht viel klingt. Zum Vergleich: Intels Omni-Path Host Fabric Interface (HFI) kommt auf 100 GB/s, aber auch hier sind für die Zukunft deutliche Steigerungen vorgesehen.
Auf einer Folie von IBM wird NVLink 2.0 im Zusammenhang mit der Power9-CPU von IBM genannt. Hier wird auch die NVIDIA-GPU in Form der Volta-Architektur genannt. Zuletzt präsentierte NVIDIA auf der GTC 2015 eine GPU-Roadmap und sah Volta für das Jahr 2018 vor. Inzwischen aber gab es einige Gerüchte, dass NVIDIA Volta ebenfalls in 16 nm FinFET fertigen und entsprechend bereits im nächsten Jahr vorstellen wird. Die aktuellen Meldungen unterstreichen dies.
Offen ist natürlich auch die Frage, welche weiteren Änderungen NVLink 2.0 beinhalten wird. Denkbar wäre, dass die Volta-GPU mehr Links anbieten kann. Dann ließen sich auch andere Mesh-Konfigurationen realisieren. Details dazu stehen aber noch aus. Die GTC 2017 vom 8. bis 11. Mai 2017 ist derzeit ein heißer Kandidat für die Vorstellung der Volta-Architektur und dazugehöriger GPU-Beschleuniger samt NVLink 2.0.