Gemeinsamer Speicher

Infinity Fabric zwischen EPYC-CPUs und Radeon-Instinct-GPUs

Derzeit nutzt AMD den Infinity Fabric als Interconnect innerhalb des Chiplet-Designs (für die Kommunikation zwischen Compute- und I/O-Dies) und um mehrere GPUs miteinander zu verbinden. Zusammen mit der Zen-2-Architektur hat AMD den Infinity Fabric auf die Generation zwei gehievt und dabei unter anderem die Busbreite von 256 auf 512 Bit erhöht. Zum einen wird die höhere Bandbreite für die interne Kommunikation benötigt, aber auch für schnelle externe Anbindungen wie zum Beispiel durch PCI-Express 4.0.

Schon länger ist bekannt, dass AMD den Infinity Fabric für weitere Anbindungen nutzen möchte – nicht mehr nur intern im Package des Prozessors oder der GPU. Bei den Radeon-Instinct-Beschleunigern ist es bereits möglich, vier GPUs mittels Infinity Fabric untereinander zu verbinden. Auf dem Rice Oil and Gas HPC Event hat sich AMD nun zu den zukünftigen Lösungen geäußert.

So wird es zukünftig eine Speicher- und Cache-Kohärenz für die zukünftigen Prozessoren und GPUs geben. Aktuell müssen die Applikationen noch genau wissen, in welchem Systemspeicher oder auf welchem GPU-Beschleuniger sich bestimmte Daten befinden. Bearbeiten mehrere GPUs grundsätzlich die gleichen Daten, müssen diese auch jeweils im Speicher liegen und sind somit mehrfach vorhanden. Eine Kohärenz würde es ermöglichen, dass die Daten nur noch im Systemspeicher liegen und von multiplen GPUs darauf zugegriffen wird oder aber mehrere GPUs sich Datensätze teilen, die nur einer GPU zugeordnet sind.

Ein schneller Interconnect ist notwendig, schließlich sprechen wir beim schnellen HBM von Speicherbandbreiten von 1 TB/s und mehr. Infinity Fabric erreichte in der ersten Generation 42.6 GB/s, in der zweiten Generation sind es nun 92 GB/s. Für die dritte Generation wird AMD den Datendurchsatz weiter steigern wollen. Zum Vergleich: NVLink von NVIDIA kommt auf 300 GB/s zwischen den GPUs und zwischen den IBM-Power9-Prozessoren. Cray hat mit dem Slingshot einen eigenen Interconnect entwickelt, der in Supercomputern zum Einsatz kommt und 200 GB/s erreicht. Intel arbeitet an einem eigenen CXL-Interconnect, der PCI-Express 5.0 als Übertragungstechnik nutzen soll.

Intel und AMD sind hier im Vorteil, weil sie sowohl Prozessoren als auch GPGPU-Beschleuniger anbieten. Damit können sie die eigentlichen Chips mit den notwendigen Voraussetzungen versehen, um einen schnellen Interconnect zu gewährleisten. Weiterhin kann so auch die Kohärenz entsprechend einfacher ein- und ausgebaut werden, da man alle wichtigen Bestandteile unter Kontrolle hat. In Teilen ist diese Speicherkohärenz in den APUs bei AMD schon aktiv in Verwendung. Im Falle der Zusammenarbeit zwischen Prozessoren und GPGPU-Beschleunigern sprechen wir aber von weitaus komplexeren Speicher- und Cache-Zusammenhängen.

Ob AMD mit der Zen-3-Architektur auch einen Infinity Fabric der dritten Generation einführen wird, bleibt abzuwarten. Immerhin scheint AMD das Thema aber nun in Angriff zu nehmen.