Supercomputer El Capitan

Mit EPYC Genoa mit Zen 4 und Radeon Instinct zu 2 ExaFLOPS

Gleich drei Supercomputer des Department of Energy (DoE) sollen in den kommenden Jahren die Grenze von einem ExaFLOP pro Sekunde an Rechenleistung erreichen. Nun gibt es weitere Details zum El Capitan, einem der Exascale-Systeme, welches von der National Nuclear Security Administration (NNSA) gestellt und vom Lawrence Livermore National Laboratory (LLNL) in Kalifornien betrieben werden soll. El Capitan soll eine Rechenleistung von zwei ExaFLOPS erreichen.

Ein ExaFLOP entspricht 10¹⁸ Fließkommaberechnungen oder einer Trillion (1.000.000.000.000.000.000) Berechnungen pro Sekunde. El Capitan soll 600 Millionen US-Dollar kosten und wird eine Leistungsaufnahme von 40 MW aufweisen. Diese Leistungsaufnahme ist bereits bekannt, weil dies das Maximum ist, was am LLNL an Leistung zur Verfügung gestellt werden kann. Insofern kennt man die Anforderungen, bzw. das Maximum an dieser Stelle. 

Um die zwei ExaFLOPS an Rechenleistung in einen Vergleich zu setzen: Damit wäre El Capitan zehnmal schneller als der aktuell schnellste Supercomputer. Zudem wäre er schneller als alle aktuellen Top-200-Systeme zusammengenommen. Bis 2023 wird es aber noch einige Verschiebungen bei den schnellsten Supercomputern geben.

Haupteinsatzgebiet des El Capitan wird die Simulation von Nuklearreaktionen sein. Die USA arbeite daran, die eigenen Atomwaffen zu modernisieren und da Atomwaffentests verboten sind, findet ein Großteil der Forschungsarbeit in Form von Simulationen statt. Daneben werden noch weitere Labore die Rechenleistung der Systeme nutzen können.

Gemutmaßt wurde bereits, dass AMD die Komponenten für den El Capitan stellen soll, bestätigt war dies bislang jedoch nicht. Bisher war nur bekannt, dass Cray das System aufbauen soll. Cray gehört inzwischen zu HP Enterprise (HPE). Jetzt ist klar: El Capitan wird auf Prozessoren und GPGPUs von AMD setzen. Dies haben das LLNL, HPE und AMD in einer Mitteilung bestätigt.

Zum Einsatz kommen werden EPYC-Prozessoren der übernächsten Generation alias Genoa. Die Prozessoren werden CPU-Kerne auf Basis der Zen-4-Architektur verwenden. Für dieses oder nächstes Jahr stehen die EPYC-Prozessoren der dritten Generation mit Zen-3-Architektur alias Milan an – erst dann wird Genoa folgen. Die Milan-Prozessoren dürften sich aktuell bereits in der Qualification befinden und das erste Tape Out hinter sich gebracht haben. Die Zen-4-Architektur hingegen befand sich vor einem Jahr in der Designphase. Wie weit AMD hier ist, lässt sich kaum abschätzen. El Capitan soll aber auch erst 2023 fertiggestellt werden. Es bleibt also noch etwas Zeit.

Bei den Genoa-EPYC-Prozessoren soll es sich um Standard-Varianten – also um keine Custom-Lösung – handeln. Dies ist erwähnenswert, weil für den Frontier-Supercomputer, ebenfalls für das DoE, aber am Oak Ridge National Laboratory betrieben, eben solche Custom-Chips von AMD verwenden werden sollen. Hier kommen vermutlich aber noch die Genoa-Vorgänger-Prozessoren mit Zen-3-Architektur zum Einsatz. Die Genoa-EPYC-Prozessoren verwenden laut AMD einen Next-Gen Memory (DDR5 oder DDR6?) sowie Next-Gen-I/O (PCI-Express 6.0?).

Die dazugehörigen General-Purpose-GPU-Beschleuniger (GPGPU) werden aus der Radeon-Instinct-Serie stammen und dementsprechend auf eine der zukünftigen GPU-Architekturen von AMD setzen. Hier kommt die Begrifflichkeit Next-Gen ebenfalls sehr häufig zum Einsatz – beispielsweise für den HBM. Die GPU-Architektur soll derart ausgelegt sein, dass sowohl HPC-Anwendungen mit FP64 und FP32 als auch Machine-Learning-Anwendungen (FP16 und INT8) darauf optimiert laufen und eine möglichst hohe Rechenleistung erreicht wird. Die Skalierung möglichst vieler GPUs in einem System ist hier ein Punkt, der unter anderem von der verwendeten Software angesprochen werden soll.

Dem Bindeglied zwischen den Genoa-EPYC-Prozessoren und dem GPGPUs wird ebenfalls eine bedeutende Rolle zukommen. Die dritte Generation des Infinity Fabric soll eine möglichst schnelle und latenzfreie Verbindung zwischen den Komponenten herstellen. Der Speicher an den CPUs und GPUs soll als Unifed Memory allen im Node beteiligten Komponenten zur Verfügung stehen. Die Kohärenz des Speichers vereinfacht die Auslegung der Software und erhöht die Leistung.

AMD und HPE gehen noch nicht genauer auf technische Details der einzelnen Komponenten ein. Wir kennen also keine Anzahl an Prozessoren, Prozessorkerne, Sockel oder sonstiges. Die Rechenleistung von 2 ExaFLOPS soll sich in etwa zu 90 % aus den Radeon-Instinct-Beschleunigern und zu 10 % aus den EPYC-Prozessoren entwickeln – 10x mehr GPU- gegenüber CPU-Leistung so die Aussage von AMD und HPE.

HPE wird den El Capitan im Auftrag der beteiligten US-Behörden und Laboratorien übernehmen. Als Basis dient dabei das Shasta-Design, welches aktuell ebenfalls schon von zahlreichen Supercomputer eingesetzt wird und welches sich angesichts der eingesetzten Komponenten als extrem flexibel darstellt. Zur Kühlung wird beispielsweise eine direkte Wasserkühlung zum Einsatz kommen. Während in den einzelenen Nodes der Infinity Fabric 3.0 als Interconnect eingesetzt wird, kommunizieren die einzelnen Nodes über den Slingshot-Interconnect, der von Cray entwickelt wurde. Theoretisch erreicht dieser 400 GBit/s pro Port, aktuell können 64 Ports mit jeweils 200 GBit/s versorgt werden. Bis 2023 wird es dahingehend aber sicherlich noch weitere Entwicklungen geben.

Weitere Details zu den Genoa-EPYC-Prozessoren könnte AMD am Financial Analyst Day verraten, der morgen stattfinden wird.

In den USA werden aktuell zahlreiche neue Supercomputer entwickelt und aufgestellt. Das Department of Energy (DoE) plant mit hier behandelten El Capitan ein 2 ExaFLOPS-System, der Aurora wird vollständig auf Intel-CPUs und Intel-GPUs setzen (zukünftige Xeon-Prozessoren und "Ponte Vecchio" Xe-GPUs) und der Frontier wird vollständig mit Hardware aus dem Hause AMD ausgestattet sein und soll ebenfalls mindestens 1 EFLOPS erreichen.

Die drei obigen Systeme seien nur erwähnt, weil sie die Gegenspieler AMD und Intel aufzeigen. Es sind aber zahlreiche weitere Exascale-Systeme geplant, die teilweise schon 2020 an den Start gehen sollen. Das erste könnte in China entstehen. Aber auch Japan hat ein System in Planung, welches mit 30 MW auskommen soll. Taiwan und die Europäische Union planen ebenfalls den Aufbau von Exascale-Supercomputern.