Werbung
Es ist zu vermuten, dass NVIDIAs Datacenter-Geschäfte blendend laufen. Die LLMs (Large Language Models) sind extrem hardwarehungrig und verlangen nach schnellen GPUs mit viel Speicher. Während die aktuell verwendeten Modelle meist noch auf den A100-Beschleunigern trainiert wurden, findet langsam der Wechsel auf die neuen H100-Beschleuniger statt. Google stattete erst kürzlich seine A3-Instanzen mit diesen Beschleunigern aus und kann sie als A3-Supercomputer mit insgesamt 26.000 H100-GPUs auch als gemeinsames System verwenden.
Die GPU-Beschleuniger können einerseits viel Rechenleistung bei niedriger Genauigkeit (FP8, FP16, Bfloat16) bereitstellen, sind aber auch in der Lage, mit hoher Genauigkeit (FP64) viel zu leisten. Allerdings kommt der schnellste Supercomputer mit NVIDIA-GPUs erst auf Platz vier der Top500-Liste.
Dies möchte NVIDIA mit dem Grace-Superchip ändern. Diesen stellte man auf der GTC im vergangenen Jahr vor und gab im Verlaufe des Sommers weitere Details bekannt. Der "Grace CPU Superchip" setzt sich aus zwei Chips zusammen, die über jeweils 72 Kerne verfügen. Miteinander verbunden sind sie per NVLink-C2C (Chip to Chip). Der Interconnect erreicht eine Bandbreite von 900 GB/s. Die Grace-Chips basieren auf der ARMv9-Architektur bzw. dem Neoverse-Design. Der LPDDR5X-Speicher erreicht eine Bandbreite von 1 TB/s. Wie hoch die Kapazität ist, darüber kann man aktuell nur Vermutungen anstellen. 512 GB (8x 32 GB ) sind aber durchaus wahrscheinlich.
Der "Grace CPU Superchip" soll für HPC- und AI-Anwendungen ausgelegt. Tendiert das System aber eher in AI-Anwendungen, dürfte der "Grace Hopper Superchip" die bessere Wahl sein.
Mit dem Isambard 3 hat NVIDIA nun gemeinsam mit der Universität in Bristol einen Supercomputer angekündigt, der knapp unter 400 der "Grace CPU Superchips" verwenden soll. Er soll eine Rechenleistung von 2 PFLOPS bei einer Leistungsaufnahme von nur 270 kW erreichen. Der Spitzenreiter der Green500-Liste kommt für 2 PFLOPS allerdings mit 31 kW aus.
Ebenfalls nur mit dem "Grace CPU Superchip" geplant ist der MareNostrum 5 in Barcelona. Mit "Grace Hopper Superchip" geplant sind weiterhin der Venado mit 10 EFLOPS an AI-Rechenleistung, der ALPS mit 20 EFLOPS und der Shasheen-III mit 7 EFLOPS.
Für NVIDIA steht damit weiterhin eine der prestigeträchtigen Supercomputer-Neuankündigungen im Exeflops-Bereich für FP64 aus. Aber der Weg scheint vorgezeichnet zu sein. Anstatt auf Prozessoren von AMD und Intel angewiesen zu sein, kann NVIDIA mit dem "Grace CPU Superchip" und Grace Hopper Superchip" alle Hardware-Segment selbst abdecken. Durch den Zukauf von Mellanox ist man auch hinsichtlich der Netzwerk-Infrastruktur unabhängig und dadurch in einer Position, die so kaum ein Hersteller inne hat.