Werbung
Ob Meta, Google, Microsoft oder anderen Cloud-Anbieter – NVIDIA wird sich vor Nachfrage nach den H100-Beschleunigern wohl kaum retten können. In welchen Mengen die Hardware hier an den Mann gebraucht wird, zeigt sich deutlich in einer Ankündigung eines engen Partners von NVIDIA: Dem AI-Startup Inflection AI, welches inzwischen mit 1,5 Milliarden US-Dollar bewertet wird und in das Personen wie Bill Gates und Eric Schmidt sowie eben NVIDIA investiert haben.
Der neue Supercomputer soll über 22.000 H100-Beschleuniger verfügen. Damit wäre das System bei einer Genauigkeit von FP64 das weltweit zweitschnellste System – direkt hinter Frontier, dem aktuellen Spitzenreiter. Aktuell im Einsatz hat man bereits ein Cluster mit 3.584 H100-Beschleuniger, die von Microsoft in Azure-Instanzen betrieben und vom Clouddienstleister CoreWeave verwaltet werden. Mit diesem System wurden zuletzt auch neue Spitzenwerte für die MLPerf-Trainings-Benchmarks aufgestellt.
Die Anschaffung von 22.000 eigenen H100-Beschleunigern ist nun offenbar der nächste Schritt und stellt zugleich ein gewaltige Aufgabe dar, denn wir sprechen hier von fast 700 Serverschränken mit jeweils vier Knoten bestehend aus jeweils einem Intel-Prozessor und acht H100-Beschleunigern. Bis zu 31 MW an Leistung würde ein solches System aufnehmen und die Kosten bei Listenpreis bei rund einer Milliarden US-Dollar liegen. Aber die Tatsache, dass NVIDIA bei Inflection AI direkt beteiligt ist, dürfte hier hilfreich sein.
Aktuell sind die H100-Beschleuniger für NVIDIA eine Gelddruckmaschine. Wenn möglich, würde das Unternehmen sicherlich jeden Wafer bei TSMC mit H100-Chips belichten und das Packaging ausführen lassen, damit man so viele Beschleuniger wie möglich an seine Kunden verkaufen könnte. Aber TSMC hat hier auch gewisse Kapazitätsgrenzen, die wohl bereits ausgeschöpft sind. Vor allem das Packaging rückt zunehmen in den Fokus und entsprechend werden die Kapazitäten hier immer weiter ausgebaut.
NVIDIA profitiert in der aktuellen Situation auch davon, dass es wenig bis keine Konkurrenz in diesem Bereich gibt. AMDs Instinct-MI250-Beschleuniger erreichen gerade erst ein Level, bei dem auch die Softwareunterstützung einen leichten Einstieg ermöglicht. Bis die MI300A- und MI300X-Beschleuniger verfügbar sind, wird es noch einige Zeit dauern. Intels Gaudi 2 bietet ebenfalls viel Potential, insgesamt aber scheint NVIDIA mit seinem Angebot an Hardware (dies schließt die DGX/HGX-Systeme mit ein) und Software besser aufgestellt zu sein.