Werbung
Aktuell dominiert NVIDIA den Hardwaremarkt, wenn es um das Thema Generative AI geht. 10 Milliarden US-Dollar Umsatz alleine durch die Datancenter-Sparte sprechen eine deutlich Sprache. Es gibt aber auch Punkte, durch die sich andere Hersteller absetzen wollen. Hier kommt vor allem die Effizienz in den Fokus.
IBM Research hat auf der HotChips den KI-Beschleuniger NorthPole vorgestellt. Der Trend ist klar: Viele kleine Beschleuniger bekommen viel Speicher und werden schnell angebunden. Der große SRAM dient dazu, so viele Daten wie möglich nahe an den Recheneinheiten behalten zu können. Ein häufiges Kopieren der Daten aus dem externen Speicher kostet Zeit und Energie.
Die Daten werden über die dazugehörige Software auf bestimmte ML-Modelle vorbereitet. Spekulative Sprungvorhersagen sollen vermieden werden, denn auch sie kosten Zeit und damit Rechenleistung sowie Energie.
Maximaler Durchsatz und viel On-Die-Speicher sind also die wichtigen Kerngrößen für die Hardware. In den eigenen Benchmarks liegt man klar vor dem großen Konkurrenten NVIDIA. Allerdings fehlen noch weitere wichtigen Kerngrößen zur Hardware.
Einen externen Speicher gibt es nicht. Der gezeigte Prototyp sitzt auf einer PCI-Express-Karte. Ein FPGA wird vermutlich nur im Entwicklungsstadium verwendet. Der NorthPole-Chip wird in 12 nm bei GlobalFoundries gefertigt – auf eine modernere Fertigung kann IBM aus eigenen Hause, bzw. in Partnerschaft mit GF nicht zurückgreifen. Mit 22 Milliarden Transistoren kommt der NorthPole auf eine Fläche von etwa 800 mm². Versorgt wird der Prototyp mittels 8-Pin-Anschluss. 150 bis 200 W dürfte der NorthPole sich genehmigen.
Unklar ist, wann und in welcher Form IBM den NorthPole zum Einsatz bringen wird. Eigene Abteilungen und Kunden hat IBM zu Genüge.