Werbung
Auf der HotChips 32 hat Cerebras über die Umsetzung und Nutzung der Wafer Scale Engine (WSE) gesprochen. Einen Chip mit 46.225 mm² Fläche, 400.000 AI-Kernen und 18 GB an on-Chip SRAM muss man zunächst einmal füttern können und eine entsprechende Softwareoptimierung sorgt erst dafür, dass man auch die Leistung abfragen kann.
Einen kleinen Ausblick gab es auch auf die zweite Generation der Wafer Scale Engine, die schlicht WSE der zweiten Generation getauft wird. Viele Details gibt es nicht und Cerebras nennt nun einige Eckdaten. So wird die WSE der zweiten Generation 850.000 AI-Kerne beinhalten, also mehr als doppelt so viele, wie in der ersten Generation. Die Anzahl der Transistoren steigt von 1,2 Billionen Transistoren auf 2,6 Billionen Transistoren. Zum Vergleich: NVIDIAs GA100-GPU kommt auf 54 Milliarden Transistoren und eine Fläche von 826 mm². Die Fertigung der WSE der zweiten Generation findet in 7 nm bei TSMC statt. Für die erste Generation verwendete Cerebras TSMC 16-nm-Prozess.
Cerebras verrät noch keine weiteren Details. Es dürfte jedoch dabei bleiben: Der eigentliche Chip bewegt sich an den Grenzen dessen, was auf einer 300-mm-Wafer belichtet werden kann. Dazu hat man die sonst üblichen Limits in der Fertigung umgangen bzw. eine Lösung dafür gefunden. NVIDIA bewegt sich mit den besagten 826 mm² an diesen Grenzen für ein Chipdesign und eine Belichtung über Masken.
Im eigentlichen Sinne handelt es sich bei der WSE um mehrere Chips, die auf dem Wafer belassen werden, statt sie zu trennen und getrennt voneinander auf einem Package unterzubringen. Die Fertigung eines Chips in der Größe eines Wafers bzw. diesen dann funktionsfähig zu bekommen ist alles andere als trivial. Die Kühlung und Stromversorgung haben wir uns bereits genauer angeschaut. Bei dieser Größe kann es natürlich auch zu Fehlern kommen. Cerebras lässt für die erste Generation der WSE 1,0 bis 1,5 % an zusätzlichen AI-Kernen fertigen. Kommt es also zu Fehlern in der Fertigung, hat man eben diese 1,0 bis 1,5 % als Sicherheit auf dem Chip und kann diese über ein Remapping und Reconnecting des Interconnects umgehen.
Im Verlaufe des Jahres sind weitere Informationen zur WSE der zweiten Generation zu erwarten.