Werbung
Tenstorrent will es am KI-Hardware-Markt mit NVIDIA aufnehmen und die Lücken füllen, die der Gorilla am Markt hinterlässt. Zu diesem Zweck hat man erst vor wenigen Monaten damit begonnen, Dev-Kits in Form von PCI-Express-Karten auf Basis der Grayskull-Beschleuniger auszuliefern. Diese besitzen die in 12 nm gefertigten KI-Kerne, verfügen aber nur über 8 GB an LPDDR4-Speicher und kommunizieren über das PCI-Express-Interface. In einer 75- und einer 150-W-Version sind Grayskull-Beschleuniger als einzelne Beschleuniger für die Entwicklung von KI-Modellen und des dazugehörigen Codes anzusehen.
Mit der nun zweiten Generation Wormhole geht Tenstorrent einen deutlichen Schritt weiter. Die Chips werden weiterhin in 12 nm gefertigt und verfügen über 80 der sogenannten Tensix-Kerne. Diese arbeiten mit einem Takt von 1 GHz und kommen auf 292 TOPS an Rechenleistung für FP8-Berechnungen. Die Chips verfügen nun aber über eine direkte Netzwerk-Anbindung und können über 16x 200 GBit/s miteinander kommunizieren. Der Speicher wurde von 8 auf 12 GB vergrößert und zudem kommt nun GDDR6 zum Einsatz, der eine deutlich höhere Speicherbandbreite anzubieten hat.
Als Wormhole n150 kommt ein Chip pro PCIe-Karten zum Einsatz. Die TDP liegt bei 150 W, der Preis bei 999 US-Dollar. Als Dual-Chip-Lösung n300 verdoppelt sich die Leistungsaufnahme auf 300 W und der Preis liegt bei 1.399 US-Dollar.
Zudem bietet Tenstorrent zwei unterschiedliche Developer-Workststations an. Die Loadbox zeichnet sich durch ihre Luftkühlung aus, die Quietbox wird wassergekühlt. Aber es gibt noch weitere Unterschiede in der Hardware und nicht ausschließlich nur der Kühlung:
TT-Loadbox:
- 2x Intel Xeon 4309Y (Ice Lake, 8 Kerne, 2,8 GHz, 105 W)
- Supermicro SYS-740GP-TNRT
- 512 GB DDR4-3200
- 3,8 TB U2 NVMe
- 4x Wormhole n300
- 4x Warp 100 Interconnects + 2x QSFP-DD 400GbE
- 1x 2.200 W Netzteil
- 2x 10GbE (Onboard via Intel X550-AT)
TT-Quietbox:
- AMD EPYC 8124P (16 Kerne, 3 GHz, 125 W)
- Tyan Tomcat HX S8040
- 512 GB DDR5-4800
- 3,8 TB U2 NVMe
- 4x Wormhole n300
- 4x Warp 100 Interconnects + 2x QSFP-DD 400GbE
- 1.650 W Netzteil
- 2x 10GbE (Onboard via Intel X710) + 2x Gigabit-Ethernet
Während die Wormhole-Beschleuniger bereits ausgeliefert werden sollen, können die TT-Loadbox und TT-Quietbox Dev-Kits bisher nur vorbestellt werden und sollen in den kommenden sechs bis acht Wochen ausgeliefert werden. Der Preis für die TT-Loadbox liegt bei 12.000 US-Dollar, die wassergekühlte TT-Quietbox soll 15.000 US-Dollar kosten.
Damit baut Tenstorrent sein Profil auf Seiten der Entwickler weiter aus und bietet eine Reihe an Hardware an, die zur Weiterentwicklung der Software und Modelle genutzt werden kann. Mit TT-Buda steht ein Software-Stack bereit, der nicht nur namentlich NVIDIAs CUDA ähnlich ist, sondern auch einen ähnlichen Umfang und einfachen Einstieg ermöglichen soll.
Auch wenn man der eigenen Roadmap etwas hinterherhinkt, so will man die Weiterentwicklung in den kommenden Jahren weiter vorantreiben. Die nächste Generation Black Hole soll in 6 nm gefertigt werden und eigene CPU-Kerne bekommen. Darauf wird dann Grendel in 4 nm folgen.