Sohu-ASIC für Transformer-Modelle: Beschleuniger soll 20mal schneller als NVIDIAs H100 sein

[HWL News Bot]

Ein Startup namens Etched hat einen ASIC namens Sohu vorgestellt, der speziell auf das Inferencing von Transformer-Modellen ausgelegt sein soll. Ausgestattet mit 144 GB an HBM3E sowie bereits reservierten Kapazitäten für die Fertigung bei TSMC will das Startup eine Konkurrenz von NVIDIAs Beschleunigern und dabei um ein Vielfaches schneller sein.
... weiterlesen

 

[Gelöschtes Mitglied 189335]

Nachricht gelöscht

 

[Richard88]

Also kann das Ding nur eine Sache 20x schneller, für alles andere dann kaum brauchbar.

Sieht so aus. Wobei die eine sache schon sehr nützlich ist. Wenn die digner dann auch kaufbar sind und der preis passt, hilft es dem gesamten markt. Diejenige die genau das brauchen, werden bestens bedient. Gleichzeitig müssen sie deutlich weniger der grossen abieter kaufen, was der gesamtverfügbarkeit zu gute kommt. Also ich sehe das positiv.

 

[Gelöschtes Mitglied 189335]

Nachricht gelöscht

 

[Richard88]

Es läuft auch immer so ab. Es kommt ein paradigmenwechsel, etwas total neues kommt. Dafür wird infrastruktur gebaut die immer effizienter wird. Sobald sich dann die ersten grenzen abbilden und man sieht was wie gemacht wird, kommt dan hochspezielle infrastruktur die in ihrem eigenen feld dann den grossteil abdeckt.

Wir hatten automobile (dazu zählen auch lokomotiven) und nach einer weile kamen autos(verbrenner) lkws, frachtzüge usw. Dazu. Und jeder ist der champion in seiner rolle.

Bei pcs das selbe. Erst kamen riesige maschienen die rechnen konnten, ihre SW in HW gegossen hatten und etwas speicher. Dann kamen hochspezielle lösungen die auf ihrem gebiet ungeschlagen sind (cpu, gpu, netzwerkkarten, speicherlösungen....)

Der markt bricht auf, verteilt sich und jedes der bruchstücke wird hochspezialisiert und damit hocheffektiv UND hocheffizient*!


*Nach heutigen maßstäben

 

[ToMMeK]

Wären FPGAs nicht ebenfalls geeignet bzw eine Option? Die Teile sind nicht nur modular sondern zumindest auch reprogrammierbar und so auch für andere Zwecke geeignet (vorausgesetzt man beherrscht die hohe Kunst der FPGA Programmierung...)

 

[DragonTear]

Wären FPGAs nicht ebenfalls geeignet bzw eine Option? Die Teile sind nicht nur modular sondern zumindest auch reprogrammierbar und so auch für andere Zwecke geeignet (vorausgesetzt man beherrscht die hohe Kunst der FPGA Programmierung...)

Gibt es welche mit solch grossem IO dass man da dreistellig Gigabyte an Speicher schnell anbinden kann?
Das ist ja der Hauptgrund wieso GPU Hersteller NV die Vorreiterstellung hat.

 

[p4n0]

Fpga‘s sind vergleichsweise teuer. Gab da immer wieder Anlaeufe von Xilinx das irgendwie fuer die breite Masse nutzbar zu machen. Kam aber nie bei den Datacentern an.

 

[Ext3h]

Wären FPGAs nicht ebenfalls geeignet bzw eine Option? Die Teile sind nicht nur modular sondern zumindest auch reprogrammierbar und so auch für andere Zwecke geeignet (vorausgesetzt man beherrscht die hohe Kunst der FPGA Programmierung...)

Nein, FPGAs sind nur in Hinsicht auf Flexibilität bei zeitkritischen Sachen mit niedrigem Grad an Parallelität eine Option.

Praktisch ist das was Nvidia auffährt aber bereits ein ASIC - nur mit dem Kernfokus auf Effizienz in Matrix-Matrix-Multiplikation was einen tief integrierten Parameter-Cache (in den Tensor-Kernen) erfordert und eben nicht auf die logisch deutlich simpleren, aber gleichzeitig massiv mehr auf Speicherdurchsatz angewiesene Transformer-Netzwerke ausgelegt ist.

Das trifft dann bei Nvidia auf weniger effiziente Pfade, und lässt dafür große Teile der Schaltung hingegen ungenutzt.