Werbung
Sk hynix und Samsung arbeiten bereits seit geraumer Zeit daran, den Speicher und den AI-Beschleuniger dichter zusammen zu bringen. Bei Sk hynix nennt sich die entsprechende Technologie AiM (Accelerator in Memory), bei Samsung Processing-in-Memory (PIM). Beide Ansätze sind nicht neu, rücken auf der diesjährigen HotChips 2023 aber näher an einen möglichen Praxiseinsatz.
So sieht Sk hynix zu einem GDDR6-AiM einen Prototypen vor, der wiederum auf zwei FPGAs setzt. Jeder dieser FPGAs bindet acht Speicherchips an. Diese kommen auf eine Kapazität von 1 GB pro Chip und somit landen wir bei insgesamt 16 GB. Der Prototype soll dazu verwendet werden, einerseits die Hardware weiter zu testen (wenngleich die eigentlichen Chips soweit fertig entwickelt sind) , vor allem aber geht es darum nun die notwendige Software-Infrastruktur zu entwickeln. Die Speicherbandbreite ist mit 170 GB/s noch vergleichsweise gering.
Nachdem die erste Generation des AiM nun in Form von GDDR6-Speicher fertig entwickelt ist, evaluiert Sk hynix den Einsatz von LPDDR5 und LPDDR5T.
Samsung schon einen Schritt weiter
Bei Samsung scheint man schon einen Schritt weiter zu sein. Hier gab es bereits Konzepte, wie eine Instinct MI100 mit HBM-PIM, auf der weiter aufgebaut werden soll. Samsung geht von einem Leistungsplus aus, welches bei Faktor drei liegt. Um dem Bedarf nach einer immer höheren Effizienz nachzukommen, arbeitet Samsung aktuell an LPDDR-PIM.
Anstatt eines Prototypen bzw. eines Konzept wie der Radeon Instinct MI100 mit HBM-PIM will Samsung per CXL eine mögliche Erweiterung des Speichers samt AI-Beschleunigern darin realisieren. Die Lösung wird von Samsung Processing-near-Memory (PNM) genannt.
Die Hardware arbeitet dabei auf Basis von CXL 2.0 Type 3. Kommuniziert wird also über CXL.io und CXL.mem mit einer entsprechenden Erweiterungskarte. Auf dieser befindet sich ein CXL-Controller, der wiederum den Speicher mit den integrierten Beschleunigern anbindet. Zwei Varianten sind denkbar: Der Controller enthält auch direkt die Beschleuniger, die dann wiederum direkten Zugriff auf den Speicher haben (CXL-PNM on CXL Controller) oder aber es handelt sich um einen reinen CXL-Controller mitsamt Speichercontroller, der dann den PIM-Speicher anbindet (CXL-PNM on Device Memory).
Das CXL-PNM-Konzept von Samsung soll bei einer Kapazität von 512 GB eine Speicherbandbreite von 1,1 TB/s erreichen.
Noch immer sind die AI-Beschleuniger direkt im Speicher nur ein Konzept. Die Speicherchips gibt es bereits, aber die Hersteller feilen noch an den Eckdaten und ein konkreter Einsatz ist noch nicht absehbar.