Werbung
Auf seinem Investor Day hat SanDisk Pläne zu einem neuen Speicher vorgestellt, der direkt auf dem Package mit GPUs und KI-Beschleunigern eingesetzt werden soll, aber eine deutlich höhere Kapazität als der bisher eingesetzter HBM bietet. Der High Bandwidth Flash (HBF) setzt dabei anstatt auf gestapelte DRAM-Chips wie bei HBM auf NAND-Flash, der auf viele parallele Zugriffe optimiert ist.
Der große Vorteil von HBF: Ein einzelner Chip soll mit 16 Stacks auf eine Kapazität von 512 GB kommen. Aktueller HBM3E kommt auf gerade einmal 24 GB, bald sollen auch 48 GB möglich sein. HBF soll 8- bis 16-mal so viel Kapazität bei ähnlichen Kosten ermöglichen. Dabei soll es keinerlei Nachteile in der Anbindung geben, denn auch HBF wird über ein 1.024 Bit breites Speicherinterface angebunden – genau wie HBM. Ob das Protokoll und damit die Durchsatzraten auch ähnlich hoch ausfallen, dazu ließ sich SanDisk nicht ein.
Die höhere Kapazität des HBF zeigt sich im direkten Vergleich. Während für die kommenden Blackwell- und Instinct-Beschleuniger mit 288 bzw. 256 GB HBM3E zu rechnen ist, sollen es bei Einsatz des HBF 4.096 GB sein. Theoretisch denkbar ist sogar der gleichzeitige Einsatz von HBM und HBF. Allerdings müssen die PHYs, also das physikalische Interface für den Speicher, für den Einsatz von HBF vorgesehen sein. 1:1 und ohne weitere Veränderungen lässt sich der HBF nicht verbauen.
Über schnelle Interconnects sieht die KI-Hardware von AMD und NVIDIA bereits vor, dass beispielsweise acht Rechenbeschleuniger den gemeinsamen Speicher von 1.440 GB verwenden können. Solche Kapazitäten sind für die für das Training von Large Language Models (LLMs) nicht unwichtig, denn schnell belegen diese bei mehr als einer Milliarde Parameter mehrere Terabyte an Speicher. Diese im schnellen und lokalen Speicher vorzuhalten, ist daher wünschenswert. Die Speicherkapazität von 4 TB pro Beschleuniger ist also eines der Hauptargumente für den HBF.
SanDisk sieht für High Bandwidth Flash einen ähnlichen Weg wie damals in der Entwicklung von High Bandwidth Memory vor. Es soll Teil des JDEC-Standards werden, sodass alle interessierten Speicherhersteller auch entsprechende Produkte anbieten können. Bereits seit 2024 soll eine Zusammenarbeit mit Partnern begonnen haben. Konkrete Ankündigungen konnte oder wollte SanDisk aber noch nicht machen. Auch einen Zeitraum für die Marktreife des HBF gibt es noch nicht.
Ob sich der HBF als echte Alternative zu HBM etablieren kann, wird zunächst davon abhängig sein, ob der gestapelte NAND in der Lese- und Schreibgeschwindigkeit mit dem gestapelten DRAM mithalten kann und es hier keinerlei Hürden in der Umsetzung gibt. Die Hersteller der KI-Beschleuniger und dabei allen voran NVIDIA dürften sicherlich bereits genauer hinschauen.
