AI als Katalysator

Eine FAQ zu DDR5 im Server

Advertorial/Anzeige

Der Server-Markt hat die Umstellung auf DDR5 inzwischen vollzogen und sowohl AMD wie auch Intel setzen inzwischen auf Transferraten von 6.000 MT/s und mehr. Eine höhere Speicherbandbreite und die größeren Kapazitäten sprechen klar für DDR5. Beide Aspekte kommen vor allem im Hinblick auf die Anforderungen im KI-Segment voll zum Tragen. Kingston ist seit 35 Jahren im Bereich der Server-Speicher aktiv und Branchenführer. Man betreibt zudem eine aufwendige Entwicklung und Fertigung der neuen DDR5-Module um seine Position am Markt zu stärken. Auf was es bei den Speicherlösungen ankommt und wo die Vorteile von DDR5 liegen, soll nun Thema sein.

KI-Anwendungen sind in dern vergangenen Monaten ein wichtiges Thema und dies soll sich in der Form auch in den kommenden Monaten so fortsetzen. Dabei steigen die Anforderungen an die Hardware stetig und auch wenn die eigentlichen Trainings- und Inferencing-Arbeiten meist von dedizierten Beschleunigern erledigt werden, so müssen der Prozessor und der Arbeitsspeicher die notwendigen Daten vorhalten und so verarbeiten, dass die Beschleuniger möglichst schnell darauf zugreifen können.

Für das Training eines KI-Modells (wie zum Beispiel eines Large Language Modells, LLMs) ist eine große Menge an Daten erforderlich, die für die Verarbeitung durch die in den Servern installierten Beschleuniger zugänglich sein sollen. Vor und nach der Verarbeitung werden die Daten vorübergehend im Arbeitsspeicher gespeichert, damit sie während des Trainingsprozesses häufiger wiederverwendet werden können. 

Wozu sind höhere Speicherbandbreiten und Kapazitäten notwendig?

Die für das KI-Training und Inferencing verwendeten Beschleuniger verfügen inzwischen über 100 bis mehr als 200 GB an schnellem HBM (High Bandwidth Memory), in den sie die, zur Verarbeitung notwendigen Daten laden. Zwischen dem Beschleuniger-Chip und dem HBM werden Bandbreiten von 1 TB/s und mehr erreicht. 

Aber nicht alle Daten können direkt in den Beschleuniger vorgehalten werden und hier kommt der Arbeitsspeicher ins Spiel. Die LLMs können je nach Anwendungsbereich dutzende Milliarden an Parametern enthalten und werden dann entsprechend mehrere hundert Gigabyte groß. Die Verarbeitung und Vorbereitung der Daten findet im Arbeitsspeicher statt – erst dann geht es zu den Beschleunigern. Möglichst groß und möglichst schnell sollte der Arbeitsspeicher daher sein.

Mit 3 bzw. 4 TB an Arbeitsspeicher pro Sockel können moderne Server bestückt werden. Die Speichercontroller der Prozessoren unterstützen dabei Transferraten von 6.000 bis 6.400 MT/s für RDIMMs und bis zu 8.800 MT/s mit den neuen MRDIMMs. Dies alles sind ideale Voraussetzungen des Arbeitsspeichers im Zusammenhang mit den KI-Anwendungen, die entsprechend hohe Anforderungen stellen.

Aber es gibt auch noch weitere Faktoren: Server-Prozessoren verfügen über immer mehr Kerne. Waren es vor fünf Jahren höchstens drei dutzend Kerne pro Sockel, sprechen wir aktuell von 64, 96 oder gar 192 Kernen in einem Prozessor. Die einzelnen Recheneinheiten müssen, damit sie ihre Aufgabe möglichst effizient erledigen können, mit Daten versorgt werden, was über den Arbeitsspeicher geschieht. Je mehr Kerne pro Sockel im Einsatz sind, desto wichtiger kann eine höhere Speicherbandbreite sein.

Aber auch die Anforderungen an die jeweiligen Anwendungen haben sich verschoben bzw. weiterentwickelt. Datenbanken werden teilweise komplett im Arbeitsspeicher vorgehalten und entsprechend groß muss dessen Kapazität sein. Auch der Durchsatz des Arbeitsspeichers ist an dieser Stelle von entscheidender Bedeutung.

Warum DDR5?

Die Weiterentwicklung von SDRAM hin zu DDR5 hat zwei Gründe: Einerseits steigt der Bedarf nach immer höheren Speicherbandbreiten, andererseits wird und auch das Thema der Kapazität immer wichtiger, denn je mehr Daten in den Arbeitsspeicher passen, desto schneller können diese Daten an die Kerne herangeführt werden.

Die finalen Spezifikationen für DDR5 wurden im Juli 2020 verabschiedet. Ende 2021 kamen die ersten Client-Prozessoren auf den Markt, die DDR5 unterstützten. Die Server-Plattformen folgten etwas später, was auch mit der enormen Komplexität zu tun hat, die ein Speicherinterface mit bis zu 12 Speicherkanälen zur Folge hat. Intel spezifizierte seine ersten Xeon-Prozessoren für DDR5 mit DDR5-4800 für ein Modul pro Speicherkanal und mit DDR5-4400 für zwei Module pro Speicherkanal. AMD ging für seine EPYC-Prozessoren ebenfalls mit DDR5-4800 an den Start.

Die ersten Module für DDR5 arbeiteten mit einem Speichertakt von 300 MHz, das I/O-Interface kommt auf 2.400 MHz und aus einem effektiven Speichertakt von 4.800 MHz ergeben sich bei DDR5 2x 19,2 GB/s. Somit war DDR5 zum Einstieg schon schneller als DDR4-3200 als letzte Ausbaustufe des Standards.

Für die aktuelle Xeon- und EPYC-Generation wird DDR5-6400 zum Einsatz kommen, der pro Modul auf eine Speicherbandbreite von 51,2 GB/s kommt und die Speicherbandbreite somit weiter erhöht. Konkrete Pläne für höhere Transferraten gibt es noch nicht, der Einsatz von DDR5-7200 oder DDR5-8400 ist aber zumindest absehbar.

Um bei halbem Speichertakt auf den gleichen effektiven Takt bzw. die gleiche Speicherbandbreite pro Modul zu kommen, kommuniziert ein DDR5 über zwei Sub-Speicherkanäle (2x 32 Bit) mit dem Speichercontroller. Die gesamte Adressbreite bleibt mit 64 Bit identisch. Für RDIMMs mit ECC-Unterstützung sind weitere 8 Bit für die Fehlererkennung vorhanden, sodass man hier pro Sub-Speicherkanal auf 40 Bit und insgesamt auf 80 Bit pro Rank kommt. Dual-Rank-Module haben vier Sub-Speicherkanäle.

Eine Neuentwicklung sind die MRDIMMs. MRDIMM ist die offizielle JEDEC-Bezeichnung des als MCR von Intel, Renesas und Sk hynix entwickelten Speicherstandards. MCR steht für Multiplexer Combined Ranks und der DRAM arbeitet mit der halben Signalrate, in diesem Fall also 4.400 MHz. Zwei Pseudo-Kanäle werden per Multiplex-Verfahren wieder zusammengeführt und so ergeben sich aus 2x 4.400 MT/s, also zusammengenommen 8.800 MT/s. Bisher unterstützen nur die Xeon-6-Prozessoren mit Performance-Kernen MRDIMMs. Vor allem HPC- und AI-Anwendungen sollen vom Einsatz von MRDIMM profitieren. Bis zu 33 % an Leistungsplus sind je nach Anwendung durch die höhere Speicherbandbreite zu erreichen.

Der große Unterschied eines Server-Speichers zu den Endkunden-Varianten besteht darin, dass gemeinsam mit dem Speichercontroller des Prozessors ein Fehlerkorrekturverfahren, auch Error Correcting Code (ECC) genannt, angewendet wird. In Form zusätzlicher Bits wird eine Redundanz hergestellt, die auf der jeweiligen Zielseite (sei es die Übertragung zum Speicher oder ein Auslesen aus dem Speicher) ein Erkennen und auch eine Korrektur von Fehlern ermöglicht. Somit ist die Datenintegrität gewährleistet und es kann nicht zu Rechenfehlern aufgrund fehlerhafter Daten im Speicher kommen.

Weiterhin ist ein DDR5-DRAM mit On-Die-ECC ausgestattet. Jeder DRAM-Chip besitzt 6,25 % zusätzliche RAM-Zellen, um Fehler auch schon auf DRAM-Chip-Ebene zu erkennen und zu korrigieren. Dieser Test kann periodisch und unabhängig vom Speicherinterface des Prozessors ausgeführt werden.

Unterschiede gibt es aber auch im internen Aufbau. DDR5 verdoppelt die Anzahl der Speicherbänke von 16 auf 32. Dadurch können mehr Speicher-Pages gleichzeitig geöffnet und bearbeitet werden, was die Effizienz erhöht. Auch die minimale Burst-Länge wurde von 8 bei DDR4 auf 16 bei DDR5 verdoppelt. Dadurch können doppelt so viele Daten auf dem Datenbus übertragen werden. Zudem fügt DDR5 einen neuen Befehl namens Same-Bank-Refresh hinzu, der die Auffrischung (ein Speicher-Refresh) nur einer Speicher-Bank pro Bankgruppe und nicht aller Bänke ermöglicht. Im Vergleich zu DDR4 ermöglicht der Same-Bank-Refresh bei DDR5 eine weitere Verbesserung von Leistung und Effizienz.

Ein Temperatursensor auf den Modulen hilft bei der Überwachung der thermischen Umgebung der Module selbst und für den gesamten Server.

Höhere Kapazitäten

Gehen wir einfach einmal von den derzeit verfügbaren maximalen 96 GB an Kapazität pro Modul aus, dann kommen aktuelle Xeon-Systeme bei 12 Speicherkanälen und zwei Modulen pro Speicherkanal auf 2,3 TB an Gesamt-Speicherkapazität für ein Single-Socket-System. Theoretisch können die Speichercontroller mit 4 bzw. 6 TB an Speicherkapazität umgehen, dies allerdings nur mit den größeren Ausbaustufen der DDR5-Module, die mit 128, 256 und 512 GB kommen sollen.

PMIC

Alle DDR5-Module sind mit einem Power Management Integrate Circuits (PMIC) ausgestattet, der direkt auf dem Modul sitzt. Bei DDR4 befindet sich dieser auf dem Mainboard. Der PMIC bekommt eine Eingangsspannung von 12 V und macht daraus die, für das DDR5-Modul notwendigen Spannungslevel wie 1,1 V für die DRAM-Chips. Mit 1,1 V benötigen diese weniger Spannung und sind um 20 % effizienter als vergleichbare DDR4-Chips. Der PMIC sorgt für eine bessere Signalintegrität, reduziert das Rauschen und arbeitet auf dem DDR5-Modul selbst auch genauer, als dies mit der externen PMIC-Ansteuerung über das Mainboard bei DDR4 der Fall ist.

DDR5-Module für PC-Prozessoren werden mit 5 V versorgt und auch hier wandelt ein PMIC die notwendigen Spannungen um. Bei Server-Modulen sind es wie oben beschrieben 12 V.

Registered Module (RDIMM)

Diese Module besitzen zwei Register-Chips, durch die die Signale zum Speichercontroller geführt werden. Dies reduziert die elektrische Belastung. Zudem wird das Taktsignal über einen PLL-Baustein aufbereitet. Um die Entlastung der Adressleitungen zu reduzieren, sind die RDIMMs häufig nicht als Double-Sided-Module (zwei Bänke) verfügbar, sondern nur als Single-Sided-Module.

Allerdings ist der Aufwand im Aufbau der Module auch größer. Die Pin-Belegung der 240 Pins ist eine andere und bei RDIMMs erscheint das Eingangssignal erst genau einen Taktzyklus später an den Ausgängen, als dies bei Unregistered Modulen der Fall ist. RDIMMs und LRDIMMs sind die am häufigsten in Servern eingesetzten Speichermodule.

Speichererweiterung per CXL

Mit der aktuellen Generation der Server-Prozessoren hält zudem CXL 2.0 Type 3 Einzug. Für Type 3 geht es maßgeblich um die Möglichkeit der Speichererweiterung. Anstatt 2,3 TB an DDR5 zu verbauen, können die OEMs 1,5 TB (24x 64 GB) an schnellem DDR5 verbauen und ergänzen dies um 768 GB an CXL-Speicher, der als DDR4-3200 deutlich günstiger umzusetzen ist. Zudem sind auch die DDR5-Module mit 64 GB günstiger als solche mit 96 GB. Je nach Anwendung ist der Leistungsunterschied trotz dieser Maßnahme nicht besonders groß, der Kunde kann aber viel Geld sparen.

Je nach Prozessor wird ein Flat Memory Mode unterstützt, in dem der Prozessor selbst festlegt, welche Daten sich im DRAM oder in der CXL-Speichererweiterung befinden sollen. Dies ist abhängig davon, wie groß der DRAM selbst ist und ob der ständig benötigte Datensatz komplett in den DRAM passt oder nicht. Daten, die häufig benötigt werden, können so im DRAM abgelegt werden und solche, die weniger kritisch sind, in der CXL-Speichererweiterung.

Die Speichererweiterung der CXL befindet sich aktuell noch in einer recht frühen Phase und findet noch keine größere Verbreitung. Mit ihr wird allerdings die Möglichkeit geboten, den Speicherausbau zu erweitern, ohne dass dabei die Kosten massiv in die Höhe schnellen.

Ein allumfassendes Design- und Test-Konzept

Das Testing und die Verifikation von Arbeitsspeicher spielt vor allem im Server-Bereich eine entscheidende Rolle. Während auf dem Desktop ein Dual-Channel-Betrieb mit maximal zwei Modulen pro Speicherkanal sichergestellt werden muss, sind wir bei den Server-Plattformen inzwischen bei 12 Speicherkanälen mit ebenfalls zwei Modulen pro Speicherkanal angekommen. Solche Konfigurationen verlangen nach Speicher, der vom Start weg auf solche Anwendungsgebiete ausgelegt ist – von der Design-Phase, über die ersten Tests, bis zur finalen Fertigung. Kingston ist ein solcher Hersteller, dessen systemspezifischer Speicher und die generischen Speicher der Server Premier Linie eine entsprechende Zuverlässigkeit bieten.

Alles beginnt damit, dass Kingston ein Mitglied des Joint Electron Device Engineering Council (JEDEC) und damit auch an der Entwicklung neuer Speicherstandards beteiligt ist. Neben der Weiterentwicklung bestehender Speichertechnologien, widmet sich der Hersteller auch den Speicherlösungen der nächsten Generation.

Der komplette Design-Prozess wird dabei von ausgiebigen Tests begleitet, die starten sobald die Ingenieure eine erste Prototyp-Platine in den Händen halten. Der Testprozess bei Kingston ist eng an den Entwicklungs- und Qualitätsprozess DCAT (Design, Components, Assembly, Test) angelehnt.

Bevor neue Module oder eine neue Speichertechnologie auf den Markt kommen (siehe der Wechsel von DDR4- zu DDR5-Speicher bei Intels vierter Xeon-Generation alias Sapphire Rapids), unterzieht Kingston diese einem strengen Testverfahren, um die Zuverlässigkeit, Integrität und Kompatibilität des Designs zu gewährleisten. Jedes Modul wird so hergestellt, dass es zu 100 % mit dem System oder der Systemklasse als solches kompatibel ist, für die es entwickelt wurde. Jedes neue Design wird einer Reihe von Prüfungen und Tests unterzogen.

Im Rahmen der Tests werden verschiedene Verfahren angewendet:

Test auf die Spezifikationen:

Um einen neuen Modulentwurf zu qualifizieren, testen die Ingenieure den Prototypen des Moduls anhand der Spezifikationen, um sicherzustellen, dass das Modul die im Entwurf festgelegten Spezifikationen auch erfüllt. Sobald der Prototyp verifiziert ist, werden mehrere neue Module hergestellt.

Kompatibilitätstest:

Anschließend werden die Module auf Mainboards der jeweiligen Plattform mit der Anwendungssoftware und den Betriebssystemen getestet, die am häufigsten auf dem Markt verwendet werden.

"Software Benchtop"-Test:

Neben den Tests auf Basis realer Anwendungen, werden auch Benchmark-Tests mit unabhängiger Benchmark-Software auf den Modulen durchgeführt, welche noch einmal eine andere Belastung und damit Verifikation der Integrität untersuchen und darstellen.

Test der Signalqualität und Signalintegrität:

Immer höhere Transferraten und immer mehr Speicherkanäle stellen besondere Herausforderungen für die Signalqualität und Signalintegrität dar. Bei dieser Prüfung wird anhand der Messung der Wellenformen untersucht, ob es Probleme mit den elektrischen Signalen gibt. Nur wenn diese eindeutig interpretiert werden können, ist auch eine Integrität der übertragenen Daten gewährleistet.

Test der Zuverlässigkeit:

Jede Produktfamilie durchläuft einen zweistufigen Test im Hinblick auf die Zuverlässigkeit. Im ersten Schritt wird das Modul einer Reihe kalibrierter Hitze- und Kältezyklen mit einem Umfang von bis zu 1.000 Zyklen unterzogen. Anschließend durchläuft das Modul einen Temperatur- und Feuchtigkeitsbelastungstest mit einer Dauer von bis zu 1.000 Stunden. Hier spielen vor allem die Lagerung und der Transport der Module eine Rolle. Auch im späteren Betrieb können die Module gewissen Schwankungen in den Temperaturen unterzogen sein. 

"Guardband"-Tests:

Auch wenn sich der Speichercontroller eines Prozessors oder die Spannungsversorgung der Plattform an die festgelegten Spezifikationen halten sollten, so kann es aus verschiedenen Gründen dazu kommen, dass gewisse Grenzen nicht eingehalten werden. Daher testet Kingston seine Module auch unter Bedingungen, die eigentlich nicht mehr innerhalb der Spezifikationen liegen, in denen sie aber dennoch funktionieren sollten, um im späteren Betrieb keine übermäßig hohe Ausfallquote zu haben.

ATE-Spezifikations-Test:

Für zahlreiche Tests verwendet Kingston ein Automatic Test Equipment (ATE). Dieses ist auch mit eigener Testsoftware bestückt, sodass es Kingston hier in der eigenen Hand hat, welche Tests und in welcher Form diese durchgeführt werden. Die Prüfgeräte von Kingston können in kürzester Zeit zahlreiche Diagnosetests für das jeweilige Modul durchführen. Erst wenn ein Modul alle technischen Tests bestanden hat, wird es für die Produktion in Betracht gezogen bzw. freigegeben.

DRAM-Qualifizierung:

Eine der wichtigsten Einzelkomponenten eines Speichermoduls ist natürlich das DRAM. Demnach prüft Kingston seine DRAM-Lieferanten auch streng. Kingston bezieht seinen DRAM nicht von einem Hersteller und in der Fertigung kommt es zu geringen Abweichungen, was ein ausgiebiges Testing notwendig macht. Kingston nutzt für die DRAM-Qualifizierung die Dienste von Advanced Validation Labs (AVL). AVL hat sich auf Tests vor und nach der Produktion sowie auf die Validierung von Arbeitsspeichern für OEMs spezialisiert.

Prüfung der Produktion:

Einen DRAM-Chip zu testen, kann bedeuten, dass jede Zelle auf jedem Chip in jedem Modul getestet wird. Bei einem 16-GB-Modul sind dies 137 Milliarden Zellen. Man kann sich also gut vorstellen, dass diese Tests extrem aufwendig sind.

Kingston setzt bei seinen Produktionstests verschiedene Arten von Prüfgeräten ein. Teilweise kommt hier Equipment zum Einsatz, welches selbst entwickelte Software und/oder Hardware verwendet. Die Prüfsoftware prüft die Geschwindigkeit, die korrekte Adressierung und führt eine Vielzahl von Testmustern durch, um Schwachstellen im Speicherchip selbst zu ermitteln. Darüber hinaus kann Kingston kundenspezifische Testmuster ausführen, um die Module auf Probleme mit bestimmten DRAM-Chips, Systemplatinen oder Betriebsumgebungen hin zu überprüfen.

Ein Schlüsselfaktor bei Kingston ist das Know-how, welches man sich über Jahre hin aufgebaut hat und das bei der Entwicklung und dem Einsatz von Testgeräten und der dazugehörigen Software wichtig ist. Kingston entwickelt die Hard- und Software für das Testen der Module speziell für den Einsatz auf Modulebene, was zu einem gründlich getesteten Produkt führen soll.

Der gesamte Aufwand in der Entwicklung, dem Testing und der Prüfung in der Produktion dient einem Ziel: Einen möglichst zuverlässigen und fehlerfreien Speicher im Server anbieten zu können. Schaut man sich ein modernes Rechenzentrum an, dann arbeiten hier tausende Server mit abertausenden Speichermodulen. Einen Ausfall eines oder mehrerer Server kann sich der einzelne Kunde, aber auch der Betreiber eines gigantischen Rechenzentrums schlichtweg nicht leisten. Ein Ausfall bedeutet immer, dass Aufgaben anderweitig verteilt werden müssen, was zusätzliche Ressourcen in Anspruch nimmt.

Von vornherein dafür zu sorgen, dass ein Speichermodul technisch ausgereift und möglichst fehlerfrei ist, beweist Kingston im alltäglichen Betrieb hunderttausender Server weltweit.

Qualitätssicherung durch Stichproben:

Auch nachdem die Module die Massenproduktion erreicht haben, überwacht Kingston die Qualität der Module durch Tests einiger Stichproben. Darüber hinaus kann Kingston bei eventuellen Problemen schnell reagieren, eine Analyse durchführen und letztendlich dafür sorgen, dass die Qualität wieder das gewünschte Niveau erreicht.

Die Qualität von Kingston beschränkt sich nicht nur auf die eben erwähnten Prüfverfahren in der Entwicklungs- und Produktionsphase. Sie zeigt sich auch im Engagement für Service und Support. Kingston bietet für jedes Speichermodul eine lebenslange Garantie, kostenlosen technischen Support und einen RMA-Service.

Das DDR5-Angebot bei Kingston

Das aktuelle Angebot an DDR5-Serverspeicher umfasst Unbuffered und Registered DIMM. Bei den Transferraten werden inzwischen 6.400 MT/s erreicht.

Neben DDR5-Speicher in drei Taktstufen bietet Kingston natürlich auch noch DDR4 in einem ebenso breiten Angebot.

Wie bereits mehrfach erwähnt, arbeitet Kingston mit den beiden großen Prozessor-Herstellern in der Entwicklung und der Evaluierung des Speichers zusammen. Zudem gibt es enge Partnerschaften mit einigen Systemintegratoren, die den Speicher von Kingston dann in die Praxis überführen.

DDR5 und die Zukunft

Wie bereits zu Anfang erläutert, wird DDR5 nun in großen Schritten mit den zukünftigen Xeon- und EPYC-Generationen laufen. Aktuell sind DDR5-6400 der Standard, was bei 12 Speicherkanälen bereits eine Gesamt-Speicherbandbreite von 614,4 GB/s bedeutet. Dieser Sprung in der Speicherbandbreite wird vielen Anwendungen zu einem weiteren Leistungsschub verhelfen. Aber hier ist die Reise des DDR5-Speichers noch lange nicht zu Ende. Module mit 128 GB DDR5-6400 werden im ersten Quartal 2025 erwartet. Dies gilt auch für MRDIMMs mit 8.800 MT/s.

Advertorial/Anzeige