Immer mehr und schneller

Eine FAQ zu DDR5 im Server

Advertorial / Anzeige:

Der Server-Markt befindet aktuell in einer Umstellungsphase. Neue Plattformen setzen auf DDR5 und vereinen damit die im Vergleich zu DDR4 höhere Speicherbandbreite und die größeren Kapazitäten pro Sockel. Der Einstieg in die Welt von DDR5 ist nun gemacht, aber in den kommenden Jahren werden sich die Vorteile des neuen Speichers immer deutlicher zeigen, was auch dazu führen wird, dass der Umstieg von DDR4 zu DDR5 attraktiver wird. Kingston ist seit 35 Jahren im Bereich der Server-Speicher aktiv und Branchenführer. Man betreibt zudem eine aufwendige Entwicklung und Fertigung der neuen DDR5-Module um seine Position am Markt zu stärken. Auf was es bei den Speicherlösungen ankommt und wo die Vorteile von DDR5 liegen, soll nun Thema sein.

Das Testing und die Verifikation von Arbeitsspeicher spielt vor allem im Server-Bereich eine entscheidende Rolle. Während auf dem Desktop ein Dual-Channel-Betrieb mit maximal zwei Modulen pro Speicherkanal sichergestellt werden muss, sind wir bei den Server-Plattformen inzwischen bei 12 Speicherkanälen mit ebenfalls möglichen zwei Modulen pro Speicherkanal angekommen. Solche Konfigurationen verlangen nach Speicher, der vom Start weg auf solche Anwendungsgebiete hin ausgelegt ist – von der Design-Phase, über die ersten Tests, bis zur finalen Fertigung. Kingston ist ein solcher Hersteller, dessen systemspezifischer Speicher und die generischen Speicher der Server Premier Linie eine entsprechende Zuverlässigkeit bieten.

Der Fokus und die Kosten einer Serverplattform richten sich primär auf den Prozessor, aber der Arbeitsspeicher spielt eine nicht unerhebliche Rolle in dieser Gleichung. Ein einzelner Server-Sockel kann problemlos Speicherkapazitäten von 4 TB und mehr ansprechen. Werden die Speicherkanäle voll bestückt, liegen die Kosten für den Speicher auf Niveau dessen, was der Prozessor kostet.

Die hochkomplexe Kommunikation zwischen dem Sockel und den Steckplätzen, aber auch die immer höheren Transferraten und Kapazitäten der Module selbst, stellen ebenso hohe Anforderungen an das Design und die Verifikation des Arbeitsspeichers.

Warum DDR5?

Die Weiterentwicklung von SDRAM hin zu DDR5 hat zwei Gründe: Einerseits steigt der Bedarf nach immer höheren Speicherbandbreiten, andererseits wird und auch das Thema der Kapazität immer wichtiger, denn je mehr Daten in den Arbeitsspeicher passen, desto schneller können diese Daten an die Kerne herangeführt werden.

Die finalen Spezifikationen für DDR5 wurden im Juli 2020 verabschiedet. Ende 2021 kamen die ersten Client-Prozessoren auf den Markt, die DDR5 unterstützten. Die Server-Plattformen folgten etwas später, was auch mit der enormen Komplexität zu tun hat, die ein Speicherinterface mit bis zu 12 Speicherkanälen zur Folge hat. Intel spezifizierte seine ersten Xeon-Prozessoren für DDR5 mit DDR5-4800 für ein Modul pro Speicherkanal und mit DDR5-4400 für zwei Module pro Speicherkanal. AMD ging für seine EPYC-Prozessoren ebenfalls mit DDR5-4800 an den Start.

Die ersten Module für DDR5 arbeiteten mit einem Speichertakt von 300 MHz, das I/O-Interface kommt auf 2.400 MHz und aus einem effektiven Speichertakt von 4.800 MHz ergeben sich bei DDR5 2x 19,2 GB/s. Somit war DDR5 zum Einstieg schon schneller, als DDR4-3200 als letzte Ausbaustufe des Standards.

Für die kommende Xeon- und EPYC-Generation wird DDR5-5600 zum Einsatz kommen, der pro Modul auf eine Speicherbandbreite von 2x 22,4 GB/s kommt und die Speicherbandbreite somit weiter erhöht. In einem weiteren Schritt ist DDR5-6400 geplant und für darüber hinaus gibt es ebenfalls bereits Pläne.

Um bei halbem Speichertakt auf den gleichen effektiven Takt bzw. die gleiche Speicherbandbreite pro Modul zu kommen, kommuniziert ein DDR5 über zwei Sub-Speicherkanäle (2x 32 Bit) mit dem Speichercontroller. Die gesamte Adressbreite bleibt mit 64 Bit identisch. Für RDIMMs mit ECC-Unterstützung sind weitere 8 Bit für die Fehlererkennung vorhanden, sodass man hier pro Sub-Speicherkanal auf 40 Bit und insgesamt auf 80 Bit pro Rank kommt. Dual-Rank-Module haben vier Sub-Speicherkanäle.

Der große Unterschied eines Server-Speichers zu den Endkunden-Varianten besteht darin, dass gemeinsam mit dem Speichercontroller des Prozessors ein Fehlerkorrekturverfahren, auch Error Correcting Code (ECC) genannt, angewendet wird. In Form zusätzlicher Bits wird eine Redundanz hergestellt, die auf der jeweiligen Zielseite (sei es die Übertragung zum Speicher oder ein Auslesen aus dem Speicher) ein Erkennen und auch eine Korrektur von Fehlern ermöglicht. Somit ist die Datenintegrität gewährleistet und es kann nicht zu Rechenfehlern aufgrund fehlerhafter Daten im Speicher kommen.

Weiterhin ist ein DDR5-DRAM mit On-Die-ECC ausgestattet. Jeder DRAM-Chip besitzt 6,25 % zusätzliche RAM-Zellen, um Fehler auch schon auf DRAM-Chip-Ebene zu erkennen und zu korrigieren. Dieser Test kann periodisch und unabhängig vom Speicherinterface des Prozessors ausgeführt werden.

Unterschiede gibt es aber auch im internen Aufbau. DDR5 verdoppelt die Anzahl der Speicherbänke von 16 auf 32. Dadurch können mehr Speicher-Pages gleichzeitig geöffnet und bearbeitet werden, was die Effizienz erhöht. Auch die minimale Burst-Länge wurde von 8 bei DDR4 auf 16 bei DDR5 verdoppelt. Dadurch können doppelt so viele Daten auf dem Datenbus übertragen werden. Zudem fügt DDR5 einen neuen Befehl namens Same-Bank-Refresh hinzu, der die Auffrischung (ein Speicher-Refresh) nur einer Speicher-Bank pro Bankgruppe und nicht aller Bänke ermöglicht. Im Vergleich zu DDR4 ermöglicht der Same-Bank-Refresh bei DDR5 eine weitere Verbesserung von Leistung und Effizienz.

Ein Temperatursensor auf den Modulen hilft bei der Überwachung der thermischen Umgebung der Module selbst und für den gesamten Server.

Höhere Kapazitäten

Gehen wir einfach einmal von den derzeit verfügbaren maximalen 96 GB an Kapazität pro Modul aus, dann kommen aktuelle Xeon-Systeme bei acht Speicherkanälen und zwei Modulen pro Speicherkanal auf 1,5 TB an Gesamt-Speicherkapazität für ein Single-Socket-System. Bei AMD und den EPYC-Prozessoren sind es 12 Speicherkanäle und entsprechend bis zu 2,3 TB. Theoretisch können die Speichercontroller mit 4 bzw. 6 TB an Speicherkapazität umgehen, dies allerdings nur mit den größeren Ausbaustufen der DDR5-Module, die mit 128, 256 und 512 GB kommen sollen.

PMIC

Alle DDR5-Module sind mit einem Power Management Integrate Circuits (PMIC) ausgestattet, der direkt auf dem Modul sitzt. Bei DDR4 befindet sich dieser auf dem Mainboard. Der PMIC bekommt eine Eingangsspannung von 12 V und macht daraus die, für das DDR5-Modul notwendigen Spannungslevel wie 1,1 V für die DRAM-Chips. Mit 1,1 V benötigen diese weniger Spannung und sind um 20 % effizienter als vergleichbare DDR4-Chips. Der PMIC sorgt für eine bessere Signalintegrität, reduziert das Rauschen und arbeitet auf dem DDR5-Modul selbst auch genauer, als dies für die externe PMIC-Ansteuerung auf dem Mainboard mit DDR4 der Fall ist.

DDR5-Module für PC-Prozessoren werden mit 5 V versorgt und auch hier wandelt ein PMIC die notwendigen Spannungen um. Bei Server-Modulen sind es wie oben beschrieben 12 V.

Registered Module (RDIMM)

Diese Module besitzen zwei Register-Chips, durch die die Signale zum Speichercontroller geführt werden. Dies reduziert die elektrische Belastung. Zudem wird das Taktsignal über einen PLL-Baustein aufbereitet. Um die Entlastung der Adressleitungen zu reduzieren, sind die RDIMMs häufig nicht als Double-Sided-Module (zwei Bänke) verfügbar, sondern nur als Single-Sided-Module.

Allerdings ist der Aufwand im Aufbau der Module auch größer. Die Pin-Belegung der 240 Pins ist eine andere und bei RDIMMs erscheint das Eingangssignal erst genau einen Taktzyklus später an den Ausgängen, als dies bei Unregistered Modulen der Fall ist. RDIMMs und LRDIMMs sind die am häufigsten in Servern eingesetzten Speichermodule.

Wozu sind höhere Speicherbandbreiten und Kapazitäten notwendig?

Server-Prozessoren verfügen über immer mehr Kerne. Waren es vor fünf Jahren höchstens drei dutzend Kerne pro Sockel, sprechen wir aktuell von 56, 64 oder gar mehr als 100 Kernen in einem Prozessor. Die einzelnen Recheneinheiten müssen, damit sie ihre Aufgabe möglichst effizient erledigen können, mit Daten versorgt werden, was über den Arbeitsspeicher geschieht. Je mehr Kerne pro Sockel im Einsatz sind, desto wichtiger kann eine höhere Speicherbandbreite sein.

Aber auch die Anforderungen an die jeweiligen Anwendungen haben sich verschoben bzw. weiterentwickelt. Datenbanken werden teilweise komplett im Arbeitsspeicher vorgehalten und entsprechend groß muss dessen Kapazität sein. KI-Anwendungen sind darauf angewiesen, dass die vorgehaltenen Daten schnell gelesen und geschrieben werden können. Der Durchsatz des Arbeitsspeichers ist an dieser Stelle von entscheidender Bedeutung.

Nicht immer ist es ganz einfach zu wissen, welche Anforderungen die genutzte Anwendung nun im Bereich des Arbeitsspeichers an den Server hat. Kingston bietet dazu über "Fragen Sie einen Experten" eine Möglichkeit, solche Fragestellungen direkt mit dem Hersteller zu evaluieren.

Ein allumfassendes Design- und Test-Konzept

Alles beginnt damit, dass Kingston ein Mitglied des Joint Electron Device Engineering Council (JEDEC) und damit auch an der Entwicklung neuer Speicherstandards beteiligt ist. Neben der Weiterentwicklung bestehender Speichertechnologien, widmet sich der Hersteller auch den Speicherlösungen der nächsten Generation.

Der komplette Design-Prozess wird dabei von ausgiebigen Tests begleitet, die starten sobald die Ingenieure eine erste Prototyp-Platine in den Händen halten. Der Testprozess bei Kingston ist eng an den Entwicklungs- und Qualitätsprozess DCAT (Design, Components, Assembly, Test) angelehnt.

Bevor ein neues Modul oder eine neue Speichertechnologie auf den Markt kommen (siehe der Wechsel von DDR4- zu DDR5-Speicher bei Intels vierter Xeon-Generation alias Sapphire Rapids), unterzieht Kingston deise einem strengen Testverfahren, um die Zuverlässigkeit, Integrität und Kompatibilität des Designs zu gewährleisten. Jedes Modul wird so hergestellt, dass es zu 100 % mit dem System oder der Systemklasse als solches kompatibel ist, für die es entwickelt wurde. Jedes neue Design wird einer Reihe von Prüfungen und Tests unterzogen.

Im Rahmen der Tests werden verschiedene Verfahren angewendet:

Test auf die Spezifikationen:

Um einen neuen Modulentwurf zu qualifizieren, testen die Ingenieure den Prototypen des Moduls anhand der Spezifikationen, um sicherzustellen, dass das Modul die im Entwurf festgelegten Spezifikationen auch erfüllt. Sobald der Prototyp verifiziert ist, werden mehrere neue Module hergestellt.

Kompatibilitätstest:

Anschließend werden die Module auf Mainboards der jeweiligen Plattform mit der Anwendungssoftware und den Betriebssystemen getestet, die am häufigsten auf dem Markt verwendet werden.

"Software Benchtop"-Test:

Neben den Tests auf Basis realer Anwendungen, werden auch Benchmark-Tests mit unabhängiger Benchmark-Software auf den Modulen durchgeführt, welche noch einmal eine andere Belastung und damit Verifikation der Integrität untersuchen und darstellen.

Test der Signalqualität und Signalintegrität:

Immer höhere Transferraten und immer mehr Speicherkanäle stellen besondere Herausforderungen für die Signalqualität und Signalintegrität dar. Bei dieser Prüfung wird anhand der Messung der Wellenformen untersucht, ob es Probleme mit den elektrischen Signalen gibt. Nur wenn diese eindeutig interpretiert werden können, ist auch eine Integrität der übertragenen Daten gewährleistet.

Test der Zuverlässigkeit:

Jede Produktfamilie durchläuft einen zweistufigen Test im Hinblick auf die Zuverlässigkeit. Im ersten Schritt wird das Modul einer Reihe kalibrierter Heiß- und Kältezyklen mit einem Umfang von bis zu 1.000 Zyklen unterzogen. Anschließend durchläuft das Modul einen Temperatur- und Feuchtigkeitsbelastungstest mit einer Dauer von bis zu 1.000 Stunden. Hier spielen vor allem die Lagerung und der Transport der Module eine Rolle. Auch im späteren Betrieb können die Module gewissen Schwankungen in den Temperaturen unterzogen sein. 

"Guardband"-Tests:

Auch wenn sich der Speichercontroller eines Prozessors oder die Spannungsversorgung der Plattform an die festgelegten Spezifikationen halten sollten, so kann es aus verschiedenen Gründen dazu kommen, dass gewisse Grenzen nicht eingehalten werden. Daher testet Kingston seine Module auch unter Bedingungen, die eigentlich nicht mehr innerhalb der Spezifikationen liegen, in denen sie aber dennoch funktionieren sollten, um im späteren Betrieb keine übermäßig hohe Ausfallquote zu haben.

ATE-Spezifikations-Test:

Für zahlreiche Tests verwendet Kingston ein Automatic Test Equipment (ATE). Dieses ist auch mit eigener Testsoftware bestückt, sodass es Kingston hier in der eigenen Hand hat, welche Tests und in welcher Form diese durchgeführt werden. Die Prüfgeräte von Kingston können in kürzester Zeit zahlreiche Diagnosetests für das jeweilige Modul durchführen. Erst wenn ein Modul alle technischen Tests bestanden hat, wird es für die Produktion in Betracht gezogen bzw. freigegeben.

DRAM-Qualifizierung:

Eine der wichtigsten Einzelkomponenten eines Speichermoduls ist natürlich das DRAM. Demnach prüft Kingston seine DRAM-Lieferanten auch streng. Kingston bezieht seinen DRAM nicht von einem Hersteller und in der Fertigung kommt es zu geringen Abweichungen, was ein ausgiebiges Testing notwendig macht. Kingston nutzt für die DRAM-Qualifizierung die Dienste von Advanced Validation Labs (AVL). AVL hat sich auf Tests vor und nach der Produktion sowie auf die Validierung von Arbeitsspeichern für OEMs spezialisiert hat.

Prüfung der Produktion:

Einen DRAM-Chip zu testen, kann bedeuten, dass jede Zelle auf jedem Chip in jedem Modul getestet wird. Bei einem 16-GB-Modul sind dies 137 Milliarden Zellen. Man kann sich also sicherlich vorstellen, dass diese Tests extrem aufwendig sind.

Kingston setzt bei seinen Produktionstests verschiedene Arten von Prüfgeräten ein. Teilweise kommt hier Equipment zum Einsatz, welches selbst entwickelte Software und/oder Hardware verwendet. Die Prüfsoftware prüft die Geschwindigkeit, die korrekte Adressierung und führt eine Vielzahl von Testmustern durch, um Schwachstellen im Speicherchip selbst zu ermitteln. Darüber hinaus kann Kingston kundenspezifische Testmuster ausführen, um die Module auf Probleme mit bestimmten DRAM-Chips, Systemplatinen oder Betriebsumgebungen hin zu überprüfen.

Ein Schlüsselfaktor bei Kingston ist das Know-how, welches man sich über Jahre hin aufgebaut hat und das bei der Entwicklung und dem Einsatz von Testgeräten und der dazugehörigen Software wichtig ist. Kingston entwickelt die Hard- und Software für das Testen der Module speziell für den Einsatz auf Modulebene, was zu einem gründlich getesteten Produkt führen soll.

Der gesamte Aufwand in der Entwicklung, dem Testing und der Prüfung in der Produktion dient einem Ziel: Einen möglichst zuverlässigen und fehlerfreien Speicher im Server anbieten zu können. Schaut man sich ein modernes Rechenzentrum an, dann arbeiten hier tausende Server mit abertausenden Speichermodulen. Einen Ausfall eines oder mehrerer Server kann sich der einzelne Kunde, aber auch der Betreiber eines gigantischen Rechenzentrums schlichtweg nicht leisten. Ein Ausfall bedeutet immer, dass Aufgaben anderweitig verteilt werden müssen, was zusätzliche Ressourcen in Anspruch nimmt.

Von vornherein dafür zu sorgen, dass ein Speichermodul technisch ausgereift und möglichst fehlerfrei ist, beweist Kingston im alltäglichen Betrieb hunderttausender Server weltweit.

Qualitätssicherung durch Stichproben:

Auch nachdem die Module die Massenproduktion erreicht haben, überwacht Kingston die Qualität der Module durch Tests einiger Stichproben. Darüber hinaus kann Kingston bei eventuellen Problemen schnell reagieren, eine Analyse durchführen und letztendlich dafür sorgen, dass die Qualität wieder das gewünschte Niveau erreicht.

Die Qualität von Kingston beschränkt sich nicht auf die eben erwähnten Prüfverfahren in der Entwicklungs- und Produktionsphase. Sie zeigt sich auch in unserem Engagement für Service und Support. Kingston bietet für jedes Speichermodul eine lebenslange Garantie, kostenlosen technischen Support und einen RMA-Service.

Das DDR5-Angebot bei Kingston

Das aktuelle Angebot an DDR5-Serverspeicher umfasst Unbuffered und Registered DIMM. Bei den Transferraten werden inzwischen 5.600 MT/s erreicht, die allerdings weder von AMD noch von Intel aktuell offiziell unterstützt werden. Die kommende fünfte Xeon-Generation alias Emerald Rapids wird DDR5-5600 erstmals unterstützen.

Neben DDR5-Speicher in drei Taktstufen bietet Kingston natürlich auch noch DDR4 in einem ebenso breiten Angebot.

Wie bereits mehrfach erwähnt, arbeitet Kingston mit den beiden großen Prozessor-Herstellern in der Entwicklung und der Evaluierung des Speichers zusammen. Zudem gibt es enge Partnerschaften mit einigen Systemintegratoren, die den Speicher von Kingston dann in die Praxis überführen.

DDR5 und die Zukunft

Wie bereits zu Anfang erläutert, wird DDR5 nun in großen Schritten mit den zukünftigen Xeon- und EPYC-Generationen mitlaufen. In Kürze wird DDR5-5600 der Serverstandard sein, was bei 12 Speicherkanälen bereits eine Gesamt-Speicherbandbreite von 537,6 GB/s bedeuten wird. Dieser Sprung in der Speicherbandbreite wird vielen Anwendungen zu einem weiteren Leistungsschub verhelfen. Aber hier ist die Reise des DDR5-Speichers noch lange nicht zu Ende. Danach wird es recht schnell zu DDR5-6400 weitergehen. In weiterer Zukunft auch zu DDR5-8000+.

Advertorial / Anzeige: