Cascade Lake-SP: Intel nimmt Mehrverbrauch durch 3D-XPoint-DIMM in Kauf

[HWL News Bot]

Aus China stammen neue Informationen zu den kommenden Server-Prozessoren von Intel. Die Cascade-Lake-SP-Prozessoren sollen demnach als Skylake-SP-Refresh mit maximal 28 Kernen erscheinen. Aufgrund der Optimierungen in der Fertigung sollen sie aber einen deutlich höheren Takt aufweisen. Zugleich erhöht sich die maximale Thermal Design Power von 205 auf 245 W. Grund hierfür soll aber nicht der Prozessor selbst sein, sondern die Unterstützung eines neuen Typs von DIMM-Speichermodulen.Bereits mehrfach hat Intel auf zukünftigen Arbeitsspeicher verwiesen, der nicht mehr auf DRAM-Speicher basiert, sondern den eigenen 3D-XPoint-Speicher verwendet. Dieser soll...

... weiterlesen

 

[Nimrais]

Wie sieht den der Speed mit 3DX aus? Die Reaktionszeiten von >10µs hauen mich nicht vom Hocker. RAM ist im zweistelligen ns Bereich unterwegs. Kann das durch besseres Ansprechen gelöst warden, liegt also nur an der Schnittstelle oder ist es ein generelles Problem?
Ausserdem: Wie siehts bei 3DX mit ECC aus? Wenn der Verbrauch so hoch ist steigt auch der Verbrauch des SoC durch den IMC an resp. wird dieser höher belastet?
Und zu guter letzt: Wozu nicht-flüchtiger RAM auf Kosten der Geschwindigkeit und Haltbarkeit? Server sind doch schon elektrisch gegen Ausfälle geschützt (USV)? Ich hätte mir vorgestellt, dass der Stromverbrauch sinkt, da die Daten nicht "refreshed" warden müssen. Scheint auch nicht der Fall zu sein.

 

[Holt]

Die Geschwindigkeit soll bei 3D XPoint schlechter als bei DRAM sein, auch die Haltbarkeit, deshalb wird es wohl auch nur zusammen mit DRAM verwendet werden können und das DRAM dürfte ganz oder teilweise als Cache für das 3D XPoint dienen. Aber Geschwindigkeit ist hier nicht das Argument, sondern die Kapazität und die Kosten, es soll weit größere DIMM Riegel mit 3D XPoint geben als es mit DRAM möglich ist (derzeit maximal 128GB und die ab 2510€ (19,61€/GB und damit viel mehr als ein vergleichbarer 64GB Riegel den es ab 756€ gibt, also für "nur" 11,80 pro GB! Als LRDIMM sind 64GB Riegel sogar ab 684€ (10,68€/GB).

Bei DRAM fängt gerade erst die Fertigung der ersten Chips mit 32Gbit pro Die an, die 3D XPoint der Optane SSDs haben hingegen 128Gbit pro Die, also 4x so viel und dies obwohl sie gerade mal 2 Layer haben, während IMFT, Samsung und Toshiba/WD bei NAND schon bei 64 Layern in Massenproduktion sind.

Wie es bei der ECC bei 3D XPoint DIMMs aussehen wird, kann man noch nicht sagen. Aber wenn ich mir die Optane SSDs und deren Preise so ansehen, dann vermute ich mal, dass hier waren die größten Probleme zu lösen waren. Leider wissen wir ja immer noch nicht was bei 3D XPoint eine gute Qualität von einer schlechten Qualität unterscheidet, aber bei allen Chips gibt es immer Unterschiede, die Einen gelingen besser als die Anderen. Bei CPUs und GPUs ist es vor allem die Geschwindigkeit, also der maximal erreichbare Takt bzw. der Takt der mit einer bestimmten Spannung noch erreicht werden kann, bei NAND sind es vor allem die Zyklenfestigkeit und die DRT, also die Haltbarkeit, während es in der Geschwindigkeit gibt da nur minimale Unterschiede gibt.

Die pro GB billigsten Optane sind die 900P, die auch noch sehr viel mehr OP besitzen als die Optane 800P oder Optane Memory, also wohl eine stärkere Fehlerkorrektur haben. Daher könnte ich mir vorstellen, dass die Qualitätsunterschiede bei 3D XPoint vor allem die Bitfehlerrate betrifft und ggf. noch die Haltbarkeit, wobei diese sich dann wohl daraus ergibt, wann die ECC eine steigende Fehlerraten nicht mehr kompensieren kann. Damit könnte man nur die besten Dies für den Einsatz als RAM DIMMs benutzen, die Ausbeute an Dies der besten Qualitätsstufen ist aber am Anfang einer Fertigung immer gering und steigt erst im Laufe der Zeit an, was auch die Verzögerung erklären dürften, nachdem Intel ja schon vor einiger Zeit angeben hat schon Samples ausgeleiert zu haben.

Die nächst beste Qualität geht dann wohl in die Enterprise Optane DC P4800X, die darunter in die 800P/Memory und der Rest in die 900P, was auch genau zum Preisgefüge passen würde, denn die 3D XPoint DIMMs die als RAM dienen sollen, dürften pro GB noch mal deutlich mehr als knapp 3€/GB der DC P4800X kosten und wären selbst bei 6€ oder auch 12€/GB für einen Riegel mit 128GB (was gerade mal 8 Dies bzw. 9 mit ECC erfordert) ein Schnäppchen und bei noch größeren Kapazitäten pro Riegel sowieso konkurrenzlos. Samsungs 128GB Riegel hat laut Datenblatt 36 DRAM Chips verbaut, bei nur einem Die pro Chip hätte ein Riegel mit 3D XPoint dann schon 512GB und selbst wenn man nur einen solche Riegel pro RAM Channel verbauen kann, wäre dies 3TB RAM pro Sockel und Skylake-SP erlaubt bis zu 8 Sockel pro Rechner, damit wären also 24TB alleine an 3D XPoint als persistentes RAM pro Rechner machbar. Es wird sicher nicht so viele Anwendungen geben, aber für bestimmten Anwendungen die mit wirklich vielen Daten arbeiten auf die sie ständig einen schnellen Zugriff brauchen, wäre dies eine ganz neue Perspektive.

 

[OSL]

Es wird sicher nicht so viele Anwendungen geben, aber für bestimmten Anwendungen die mit wirklich vielen Daten arbeiten auf die sie ständig einen schnellen Zugriff brauchen, wäre dies eine ganz neue Perspektive.

Den Satz habe ich mir ganz groß ins Gedächtnis geschrieben.

 

[jdl]

Die Geschwindigkeit soll bei 3D XPoint schlechter als bei DRAM sein, auch die Haltbarkeit, deshalb wird es wohl auch nur zusammen mit DRAM verwendet werden können und das DRAM dürfte ganz oder teilweise als Cache für das 3D XPoint dienen. Aber Geschwindigkeit ist hier nicht das Argument, sondern die Kapazität und die Kosten, es soll weit größere DIMM Riegel mit 3D XPoint geben als es mit DRAM möglich ist (derzeit maximal 128GB und die ab 2510€ (19,61€/GB und damit viel mehr als ein vergleichbarer 64GB Riegel den es ab 756€ gibt, also für "nur" 11,80 pro GB! Als LRDIMM sind 64GB Riegel sogar ab 684€ (10,68€/GB).

Erstens gibt es bereits 256GB LRDIMM Module und 3D XPoint ist kein Ersatz für RAM sondern für SSDs in DIMM Sockel, die gibt es nämlich schon länger, weil diese deutlich höhere Bandbreiten erlauben als PCIe SSDs. Für RAM ist immer nur RAM ein akzeptabler Ersatz, eine SSD wie auch immer aufgebaut ist zu langsam da nützt auch die größere Kapazität nichts. Zudem ist bei den CPUs die Anzahl an Adressleitungen begrenzt, d.h. man kann damit gar nicht die Speichergröße vergrößern. Ok, es ließen sich neuere CPUs bauen, aber bei denen ließe sich auch mehr physischer RAM verbauen.

 

[Holt]

Welches 256GB LRDIMM Modul gibt es denn? Kann es sein das Du dies mit einem 256GB LRDIMM Kit verwechselst? Dann wird das 3D XPoint als DIMM für dem RAM Slot sehr wohl als RAM genutzt und nicht als SSD, man kann es sicher ähnlich einer RAM Disk auch als Massenspeicher nutzen, aber vorgesehen ist es um als RAM zu arbeiten und nicht als SSD im DIMM Sockel, ob du dies akzeptable findest, juckt Intel nicht.

 

[jdl]

Welches 256GB LRDIMM Modul gibt es denn?

SK Hynix liefert Module aus, aber in so geringen Stückzahlen, dass die Preise jenseits von Gut und Böse sind.

Dann wird das 3D XPoint als DIMM für dem RAM Slot sehr wohl als RAM genutzt und nicht als SSD, man kann es sicher ähnlich einer RAM Disk auch als Massenspeicher nutzen, aber vorgesehen ist es um als RAM zu arbeiten und nicht als SSD im DIMM Sockel, ob du dies akzeptable findest, juckt Intel nicht.

3D XPoint ist nicht als RAM Ersatz tauglich, da es eine begrenzte Lebensdauer aufweist. Die ist zwar deutlich höher als bei anderen SSDs, aber extrem schlecht in Relation zu RAM. D.h. wenn man diese Module als RAM nutzt, dann zerstört man sie nach kürzester Zeit. Die Originalmeldung enthält auch die Information, das 3D XPoint nur maximal in der Hälfte der Speicherslots unterstützt wird. Das ist ein deutlicher Hinweis darauf, dass man diese Module nur als SSD in RAM-Sockeln nutzen kann. Für Anwendungsfälle wie SAP HANA ist das ein großer Vorteil, da man die Datenbank persistent machen kann und trotzdem deutlich schnellere Zugriffe hat. Wenn ich dagegen an HPC denke, was will man mit lahmen Modulen? Der begrenzende Faktor ist mittlerweile die Speicherbandbreite und man muss sich ausgeklügelte Algorithmen ausdenken, um dieses Problem zu reduzieren, in dem man die Caches möglichst gut ausnutzt. Da nützen 3D XPoint Module nichts, sie schaden.

 

[Holt]

Hast Du einen Link für die SK Hynix Module?

Lies mal was 3D XPoint im DIMM Formfaktor sein soll, dazu gibt es von Intel genug Folien. Du schreibst nur Mist!

 

[Sir Diablo]

256 GB pro DIMM: SK Hynix bietet 16-GB-DDR4-Chips an

 

[Mo3Jo3]

Die Geschwindigkeit soll bei 3D XPoint schlechter als bei DRAM sein, auch die Haltbarkeit, ....

Man sollte aber auch bedenken, dass 3dXpoint noch eine neue Technologie, welche noch so gut wie gar nicht weiterentwickelt wurde. Dram und Nand-Flash haben da viele Jahre Vorsprung. Als Samsung 2006 die ersten SSDs für den Consumer-Markt raus Brachte, waren Lese- und Schreibgeschwindigkeit bei 200mb/s das Limit, heute sind es bis 3,5Gb/s. Das ist ein Geschwindigkeitszuwachs von über 1500%. Bei den IOPs sieht es ähnlich aus. Wenn Intel es schafft, die Entwicklung effektiv vorran zu treiben, kann ich mir schon vorstellen, dass in 10Jahren zumindest für Office und Multimedia gar kein Ram mehr nötig ist, weil der 3dXpoint schnell genug für sowas ist. Vieleicht sogar für mehr.

 

[Holt]

Sir Diablo, die News sagt nur, dass SK Hynix Chips in seinen Produktkatalog aufgenommen hat mit denen 256GB Riegel realisiert werden können, aber nicht das dies auch erfolgt ist. "Mit den SK-Hynix-Chips bestückte DIMMs können als 64-GB-Modules Duad Ranked, 128-GB-Module Quad Ranked und als 256-GB-Module Octal Ranked angeboten werden." ist eben was anderes als werden angeboten und mir ist noch bekannt das so ein Riegel wirklich schon angeboten wird.

Mo3Jo3, gerade weil es eine neue Technologie ist, dürfte sie sehr aktiv weiterentwickelt werden, auch wenn derzeit scheinbar noch die erste Generation in der Massenfertigung ist, sowohl was die 3D XPoints selbst als auch die Controller der Optane SSDs betrifft. Letztere dürften das größere Potential für Leistungssteigerungen der Optane SSDs bieten, denn die scheinen der Flaschenhals zu sein.

 

[Sir Diablo]

Alter, gehts noch? Ich hab dir freundlicherweise die News rausgesucht auf die jdl vmtl. raus wollte, mehr nicht. Naja, bist halt 'n Depp!

 

[jdl]

Lies mal was 3D XPoint im DIMM Formfaktor sein soll, dazu gibt es von Intel genug Folien. Du schreibst nur Mist!

Die Meldungen zu den Cascade Lake SPs sind eindeutig: Es wird nur ausgewählte CPU Modelle geben die 3D XPoint in der Hälfte der DIMM-Sockel unterstützen. Das passt hinten und vorne nicht zu Deinen Aussagen, denn wenn 3D XPoint ein genereller DRAM Ersatz wäre, weshalb nicht in allen Sockeln? Bisher hat Intel 3D XPoint auch immer nur für schnellere SSDs verwendet und eben nicht als DRAM Ersatz. Die Lebensdauer der 3D XPoint Chips ist zwar größer als die der Flash Chips, aber das ist nicht vergleichbar mit DRAMs. Mit normaler Programmcode würde man 3D XPoint als RAM Ersatz innerhalb eines Tages selbst mit dem ausgeklügelsten Wear Leveling kaputt schreiben. Logik scheint irgend wie nicht Deine Stärke zu sein, sonst würdest Du erkennen, dass was Du behauptest nicht stimmen kann. Zumindest solltest Du versuchen Argumente für Deinen Standpunkt vorzubringen, aber "Mist" ist kein Argument sondern dessen Abwesenheit.

 

[Mo3Jo3]

Sicher, dass sowas schon endgültig feststeht? Bei Lenovo Servern werden nur 1/4 der Slots für 3dxpoint angegeben, welche auch! mit Dram betrieben werden können! Lenovo Dishes On 3D XPoint DIMMS, Apache Pass In ThinkSystem SD650

Die Mainboardhersteller haben vielleicht einen viel größeren Spielraum bei der gestaltung der Eigenen Produkte. Gut Möglich, dass die neuen Prozessoren sowohl mit Dram only, als auch mit 3dXpoint only betrieben werden können, und alles dazwischen auch. Je nachdem, was der Kunde will, kann ein passendes Mainboard gekauft werden.

 

[jdl]

Sicher, dass sowas schon endgültig feststeht? Bei Lenovo Servern werden nur 1/4 der Slots für 3dxpoint angegeben, welche auch! mit Dram betrieben werden können! Lenovo Dishes On 3D XPoint DIMMS, Apache Pass In ThinkSystem SD650

Der wesentliche Punkt ist, dass nicht alle Slots für 3D XPoint freigegeben sind. Liest man sich den Artikel bei Tom's Hardware (danke für den Link) durch, dann fällt einem sofort auf, dass es sich eben nicht um Ersatz für normales RAM handeln wird, sondern der 3D XPoint Speicher wird durch die Firmware als Memory Mapped Device oder als Block Device (ganz am Ende des Artikels steht das) angesprochen. Ferner steht im Artikel, dass immer ein DRAM und ein 3D XPoint Modul pro Speicherkanal der CPU kombiniert werden muss. Block Device ==> das ist eine schnelle SSD! Im Memory Mapped Device Fall wird die SSD als RAM angesprochen, aber bisher kann kein Betriebssystem damit wirklich umgehen, weil diese nicht in der Lage sind das RAM hierarchisch zu verwalten. Vielleicht kann man über die NUMA Implementation herumtricksen. Trotzdem erscheint es mit sinnvoller das als SSD für Swap zu konfigurieren, weil so das IO minimiert wird und nur Pages dort verbleiben die lange nicht gebraucht werden.

 

[Holt]

Sir Diablo, den Depp nehmen ich dann als Bitte auf meien Ignoreliste zu kommen, der ich hiermit nachkommen.

jdl, von "genereller DRAM Ersatz" war doch gar nicht die Rede, weder von mir noch auf irgendeiner der Folien von Intel. Dort war immer die Nutzung von DRAM zusammen mit 3D XPoint als RAM zu sehen bei dem entweder das DRAM als Cache für das 3D XPoint diente oder als schnelles RAM, getrennt ansprechbar vom 3D XPoint welches als langsames RAM dient oder von einer Mischnutzung bei der ein Teil des DRAMs getrennt ansprechbar ist und der Rest als Cache des 3D XPoints dient.