5. EPYC-Generation: Turin bietet bis zu 192 Kerne und Unterstützung für DDR5-6400

[HWL News Bot]

Auf dem "Advancing AI 2024"-Event präsentierte AMD nicht nur zwei neue Instinct-Beschleuniger, sondern auch die fünfte EPYC-Generation alias Turin, in der die Modelle mit Zen-5- und Zen-5c-Kernen gleichzeitig starten werden. In der vierten EPYC-Generation (Genoa) folgte Bergamo mit den Zen-4c-Kernen etwas später. Allesamt verwenden die eben erwähnten Prozessoren den Sockel SP5 – sowohl die vierte als auch die nun neue fünfte Generation. Damit können bestehende Server mit neuen Prozessoren ausgestattet werden, was im Hinblick auf die Unterstützung von DDR5-6400 aber einige Einschränkungen mit sich bringt.
... weiterlesen

 

[ZelA1874]

Ein LLM auf CPU zu hosten ist außer als Privat und kleinst Unternehmerkunde vollkommener Blödsinn da bringen auch 12 Channel DDR5 nichts,
für ein LLM braucht es Speicherdurchsatz und nicht 192 Kerne die sich dann 500GB/s aufteilen.

Um es als Vergleich zu bringen Mistral 22B in Q8 quantisierung lastet meinen i5 mit 6P Cores nur mit 67% aus bei 78GB/s

 

[dos256]

Wie diverse Reviews betonen: Man sieht jetzt, dass Zen5 eindeutig für Datacenter entwickelt wurde und da seine wahre Stärke zeigt.
Wir kriegen auf dem Desktop noch das alte I/O Die, mit dem die Plattform deutlich weniger sexy ist (egal, denn für Gamer wird dann einfach nochmal VCache oben draufgeklebt und die Konkurrenz sieht trotzdem alt aus...).
VCache könnte diese Schwäche der "Desktop Turins" vielleicht ein bisschen ausgleichen, insofern latent etwas "mehr" Mehrleistung bieten, als von x3D gewohnt. Und wenn der 16 Kerner tatsächlich mit 192 MB L3 Cache aufwarten sollte, dann haben wir doch am Ende des Tages ein sehr attraktives Lineup - die Preise für die non x3Ds müssen allerdings noch etwas angepasst werden, aber ich vermute, das kommt auch mit dem Release der VCache Varianten.