Prozessoren

Zweimal Xeon Platinum 8280 im Server/Workstation-Test - Der Testaufbau

Um eine Hardware wie die Xeon-Platinum-Prozessoren testen zu können, benötigen wir natürlich einen komplett neuen Testaufbau. Diesen wollen wir an dieser Stelle einmal etwas genauer erläutern.

Die zentrale Komponente eines solches Systems ist natürlich der Prozessor. In unserem Fall standen uns gleich zwei Xeon Platinum 8280 zur Verfügung, die wir gegen die Vorgänger Xeon Platinum 8180 auf Basis der Skylake-Architektur haben antreten lassen.

Beide Prozessoren verfügen über 28 Kerne und können 56 Threads verarbeiten. Da sie beide den Sockel LGA3647 verwenden und der Purley-Plattform zugehörig sind, können wir beiden auf dem identischen Mainboard mit gleicher Speicherausstattung testen. Allerdings wird der Xeon Platinum 8180 den Speicher mit 2.666 MHz ansprechen, während der Xeon Platinum 8280 dies mit 2.933 MHz tun wird.

Unterschiede zwischen den beiden Prozessoren gibt es beim Takt. Der Xeon Platinum 8180 bietet einen Basistakt von 2,5 GHz, der 8280 einen Takt von 2,7 GHz. Diese Taktsteigerung ist auf die Verbesserungen in der Fertigung zurückzuführen. Weiterhin steigt auch der Boost-Takt von 3,8 auf 4,0 GHz. Die Taktsteigerung von 200 MHz kommt auch zum Tragen, wenn die AVX-Befehlserweiterungen zum Einsatz kommen. Verwenden die Intel-Prozessoren die AVX-, AVX2- oder AVX-512-Befehlssätze, können sie aufgrund der höheren Hardwareanforderungen die Turbo-Taktraten nicht in der Form halten, wie dies ohne AVX der Fall ist. Intel hat dazu kürzlich ein Dokument veröffentlicht, welches dies für die Xeon-Scalable-Prozessoren der zweiten Generation genauer aufschlüsselt. Zwischen 600 und 800 MHz, in einigen Fällen sogar um 900 MHz sinkt der CPU-Takt, wenn sie die Instruktionen mit hohen Anforderungen verwenden. Auch der Basis-Takt fällt mit den AVX-, AVX2- oder AVX-512-Befehlssätzen entsprechend niedriger aus.

Die Thermal Design Power der beiden Prozessorgeneration bleibt mit 205 W unverändert. Zwischen den beiden Sockeln wird über drei UPI-Links ein Interconnect ermöglicht. Während der Xeon Platinum 8180 768 GB an DDR4-2666 mit ECC-Unterstützung aufnehmen kann, sind es beim Xeon Platinum 8280 1 TB an DDR4-2933 – natürlich ebenfalls mit ECC-Unterstützung. Das letztgenannte Modell kann zudem noch Optane DC Persistent Memory ansprechen. Intel bietet spezielle Modelle mit einer erweiterten Speicherunterstützung an – sowohl basierend auf Skylake, als auch auf Cascade Lake. Anstatt 12x 128 GB DDR4, also 1.536 GB, können mit den Cascade-Lake-Xeon 6x 128 GB DDR4 (oder gar 6x 256 GB DDR4) + 6x 512 GB an Optane DC Persistent Memory, also 3,84 TB (4,5 TB), pro Sockel verbaut werden.

Ein Xeon Platinum 8180 oder 8280 ist hierzulande ab etwa 11.000 Euro zu haben.

Supermicro X11DAi-N

Die jeweils zwei Xeon-Prozessoren mussten natürlich auch auf einem entsprechenden Dual-Sockel-Mainboard untergebracht werden. Unsere Wahl fiel auf das Supermicro X11DAi-N. Es bietet die Unterstützung für die Xeon-Scalable-Prozessoren der zweiten Generation und nimmt zwei Prozessoren mit einer TDP von jeweils 205 W auf.

Direkt über und unter den beiden Sockeln sind die jeweils zwei DIMM-Steckplätze zu sehen, in denen wir auch Optane DC Persistent Memory unterbringen könnten. Vielleicht werden wir dazu später noch die Gelegenheit haben. Die entsprechend Hardware in Form der Prozessoren und des Mainboards steht uns jedenfalls zur Verfügung. Je nach verwendetem Speicher werden natürlich Single-Bit-Fehler korrigiert und Double-Bit-Fehler erkannt.

An PCI-Express-Steckplätzen bietet das Board 4x PCI-Express 3.0 x16 und 2x PCI-Express 3.0 x8. Aufgrund der nur 48 PCI-Express-Lanes jedes Prozessors, teilen sich diese entsprechend gleichmäßig auf die Steckplätze auf. Bei der Bestückung ist dann darauf zu achten, welcher Steckplatz über welchen Prozessor angebunden wird. 

Das Supermicro X11DAi-N verwendet den C261-Chipsatz von Intel. Über diesen werden beispielsweise die zehn SATA-Anschlüsse sowie die beiden Gigabit-Ethernet-Anschlüsse realisiert. Ein 10 GbE bietet das Board nicht. Orange und damit gut zu erkennen sind die beiden SATADOMs. Daran können Laufwerke direkt und ohne Stromversorgung angeschlossen werden. Rechts daneben sind die beiden NVMe Oculink-Anschlüsse zu sehen, die im Serverbereich mehr und mehr Verbreitung finden.

Ebenfalls angeboten wird ein M.2-Steckplatz für 2260-, 2280- und 22110-Module, der über vier Lanes an die CPU1 angebunden ist. Das Supermicro X11DAi-N ist kein reines Serverboard, sondern vielmehr ein Workstation-Server-Zwitter, der unseren Bedürfnissen sehr entgegenkommt.

Über das Intelligent Platform Management Interface (IPMI) kann ein System mit dem Supermicro X11DAi-N auch aus der ferne überwacht werden. Per Browser kann die Computer-Hardware und -Firmware ferngesteuert überwacht und verwaltet werden, auch wenn der Server ausgeschaltet ist und/oder kein Betriebssystem installiert ist.

Der Preis des Supermicro X11DAi-N liegt bei etwa 550 Euro.

SK Hynix HMA84GR7CJR4N

Der von uns verwendete Arbeitsspeicher stammt von SK Hynix. Es handelt sich um Registered DDR4 SDRAM DIMMs mit der Bezeichnung HMA84GR7CJR4N. Diese werden mit 1,2 V betrieben und arbeiten mit Transferraten von bis zu PC4-2933 (Xeon Platinum 8280) und PC4-2666 (Xeon Platinum 8180). Sie bieten die Unterstützung von ECC.

Pro Sockel haben wir sechs DIMMs bestückt, um das Hexa-Channel-Speicherinterface der Prozessoren auszunutzen. Der Speicher hatte eine Kapazität von 32 GB pro Modul und demnach kommen wir auf 192 GB pro Sockel und 384 GB für das gesamte System.

Die Kosten für den Arbeitsspeicher liegen bei etwa 300 Euro pro DIMM, also etwa 3.600 Euro für die von uns gewählte Bestückung.

Noctua NH-U12S DX-3647

Natürlich mussten wir unseren beiden Prozessoren auch kühlen und da keine klassische Serverumgebung mit semipassiver Kühlung über einen Kühlkörper und Luftzug im Rack zum Einsatz kommen konnte, haben wir auf zwei Noctua NH-U12S DX-3647 gesetzt. Zwar gibt es auch noch den größeren NH-U14S DX-3647, für diesen konnten wir aber nicht sicherstellen, dass nicht zu Inkompatibilitäten mit dem Speicher etc. kommt.

Der Noctua NH-U12S DX-3647 kann auf Square- und Narrow-ILM verbaut werden. Die Bodenplatte des Kühlers deckt den kompletten Heatspreader der Prozessoren ab. Vier Heatpipes führen die Abwärme in den Kühlkörper, wo dann zwei NF-A12x25 120 mm für ausreichend Frischluft sorgen.

Auch unter Volllast wurden die Prozessoren bei 2.000 Umdrehungen pro Minute nicht wärmer als 60 °C. Ausgelegt sind sie für einen Betrieb bei 84 °C und in eng gepackten Serverumgebungen wird es meist auch deutlich wärmer als 60 °C.

Der Noctua NH-U12S DX-3647 kostet etwa 100 Euro pro Stück.

Sockelmontage nicht ganz einfach

Die Montage eines Prozessors in einen derart großen Sockel ist nicht ganz einfach. Wer aber nicht gerade zwei linke Hände hat, der sollte keine größeren Probleme bekommen. Während bei Ryzen-Prozessoren die empfindlichen Pins unterhalb des CPU-Packages zu finden sind und etwas Achtsamkeit im Umgang damit eine Grundvoraussetzung ist, befinden sich die empfindlichen Komponenten beim Sockel TR4 sowie den Sockeln für Intel-Prozessoren im Sockel selbst. Man sollte es also tunlichst vermeiden, in den Sockel zu greifen. Entsprechende Schutzkappen sollen dies verhindern und sind auf dem Mainboard montiert.

Für den LGA3647 gibt es aber noch weitere Punkte, die zu beachten sind. Einen Independent Loading Mechanism (ILM) gibt es hier nicht. Zwar spricht Intel auch von einem ILM für den LGA3647, dieser unterscheidet sich aber von den Mechanismen auf den Endkunden-Boards. Noctua legt eine Art Montagerahmen bei, in den der Prozessor gesteckt und dann schon am Kühler befestigt wird. Dann werden Kühler samt Prozessor in den Sockel eingesetzt.

Das Einsetzen des Prozessors ist recht einfach. Pin 1 ist mit einem Dreieck markiert und dieses findet sich auch im Sockel wieder. Zudem sorgen Aussparungen im Package dafür, dass man den Prozessor in der richtigen Ausrichtung in den Sockel setzt. 

Zwei Pins geben vor, wo sich der Kühler auf dem Prozessor bzw. Heatspreader platziert. Danach werden die vier Schrauben in der beschriebenen Reihenfolge angezogen. Ein T30 ist dazu notwendig und am besten hat man diese Größe auch gleich als Drehmomentschlüssel zur Hand, denn die Schrauben sollen mit genau 1,4 nm angezogen werden. Für die Montage und Demontage sollte die ebenfalls beschriebene Reihenfolge für das Festziehen und Lösen der Schrauben beachtet werden.

Es ist wichtig, dass der Prozessor richtig im Sockel sitzt und auch mit ausreichend Druck in den Sockel gedrückt wird, denn nur dann ist sichergestellt, das alle 3.746 Pins auch Kontakt herstellen. Ist dies nicht der Fall und es hat glücklicherweise nur einen der vielen Masse-Kontakte getroffen, ist dies nicht weiter schlimm. Aber bereits ein anderer Pin, der keinen korrekten Kontakt herstellt, kann dazu führen, dass das System nicht bootet oder einer der Speicherkanäle nicht funktioniert. Diese Probleme treten mit allen größeren LGA-Sockeln auf – auch bei AMD mit dem TR4 bzw. SP3 für die Ryzen-Threadripper- und EPYC-Prozessoren. Dies war auch bei der mehrfachen Montage der jeweils beiden Xeon-Platinum-Prozessoren hin und wieder der Fall. Wir mussten die Schrauben meist noch einmal lösen, Prozessor und Kühler abnehmen und beides erneut einsetzen. Danach wurden Prozessor und Speicher meist erkannt.

Als weitere Hardware zum Einsatz gekommen ist eine Intel Optane SSD 905P über einen PCI-Express-U.2-Adapter sowie eine 10 TB große Seagate Barracuda an einem SATA-Anschluss.