Werbung
Der Norddeutsche Verbund für Hoch- und Höchstleistungsrechnen (HLRN) hat einen neuen Teil seiner Supercomputer-Infrastruktur in Betrieb genommen. Der HLRN-IV besteht grundsätzlich aus zwei Einzelsystemen, die zusammenarbeiten können. Das in Göttingen stehende System hört auf den Namen Emmy, in Berlin steht Lise. Benannt sind die System nach der Physikerin Lise Meitner und der Mathematikerin Emmy Noether.
Die verwendete Hardware ist der interessante Aspekt im Lise-System, denn hier kommen Intel Xeon Platinum 9242 zum Einsatz, also Cascade-Lake-AP-Prozessoren. Diese wurden Anfang April 2019 vorgestellt und sind ein MCM-System, bestehend aus zwei Cascade-Lake-Prozessoren in einem Package.
Lise besteht aus 1.146 Nodes. Diese sind mit jeweils zwei Intel Xeon Platinum 9242 (CLX-AP) mit 48 Kernen (2x 24 Kerne in einem Package) bestückt. Insgesamt sprechen wir also von über 100.000 CPU-Kernen. 1.112 Nodes sind mit 384 GB Arbeitsspeicher bestückt (Standard Node), 32 Notes mit 786 GB (Large Node) und zwei Nodes mit 1,5 TB (Large Node). Für den Interconnect nutzt jeder Node einen Omni-Path Fabric Adapter.
Neun Logic-Nodes kümmern sich um die Infrastruktur und Kommunikation innerhalb des Supercomputers. Diese neun Nodes verwenden jeweils zwei Intel Xeon Silver 4210 (CLX) mit 20 Kernen. Zwei Prozessoren teilen sich hier 384 GB an Arbeitsspeicher. Die Omni-Path-Netzwerkkonfiguration besteht aus 2x 1.162 Ports für OPA100. Dazu verbaut sind 54 Switches mit 48 Ports. Die Bandbreite des Interconnects beträgt 14 TB/s (Bisectionsbandbreite) und die maximale Latenz beträgt 1,65 ?s.
An Speichersystem vorhanden sind 2 x 8,1 PB an Netto-Speicherkapazität mit einer aggregierten Schreib- und Leseleistung von 81 GB/s. 2x 60 TB stehen für Snapshots und Systeminstallationen zur Verfügung. Hinzu kommen 2x 280 TB für Nutzerdaten.
Bereits 2018 in Betrieb genommen wurde Emmy. Dieses System setzt sich wie folgt zusammen:
- 432 Nodes mit 192 GB Arbeitsspeicher (Medium Node)
- 16 Nodes mit 768 GB Arbeitsspeicher (Large Node)
- je Node zwei Prozessoren und ein Intel Omni-Path Host Fabric Adapter
- je Prozessor ein Intel Xeon Gold 6148 (Skylake-SP) mit je 20 Kernen
- je Node 1x 480 GB SSD Festplattenspeicher
Emmy besitzt bereits einen GPU-Knoten, soll aber weiter ausgebaut werden. Dieser GPU-Knoten besteht aus:
- 2x Intel Gold 6148 (Skylake-SP) (2x 20 Kerne)
- 192 GB Arbeitsspeicher
- 1x 480 GB SSD Festplattenspeicher
- 1x Intel Omni-Path Host Fabric Adapter
- 4x NVIDIA Tesla V100 mit 32 GB HBM2
Das Gesamtsystem aus Emmy und Lise soll eine Rechenleistung von 16 PFLOPS erreichen können. Damit läge es knapp über den Top10 der Supercomputer weltweit. Lise alleine käme in etwa auf Platz 40.
Das HPC-Einhorn Cascade Lake-AP
Aufgebaut wurden die Systeme von Firma Atos/Bull und Lise ist sicherlich eines der wenigen Systeme, welches auf Cascade-Lake-AP-Prozessoren setzt. Die Kritik richtet sich hier vor allem an den Umstand, dass es die Xeon-Platinum-9200-Prozessoren nicht in einer gesockelten Variante gibt. Intel verkauft zusammen mit seinen OEMs und ODMs Referenzsysteme. Ein Xeon Platinum 9282 bringt es zwar auf 56 Kerne (2x 28 Kerne), benötigt dazu aber eine TDP von 400 W. Die nun in Berlin verwendeten Xeon Platinum 9242 kommen auf eben 48 Kerne bei einem Basis- und Boost-Takt von 2,3 bzw. 3,8 GHz innerhalb einer TDP von 350 W.
Die Preise für diese Prozessoren liegen deutlich im fünfstelligen Bereich. In den vergangenen Monaten deutete sich mehrfach an, dass Intel Schwierigkeiten hat, diese Modelle an den Mann zu bringen. Das HLRN dürfte einen ordentlichen Preisnachlass erhalten haben, um sich für die Xeon-Platinum-9242-Prozessoren zu entscheiden, denn allzu häufig sind diese bisher nicht vorzufinden. Etwa 30 Millionen Euro wurden in Berlin und Göttingen investiert.