Norwegischer Supercomputer: AMDs 64-Kern-EPYC mit 2,2 GHz bei 225 W

[HWL News Bot]

Im Rahmen der Vorstellung einer Planung eines Supercomputers in Norwegen sind weitere Details zu den EPYC-Prozessoren der zweiten Generation alias Rome aufgetaucht. Doch zunächst einmal zum Sigma2 getauften Supercomputer, der 2020 an der Norwegian University of Science and Technology (NTNU) in Trondheim fertiggestellt werden soll. Daneben am Projekt beteiligt sind die Arctic University of Norway (UiT), die University of Bergen (UiB) und die University of Oslo (UiO).Basis des Supercomputers bildet das BullSequana-XH2000-System von ATOS. Dies sieht den Einsatz typischer Interconnect-Technologie wie Mellanox Infiniband HDR100 und Dragonfly+ vor....

... weiterlesen

 

[Shevchen]

Die Taktraten sehen vielleicht niedrig aus, aber wir dürfen nicht vergessen, dass es nun einmal 64 Kerne sind. Der angekündigte 12-Kerner kommt auf eine TDP von 105W und beim 12-Kerner-Takt müsste der EPYC dann 560W verbrauchen.

Diese Hitze wäre so dicht gepackt, dass kein Kühlsystem (abseits von LN2) diese abtransportieren könnte. Für ein lauffähiges System muss also die Hitze/Fläche auf ein abführbares Maß heruntergefahren werden.

Ein fünftel des Verbrauchs für die Hälfte des Maximaltaktes klingt da wie ein sehr guter trade-off.

 

[drakrochma]

Schön zu sehen wie AMD immer mehr Fuß fassen kann.
Die ryzen sind echt ein super Stück Silizium.

 

[Chasaai]

AMD Aktionäre lieben diesen Trick

 

[smalM]

Zumindest wird immer deutlicher, dass AMD mit den Chiplets und der Fertigung in 7 nm keine großen Sprünge bei den Taktraten wird machen können. Die Ryzen-Prozessoren der 3. Generation kommen auf immerhin 4,6 GHz. Bei den EPYC-Prozessoren scheinen bei acht Chiplets mit jeweils acht Kernen aber nicht mehr als 2,2 GHz möglich zu sein.

Was hat die maximal erreichbare Frequenz eines einzelnen EPYC-Prozessors mit der Einbausituation und den Nutzungsbedingung in einem Supercomputer zu tun?
Oder gar mit der maximal erreichbaren Frequenz einer Desktop-CPU?

 

[pipin]

<p><img src="/images/stories/2017/amd-rome.jpg" alt="amd-rome" style="margin: 10px; float: left;">Im Rahmen der Vorstellung einer Planung eines Supercomputers in Norwegen sind weitere Details zu den EPYC-Prozessoren der zweiten Generation alias Rome aufgetaucht. Doch zunächst einmal zum Sigma2 getauften Supercomputer, der 2020 an der*Norwegian University of Science and Technology (NTNU) in Trondheim fertiggestellt werden soll.

Der Supercomputer heißt nicht Sigma2! UNINETT Sigma2 AS ist die Abteilung, die die Serverdienste da verwaltet. Der Vorgänger hieß Fram!

 

[Gamerkind]

umindest wird immer deutlicher, dass AMD mit den Chiplets und der Fertigung in 7 nm keine großen Sprünge bei den Taktraten wird machen können.

Also ich sehe das nicht, mir wäre aktuell ein Epyc mit 64C neu!

Warum genau soll ein Rome mit angenommen 32C bei gleicher TDP nicht höher als Naples mit 32C takten?

 

[kaotika]

Was hat die maximal erreichbare Frequenz eines einzelnen EPYC-Prozessors mit der Einbausituation und den Nutzungsbedingung in einem Supercomputer zu tun?
Oder gar mit der maximal erreichbaren Frequenz einer Desktop-CPU?

AMD verwendet für den Desktop die gleichen Chiplets, wie für die Epyc Prozessoren (ggf. gibt es aber unterschiedliche Steppings). So erhöhen sie deutlich die Ausbeute. Von daher ist anzunehmen, dass theoretisch alle Kerne in den Chiplets die gleichen maximalen Taktraten erreichen könnten.

 

[Tzk]

Zumindest wird immer deutlicher, dass AMD mit den Chiplets und der Fertigung in 7 nm keine großen Sprünge bei den Taktraten wird machen können. Die Ryzen-Prozessoren der 3. Generation kommen auf immerhin 4,6 GHz. Bei den EPYC-Prozessoren scheinen bei acht Chiplets mit jeweils acht Kernen aber nicht mehr als 2,2 GHz möglich zu sein.

Klar... AMD verdoppelt die Kerne, hebt die TDP von 180W auf 220W und man spricht von "keine großen Sprünge". Ich mein, was habt ihr bei HWL denn bitte erwartet? Bei grob 25% mehr TDP gibts (hoffentlich) 80% mehr Rohleistung. Ich finde das mehr als beachtlich.

 

[hithunter]

So ganz schnau werde ich daraus nicht. Eine Universität möchte wohl so eine Kiste für Simulationen verwenden. Dann müssen diese Unis ganz schlechte Berater haben. Denn bezüglich Simulationen, also Speicherbandbreite, insbesondere CFD ist so ein Eypc mit 64 Kernen und acht Speicherkanalen völliger Unsinn. Denn CFD skaliert nicht mehr wie mit zwei Kernen pro Kanal. Also maximal 2x 16 Kerne und nicht 2x 64 Kerne.

 

[pillenkoenig]

ich bin mir sicher sie haben ausreichend zeit und geld in eine analyse gestecke. (was sie eigentlich brauchen/machenwollen und wie sie das am besten bekommen)

fuer gewoehnlich arbeiten in unis keine trottel.

 

[Winchester73]

So ganz schnau werde ich daraus nicht. Eine Universität möchte wohl so eine Kiste für Simulationen verwenden. Dann müssen diese Unis ganz schlechte Berater haben. Denn bezüglich Simulationen, also Speicherbandbreite, insbesondere CFD ist so ein Eypc mit 64 Kernen und acht Speicherkanalen völliger Unsinn. Denn CFD skaliert nicht mehr wie mit zwei Kernen pro Kanal. Also maximal 2x 16 Kerne und nicht 2x 64 Kerne.

Warum?

 

[hithunter]

Weil ich selber aus den Fehler gelernt habe. Die FEM und CFD Simulation war mit 2x 16 Kernen doppelt so schnell wie mit 1x 32 Kernen bei gleichen Takt und Leistung pro Takt. Bei mehr wie 2 Kernen pro Speicherkanal hat der 32 Kerner nicht mehr skaliert. Aber vielleicht haben die auch einfach völlig was anderes damit vor, wer weiß das schon.

 

[flxmmr]

insbesondere CFD ist so ein Eypc mit 64 Kernen und acht Speicherkanalen völliger Unsinn. Denn CFD skaliert nicht mehr wie mit zwei Kernen pro Kanal. Also maximal 2x 16 Kerne und nicht 2x 64 Kerne.

Kannst du dir vorstellen, dass man nicht nur die Navier-Stokes-Gleichung lösen möchte?

 

[pipin]

Was hat die maximal erreichbare Frequenz eines einzelnen EPYC-Prozessors mit der Einbausituation und den Nutzungsbedingung in einem Supercomputer zu tun?
Oder gar mit der maximal erreichbaren Frequenz einer Desktop-CPU?

Vielleicht mal im eigenen Artikel nachlesen, da klang das noch ganz anders:

AMD EPYC Rome mit 64 Kernen und 2,35 GHz im deutschen Supercomputer - Hardwareluxx

 

[Tzk]

2,2 gegen 2,35ghz klingt jetzt nicht so weit weg. Davon abgesehen ist das für mich weniger eine Frage der Qualität des Prozesses und Siliziums, sondern eher ne Frage des Tradeoffs zwischen Leistung und (Strom)verbrauch. Vielleicht will man in Norwegen lieber etwas Strom sparen und nicht dafür 150Mhz weniger Takt in Kauf.

 

[DeckStein]

2,2 gegen 2,35ghz klingt jetzt nicht so weit weg. Davon abgesehen ist das für mich weniger eine Frage der Qualität des Prozesses und Siliziums, sondern eher ne Frage des Tradeoffs zwischen Leistung und (Strom)verbrauch. Vielleicht will man in Norwegen lieber etwas Strom sparen und nicht dafür 150Mhz weniger Takt in Kauf.

Oder es liegt daran das man eine warmwasserkühlung verwendet.

Es macht im taktpotential durchaus unterschiede ob die cpu mit 70c oder mit 40c auf den kernen läuft.

 

[Elorion]

Was ist denn eine Warmwasserkühlung?
Keine Kühlung des Wassers mit Klimageräten?

 

[hithunter]

Kannst du dir vorstellen, dass man nicht nur die Navier-Stokes-Gleichung lösen möchte?

Ne natürlich nicht, darum ging es auch nicht. Es ging um Speicherbandbreite, und das trifft nicht nur auf diese Gleichung so, sobald der CPU Cache zu klein ist, steht man immer vor dem selben Problem und das gibt es im Serverbereich viele Anwendungen die von der Speicherbandbreite profitieren. Ansonsten müsste man sich überhaupt keine Gedanken um einen DDR4 Nachfolger machen.

 

[pillenkoenig]

keine sorge, es gibt ausreichen aufwaendige probleme, welche auf seite des speichers human skalieren.
die uni dort weiss mit sicherheit besser was sie mit ihrem rechner vorhat als du!

 

[croni-x]

Was ist denn eine Warmwasserkühlung?
Keine Kühlung des Wassers mit Klimageräten?

Das Kühlwasser wird im Heizsystem mit genutzt. Deswegen muss das Wasser was aus dem Supercomputer aber eine entsprechend hohe Temperatur haben, um die Energie möglichst effizient zu nutzen.

 

[Gelöschtes Mitglied 198476]

Was ist denn eine Warmwasserkühlung?
Keine Kühlung des Wassers mit Klimageräten?

Das macht man in Hochleistungsrechenzentren inzwischen wohl relativ häufig so. Das Wasser hat dann am Eingang eine Temperatur von ~40°C. So kann man mit Umgebungsluft kühlen und wenn man die Abwärme noch irgendwie nutzen will, ist es auch von Vorteil, wenn die bei einer höheren Temperatur anfällt.

 

[ecth]

Ich finde den letzten Satz irreführend.

Erstens ist im Server-Segment das Multithreading normal wichtiger, als der Takt.

Zweitens wird hier der Single-Core Turbo des Consumer Ryzen 3xxx mit dem Basistakt des Server Epyc 2 verglichen. Es kann schon sein, dass der Turbo-Takt zumindest im Direktvergleich (also alter und neuer 32-Kerner) höher ausfällt. Tieferer Basistakt sagt halt wirklich noch nicht viel aus und ist technisch notwendig, bei so vielen Kernen. Ob die am Ende alle mit 2,2 oder im All-Core-Boost doch z.B. 2,3 laufen ist ja noch nicht gesagt.

 

[DeckStein]

Die 2.25ghz gelten als sicher. Da die angaben fur server in sachen FLOPS immer an dem basistakt festgemacht werden. Und da scheint rome bei 2.25 zu liegen, rein rechnerisch jedenfalls.

 

[jdl]

Was ist denn eine Warmwasserkühlung?
Keine Kühlung des Wassers mit Klimageräten?

Neben dem Stromverbrauch der CPUs ist der Stromverbrauch der Kühlgeräte das größte Problem bei Server. Durch die Warmwasserkühlung kann man den Stromverbrauch für die Kühlung drastisch absenken (ja nach Standort zwischen 70-90%) und spart so sehr viel Strom ein. Das kann man machen, wenn die Umgebungstemperator nicht allzu hoch ist, und man bei heißen Wetter Wasser verdampfen kann. Dieses kühlt zusätzlich und reduziert die Temperatur gegen der Lufttemperatur um einige Grad.

Damit das funktioniert, wird üblicherweise entweder das Rack mit Wasser gekühlt oder direkt die Server.