Berliner Supercomputer nutzt Intels Cascade-Lake-AP-Prozessoren

[DragonTear]

Und für was werden die nun genau verwendet? Werden Supercomputer 24/7 voll ausgelastet? Wenn nicht, könnten die nebenher Kryptos schlürfen.

An großen Universitäten muss man oft Rechenzeit auf Supercomputern Wochen im vorraus buchen. Man kann davon ausgehen dass solche Systeme ausser zur Wartung kaum still stehen.

 

[iceman_brinkmanship]

Innerhalb des antragsberechtigten Konsortiums werden die Unis Allokationen kriegen, die dann intern aufgeteilt werden. Lehrstuehle/Institute haben auch immer die Moeglichkeit fuer sehr gute Konditionen einzelne Nodes zusaetzlich zu kaufen, die dann als "Lehrstuhlcluster" von dem Rechenzentrum mitbetrieben werden.

Ich kann fuer die Ebene drueber sprechen:

• Bei Normalantraegen auf nationaler Ebene kann man rund ums Jahr Antraege stellen (LRZ <45m CPUh, JSC <15m CPUh, HLRS <100m CPUh).
• Fuer Grossantraege gibt es zwei Deadlines pro Jahr.
• Und nochmal drueber gibt es PRACE als Europaeische Kooperation von Rechenzentren

 

[XTR³M³]

Darüber hinaus können die Xeon AVX-512,

und? AMD ist auch ohne AVX512 schneller:

AMD Ryzen Threadripper 3990X: Konkurrenzlos an die Spitze

Mit dem 64-Kerner dringt der Chiphersteller bei High-End- und Workstationprozessoren in neue Leistungssphären vor, sofern die Software damit zurecht kommt.

www.heise.de

 

[Compifan]

Hmmmm, vielleicht hat ja AMD nicht die Erfahrung und den Support für HPC wie Intel?

 

[sch4kal]

und? AMD ist auch ohne AVX512 schneller:

AMD Ryzen Threadripper 3990X: Konkurrenzlos an die Spitze

Mit dem 64-Kerner dringt der Chiphersteller bei High-End- und Workstationprozessoren in neue Leistungssphären vor, sofern die Software damit zurecht kommt.

www.heise.de

Jetzt kommt er wieder mit seinem Threadripper....

 

[Holt]

Hat hier jemand echt Threadripper, also HEDT und damit Desktop CPUs als Alternative vorgeschlagen?

 

[IronAge]

Vor allem gab es diesen TR Prozessor zum Zeitpunkt des ersten Zuschlags (April 2018) noch gar nicht.

Dass AVX 512 bei geeigneten Workloads bis zu 60% höhere Performance bringt lassen wir dann auch mal außen vor.

Wer so einen Blödsinn vom Stapel lässt, disqualifiziert sich selbst.

 

[iceman_brinkmanship]

und? AMD ist auch ohne AVX512 schneller:

Nehmen wir Mal an, dass Du den Equivalent zum Threadripper meinst, i.e. den EPYC 7H12:

Ja haben sie mehr Flops aber...

• Bei jeder Supercomputerbeschaffung wird eine Reihe von Applikationsbenchmarks definiert mit denen man sucht die Angebote vergleichbar zu machen. Wenn einige dieser Codes von AVX-512 profitieren/ in der Gewichtung ueberwiegen kann dies zu Beschaffungen fuehren, die von aussen nicht immer verstaendlich sind.
• Als oeffentliche Hand ist man verpflichtet das wirtschaftlichste Angebot zu nehmen, wenn Intel hier massive Nachlaesse gegeben hat um einen Prestigegewinn zu erzielen kann dies auch den Ausschlag gegeben haben. Die Gewichtung der Bewertungskriterien muss vor der Ausschreibung bekanntgegeben werden.

Die Probleme bei der Wahl dieses System liegen aus meiner Sicht in ganz anderen Aspekten:

• Wo ist der Upgradepfad fuer Nutzer um von einem Tier-1 System auf ein Tier-0 zu upgraden? Hawk gilt als der letzte homogene CPU-Rechner, alle aktuellen Rechner der pre-Exascale Aera (100-500 Petaflops) sind nur noch mit heterogenen Systemen zu erreichen, die mit Beschleunigern arbeiten. Dies erfordert ganz andere Codes, wofuer man die Nutzer vorbereiten und unterstuetzen muss.
• Die Top-Workflows aendern zur Zeit Ihre Struktur sehr stark, modernste Workloads wie e.g. simulations-basierte Optimierungen koennen von diesem System kaum noch unterstuetzt werden. Der Sprung von Tier-1 auf Tier-0 ist aber wie oben besprochen gross und fuer kleine Gruppen mit sehr viel Aufwand verbunden, i.e. zum Teil kaum stemmbar

 

[Mo3Jo3]

Nun bauen die einen neuen supercomputer und schaffen es so gerade in die top10... warum nicht mal richtig klotzen?

naja, bei uns geht schon was in DE. Dass wir nicht mit China und konsorten nicht mithalten können ist alleine schon durch die Bevölkerungszahl begründet. Es gibt außerdem mehrere solcher Projekte in Deutschland.

Golem.de: IT-News für Profis

Für 2020 plant das Forschungszentrum die nächste Erweiterung des Supercomputers. Gemeinsam mit dem Höchstleistungsrechenzentrum Stuttgart (HLRS) und dem Leibniz-Rechenzentrum in Garching (LRZ) haben sich die Jülicher Informatiker zum Gauss-Supercomputer-Zentrum (GCS) zusammengeschlossen. Gemeinsam bewerben sie sich um eine EU-Ausschreibung zum Bau eines Exascale-Rechners.

Der neue Rechner soll so viel Rechenleistung bringen wie alle derzeitigen TOP-20 Rechner zusammen. Das wären dann mehr als 500 Petaflops.

Neuer Hochleistungsrechner in Jülich – DW – 29.06.2018

Der neueste Großrechner des Forschungszentrums Jülich kann bis zu zwölf Billiarden Rechenoperationen pro Sekunde durchführen. Er liegt damit weltweit im oberen Mittelfeld - aber dabei soll es nicht bleiben.

www.dw.com

im Vergleich zur Größe unseres Landes sind wir gut aufgestellt.

 

[XTR³M³]

Jetzt kommt er wieder mit seinem Threadripper....

nen test mit dem 64er epyc habe ich auf die schnelle nicht gefunden, aber darfst 1:1 übertragen... ok, 30W weniger verbrauch, also sagen wir mal 5% weniger unter strich an endleistung...

Beitrag automatisch zusammengeführt: 15.02.2020

Vor allem gab es diesen TR Prozessor zum Zeitpunkt des ersten Zuschlags (April 2018) noch gar nicht.

Dass AVX 512 bei geeigneten Workloads bis zu 60% höhere Performance bringt lassen wir dann auch mal außen vor.

Wer so einen Blödsinn vom Stapel lässt, disqualifiziert sich selbst.

60% mehrleistung bei nur halben takt... aber 1/3 mehr stromverbrauch wie voller takt ohne AVX512... na, fällt dir was auf? AVX512 ist ne totgeburt.

 

[scars]

Manche leben wirklich in ihrer eigenen Blase... 🤷‍♂️

iceman_brinkmanship hats bereits treffend erläutert, öffentliche Ausschreibung...
Da wird das wirtschaftlichere Angebot angenommen und ich denke nicht, dass die direkt mit Intel bzw. AMD verhandeln...
Das wird über Distributoren gehen, die dann die ganze Hardware dort aufstellen und Betrieb nehmen...
Die Infrastruktur die dazu notwendig ist für den Distributor, lief jetzt leider über Jahre unter blauer Flagge...
Bis AMD in dem Bereich Fuß fasst wird es noch dauern...

Selbst wenn Intel für die CPUs dann drauf legt, hält es den Konkurrent vom Markt fern. Falsch, aber leider gängige Praxis...
(Wird von Intel dann als Werbekosten verbucht ;-) )...

 

[Jaimewolf3060]

Vielleicht für dich als Leihen.
Intel wird schon dafür sorgen, dass es keine Totgeburt wird.
Hinzu kommt, Intel neue CPU haben noch den DL boost.
Nächster Vorteil!
Intel wird nun mal immer ein Schritt vorne bleiben

 

[iceman_brinkmanship]

Nun bauen die einen neuen supercomputer und schaffen es so gerade in die top10... warum nicht mal richtig klotzen?

Hier liegt ein Missverstaendnis vor. Bei Berlin handelt es sich um ein sogenanntes Tier-1 Rechenzentrum, also ein regionales. Diese Rechenzentren muessen die Anwendungen der Nutzer bestmoeglich unterstuetzen sind aber nicht darauf ausgelegt in den Top 10 mitzuspielen. Dafuer gibt es die Gauss-Allianz zwischen Muenchen, Stuttgart und Juelich. Deswegen findet man diesen Rechner (wie von mir auf der Vorseite dargelegt) auch "nur" in den Top 40 und nicht wie faelschlicherweise behauptet in den Top-10.

Das ist aber gut so. Die meisten HPC-Jobs sind nicht skalierbar auf Tier-0 Rechenzentren und wenn eine Forschungsgruppe mit einem Code arbeitet, der auf zweistellige Petaflops skalieren kann, dann werden die auch Zugang zu einem Tier-0 System haben.

Nur als Massstab, eine Exascale-Maschine der 1. Generation kostet zwischen 400 und 600 Millionen Euro je nach Support und Stromkosten. Verglichen mit dem 30 Millionen Euro in diesem Fall ist das ein riesiger Sprung.

naja, bei uns geht schon was in DE. Dass wir nicht mit China und konsorten nicht mithalten können ist alleine schon durch die Bevölkerungszahl begründet. Es gibt außerdem mehrere solcher Projekte in Deutschland.
(..)

Eine von besagten Exascale Maschinen ist nach Deutschland gegangen. Die eigentliche Aufstellung ist fuer 2021 terminiert, wobei auch ein grosses Problem die Stromversorgung dieser Systeme ist. Die US-Rechner werden alle ~40MW ziehen. Dafuer sind die Deutschen nationalen Rechenzentren bisher nicht ausgelegt.

 

[Diago]

Das dort Intel verbaut wird wundert nicht wirklich. So ein Projekt wird JAHRE im Vorfeld angeschoben und plant mit CPUs die zum Zeitpunkt der Projektierung noch überhaupt nicht auf dem Markt sind.
Da vor 5 Jahren noch niemand mit dem Erfolg von Epyc gerechnet hat (vermutlich nichtmal AMD selber) kommen die da nicht zum Zug.

Im übrigen:
Rechenzeit auf dem HLRN kann auch jeder Student bekommen. In meinem Bekanntenkreis sind mehrere Personen die schon darauf gerechnet haben, und das nicht nur für Dissertationen sondern auch für simple Bachelorarbeiten.

 

[Holt]

Dass AVX 512 bei geeigneten Workloads bis zu 60% höhere Performance bringt lassen wir dann auch mal außen vor.

Das kann auch viel mehr sein, schau Dir die Ergebnisse des kleinen Cannon Lake 2 Kerners bei 3D Particle Movement an.

Hinzu kommt, Intel neue CPU haben noch den DL boost.

Eben und hier sieht man was dies bei Cascade Lake gegenüber den Skylake Vorgängern bringt. AVX512 ist übrigens die Basis für DL-Boost:

AVX-512 forms the basis for Intel’s DL Boost libraries

 

[hadhod]

Hattest Du schon Geschichte in der Schule, oder kommt das erst noch?

Hatte ich und wir leben nicht in Preußen. Nur wegen der Geschichte es so auszulegen finde ich Falsch, wenn es auch so seine Gültigkeit wie in der Geschichte nicht mehr hat.

 

[fortunes]

Ist doch klar, dass Intel hier mit fettem Preisvorteil agiert. Vermutlich gab es die CPUs fast geschenkt.

Wo sind denn sonst die ganzen Super-Computer mit den Xeon Platinum 9200?

Bei AMD läuft's, mehr und mehr schwenken von Intel auf AMD um.

UK's ARCHER2 supercomputer to integrate ~12,000 AMD EPYC Rome CPUs

The upcoming ARCHER2 supercomputer will be housed by the University of Edinburgh and will be 11X times faster than the current ARCHER system. When it goes online by May 2020, it will become the fastest CPU-only supercomputer and be among the five fastest supercomputers in the world.

www.notebookcheck.net

Supercomputer: Epyc soll Wettervorhersage genauer machen

Der neue Supercomputer des Europäischen Zentrum für mittelfristige Wettervorhersage soll dank AMD Epyc bis zu 40 PetaFLOPS erreichen.

www.computerbase.de

https://www.amd.com/de/campaigns/amd-and-cray

 

[IronAge]

60% mehrleistung bei nur halben takt... aber 1/3 mehr stromverbrauch wie voller takt ohne AVX512... na, fällt dir was auf? AVX512 ist ne totgeburt.

Nicht dass Du wirklich eine Ahnung hättest wovon Du da faselst. Bei den erklärten Anwendungsgebieten der Kiste sind AVX512 und VNNI Killer-Features.

Es wäre extrem erfreulich wenn Du es öfter mal mit dem Hauptsatz des Herrn Dieter Nuhr halten würdest.

 

[Holt]

Bei den erklärten Anwendungsgebieten der Kiste sind AVX512 und VNNI Killer-Features.

Davon würde ich auch ausgehen, DL ist das große Thema:

07:30PM EST - "More AI technology runs on Xeon than any other platform"

07:30PM EST - Recapping Intel Deep Learning Boost



07:31PM EST - The 2nd gen Xeon scalable is the fastest ramping Xeon in Intel's history

Davon wird aber in wenigsten Reviews mal was getestet und wenn, so wie hier, dann ohne eine AMD CPU im Vergleich.

 

[Phantomias88]

Eine von besagten Exascale Maschinen ist nach Deutschland gegangen. Die eigentliche Aufstellung ist fuer 2021 terminiert, wobei auch ein grosses Problem die Stromversorgung dieser Systeme ist. Die US-Rechner werden alle ~40MW ziehen. Dafuer sind die Deutschen nationalen Rechenzentren bisher nicht ausgelegt.

Nun ich glaube nicht, dass die AMIs eine bessere Stromnetz haben als wir hier in DE.
Wenn das Private nicht ausreicht, gibt das Industrienetz auch noch was her.
z.B.
- Stuttgart => München mit 2x ICE 3 rund 6-6,5 MWh (es geht ja bergauf), bei einer Rückspeisung von etwa 1-1,5 MWh
- München => Stuttgart mit 2xICE 3 rund 5,5 MWh, bei einer Rückspeisung von etwa 1-1,5 MWh

So das ist aber nur ein Zug in eine Richtung, S-Bahn, U-Bahn und Zahnradbahnen mal außen Vor gelassen die brauchen weniger.

Von den ganzen Fräsmaschinen, die direkt Umspannwerke auf dem Hof stehen haben, ganz zu schweigen.

 

[fortunes]

Davon würde ich auch ausgehen, DL ist das große Thema:

Im Bereich Deep Learning geht die Branche aber hin zu double precision - und dort kämpft Intel gegen die GPU-Hersteller, allen voran nVidia:

Gigabyte W291-Z00 Review an AMD EPYC GPU Tower Server

In our Gigabyte W291-Z00 review, we show what this AMD EPYC based GPU compute tower platform has to offer using 4x NVIDIA Tesla V100 GPUs

www.servethehome.com

Da hat Intel keine Chance. Genau deswegen wird im Hintergrund an den Radeon Instinct-Grakas gewerkelt, damit AMD in dem Bereich ganz schnell auf die Beine kommt. Bislang ist da auf GPU-Ebene von Intel nix zu sehen.