HWL News Bot
News
Thread Starter
- Mitglied seit
- 06.03.2017
- Beiträge
- 113.950
... weiterlesen
HLRS Hawk: Supercomputer in Stuttgart springt auf Platz 5
- Ersteller HWL News Bot
- Erstellt am
... weiterlesen
Sehr interessant.
26 PFLOPS bei 38 Mio. Euro Kosten mit AMD-Technik.
16 PFLOPS bei 30 Mio. Euro Kosten mit Intel-Technik.
Sehr geiler Fortschritt, der hier gerade stattfindet. Die News überschlagen sich ja teilweise mit neuen Superrechnern.
26 PFLOPS bei 38 Mio. Euro Kosten mit AMD-Technik.
16 PFLOPS bei 30 Mio. Euro Kosten mit Intel-Technik.
Sehr geiler Fortschritt, der hier gerade stattfindet. Die News überschlagen sich ja teilweise mit neuen Superrechnern.
Ahab geht ab
Experte
- Mitglied seit
- 29.12.2014
- Beiträge
- 1.018
Zur Galerie 00========================================D 1 Bild
Immer dein peinliches ideologisches Gesülze, als wenn die erleuchtet wären weil sie jetzt AMD verwenden.
Emmy ist seit 2018 am laufen
, und ein GPU Hybrid der sich ebenfalls sehen lassen kann, bzw. vom Kühlaufbau wirkt der auch etwas intelligenter.
- Mitglied seit
- 15.11.2002
- Beiträge
- 27.125
Heise hat mit dem Leiter des Höchstleistungsrechenzentrums Stuttgart, Prof. Dr. Michael Resch, ein Interview geführt und da war auch die Kühlung ein Thema: https://www.heise.de/newsticker/mel...startet-am-HLR-Stuttgart-4663692.html?seite=2
Ah cool danke. Das klingt natürlich sehr logisch.
So kann man schön umschreiben, dass man die Intel-CPUs nicht anders als mit Wasser kühlen kann.
p4n0
Legende
Es ist doch normales kaltes Wasser, und als Radiator wird eben ein Kuehlturm verwendet.
Was hast du denn nicht verstanden?
@DeckStein Ein wenig Info zu Heißwasserkühlung Direkte Heißwasserkühlung im Datacenter Quelle: https://www.datacenter-insider.de/
Ich erspare die die Mühe. Evtl. ist der Link ja kein Dreck https://www.all-electronics.de/warmes-wasser-kuehlt-besser/
Natürlich kühlt Warmwasser nicht besser als Kaltwasser, es ist nur deutlich effizenter sowohl von dem Technischen Aufwand der Kühlung als auch von den Energiekosten.
Jeder der schon etwas mehr Overclockung gemacht hat weiß je Tiefer man man die temperaturen bekommt umso mehr kann man übertakten.
Aber der Energiebedarf steigt dabei aber deutlich schneller an als die Rechenleistung.
Und auch in den Rechenzentrum wirken sich die Energiekosten immer mehr aus.
Früher hat man halt lieber 1000 CPU mit 3 Ghz laufen lassen, heutzutage würde man halt eher 1500 CPU mit 2 GHZ laufen lassen um auf die selbe Rechenleistung bei weniger Stromverbrauch zu kommen .
Jeder der schon etwas mehr Overclockung gemacht hat weiß je Tiefer man man die temperaturen bekommt umso mehr kann man übertakten.
Aber der Energiebedarf steigt dabei aber deutlich schneller an als die Rechenleistung.
Und auch in den Rechenzentrum wirken sich die Energiekosten immer mehr aus.
Früher hat man halt lieber 1000 CPU mit 3 Ghz laufen lassen, heutzutage würde man halt eher 1500 CPU mit 2 GHZ laufen lassen um auf die selbe Rechenleistung bei weniger Stromverbrauch zu kommen .
Mo3Jo3
Experte
Es dreht sich nur um die Effizienz. Einfach formuliert eine mehr oder weniger „passive“ Wasserkühlung, und weil das Wasser nicht aktiv gekühlt wird, ist es halt Warmwasser. In Regionen mit niedriger Temps, kann man evtl schon Warmwasserkühlungen mit der Umgebungsluft von draußen kühlen.
Die Betreiber freuen sich.......
weltirol
Enthusiast
Habe mich noch nie mit Supercomputern beschäftigt, bezogen auf den Preis für das Teil scheint es kräftige Rabatte zu geben in dieser Größenordnung bzw. im Umkehrschluss, kräftige Aufschläge wenn man als Einzelperson die selbe CPU verwenden will.
Preisvergleich Pi mal Daumen:
- um die 8000€ einzeln für den Epyc + etwa 600-1000€ für 128 GB RAM + ca. 50-60€ für 2TB HDD + Netzteil 100€ + 400-600€ fürs Board + Gehäuse und Kleinteile 200€ = untere Grenze ~9350€
- im HLRS HAWK pro Stück Epyc + anteilig 128GB RAM + ca. 2,2 TB HDD + ca. 450-500 Watt Netzteil/CPU + alles drumherum = ~3400€!
Preisvergleich Pi mal Daumen:
- um die 8000€ einzeln für den Epyc + etwa 600-1000€ für 128 GB RAM + ca. 50-60€ für 2TB HDD + Netzteil 100€ + 400-600€ fürs Board + Gehäuse und Kleinteile 200€ = untere Grenze ~9350€
- im HLRS HAWK pro Stück Epyc + anteilig 128GB RAM + ca. 2,2 TB HDD + ca. 450-500 Watt Netzteil/CPU + alles drumherum = ~3400€!
Das ist auch seit langem bekannt. In dem umfeld zahlt doch keiner listenpreise.Habe mich noch nie mit Supercomputern beschäftigt, bezogen auf den Preis für das Teil scheint es kräftige Rabatte zu geben in dieser Größenordnung bzw. im Umkehrschluss, kräftige Aufschläge wenn man als Einzelperson die selbe CPU verwenden will.
Preisvergleich Pi mal Daumen:
- um die 8000€ einzeln für den Epyc + etwa 600-1000€ für 128 GB RAM + ca. 50-60€ für 2TB HDD + Netzteil 100€ + 400-600€ fürs Board + Gehäuse und Kleinteile 200€ = untere Grenze ~9350€
- im HLRS HAWK pro Stück Epyc + anteilig 128GB RAM + ca. 2,2 TB HDD + ca. 450-500 Watt Netzteil/CPU + alles drumherum = ~3400€!
weltirol
Enthusiast
Naja klar, dachte aber nicht, dass sich dies im Rahmen von weit über 50% bewegt
Aber das wird u.a. auch deswegen sein, weil dies eher spezielle Hardware darstellt und teilweise direkt beim Hersteller bezogen wird?Rack inkl. Netzeil
1200 Euro
16x16 GB Ram
1600 Euro
2x Epyc 7742
15000 Euro
14 TB SAS
400 Euro
200 GB Infiniband Karte
1300 Euro
3 Meter QSFP28 Kabel
80 Euro
200 GB Infiniband 40 Port Switch
24000 Euro
-------------------------------------
140x Switches
3,36 Mio.
3000 Kabel
0,24 Mio.
2400x HDD
0,96 Mio.
5632x Racks (Je 19.100 Euro)
107,57 Mio
---------------------------------------
112,13 Mio. --> Kosten inkl. Installation nur 36 Mio, echter Schnapper.
Ich bin mir ziemlich sicher das man die CPUs fast geschenkt bekommen hat, denn das Preis-Leistungsverhältnis ist mehr als schlecht. Vor allem skaliert die CPU wegen den 8 Speicherkanälen nur sehr schlecht mit den 64 Kernen. Besser wäre es gewesen die doppelte Anzahl der Nodes zu nehmen.
2x Epyc 7452
4400 Euro
-->
280 Switches
6,72 Mio
6000 Kabel
0,48 Mio
2400x HDD
0,96 Mio
11264 Racks (Je 7.860 Euro), mit doppelten Ram (Je 8.500 Euro)
88,54 Mio // 95,74 Mio
---------------------------
96,7 Mio // 103,9 Mio
Die 11264 Racks hätten also entweder genauso viel RAM oder doppelt so viel, bei deutlich größerer Performance, Aufgrund doppelter Speicherbandbreite, zu deutlich besseren Konditionen.
Man hat die unnützen 64 Kerner für einen Schnapper bekommen, ansonsten hätte man diese nicht eingebaut. Im übrigen ist der 64 Kerner gerade mal nur um 40% schneller als der 32 Kerner, fehlt einfach die Speicherbandbreite.
1200 Euro
16x16 GB Ram
1600 Euro
2x Epyc 7742
15000 Euro
14 TB SAS
400 Euro
200 GB Infiniband Karte
1300 Euro
3 Meter QSFP28 Kabel
80 Euro
200 GB Infiniband 40 Port Switch
24000 Euro
-------------------------------------
140x Switches
3,36 Mio.
3000 Kabel
0,24 Mio.
2400x HDD
0,96 Mio.
5632x Racks (Je 19.100 Euro)
107,57 Mio
---------------------------------------
112,13 Mio. --> Kosten inkl. Installation nur 36 Mio, echter Schnapper.
Ich bin mir ziemlich sicher das man die CPUs fast geschenkt bekommen hat, denn das Preis-Leistungsverhältnis ist mehr als schlecht. Vor allem skaliert die CPU wegen den 8 Speicherkanälen nur sehr schlecht mit den 64 Kernen. Besser wäre es gewesen die doppelte Anzahl der Nodes zu nehmen.
2x Epyc 7452
4400 Euro
-->
280 Switches
6,72 Mio
6000 Kabel
0,48 Mio
2400x HDD
0,96 Mio
11264 Racks (Je 7.860 Euro), mit doppelten Ram (Je 8.500 Euro)
88,54 Mio // 95,74 Mio
---------------------------
96,7 Mio // 103,9 Mio
Die 11264 Racks hätten also entweder genauso viel RAM oder doppelt so viel, bei deutlich größerer Performance, Aufgrund doppelter Speicherbandbreite, zu deutlich besseren Konditionen.
Man hat die unnützen 64 Kerner für einen Schnapper bekommen, ansonsten hätte man diese nicht eingebaut. Im übrigen ist der 64 Kerner gerade mal nur um 40% schneller als der 32 Kerner, fehlt einfach die Speicherbandbreite.
Zuletzt bearbeitet:
@DeckStein
Wärme mit Hilfe von elektrischer Energie zu erzeugen (umzuwandeln) ist schon kostspielig.
Aber Wärme wieder abzuführen (bspw. Klimaanlage) ist mindestens doppelt so teuer in Bezug zur elektrischen Energie.
Einfach gesprochen. Kälte zu erzeugen ist viel kostspieliger als Wärme zu erzeugen.
Wärme mit Hilfe von elektrischer Energie zu erzeugen (umzuwandeln) ist schon kostspielig.
Aber Wärme wieder abzuführen (bspw. Klimaanlage) ist mindestens doppelt so teuer in Bezug zur elektrischen Energie.
Einfach gesprochen. Kälte zu erzeugen ist viel kostspieliger als Wärme zu erzeugen.
DragonTear
Legende
@hithunter Du machst dir das etwas einfach wenn du meinst da läuft normale Consumersoftware drauf.
Es gibt Supercomputer die mehr auf Speicherdurchsatz setzen und welche die das weniger tun. Wenn du algorithmen hast welche viel Numbercrunching auf Daten machen welche in die CPU caches passen, dann kann man trotzdem die volle Leistung abschöpfen und dann gibt es noch Wege Speicherbandbreite besser auszunutzen wie durch gezieltes Prefetching.
Es gibt Supercomputer die mehr auf Speicherdurchsatz setzen und welche die das weniger tun. Wenn du algorithmen hast welche viel Numbercrunching auf Daten machen welche in die CPU caches passen, dann kann man trotzdem die volle Leistung abschöpfen und dann gibt es noch Wege Speicherbandbreite besser auszunutzen wie durch gezieltes Prefetching.
Weshalb ? Die Firma für die ich arbeite bekommt ua. bei Cisco z.B. >65 % Rabatt auf den Listenpreis für deren Gerätschaften, bei manchen speziellen Teilen wie Transceivern sind es sogar 80 %.Naja klar, dachte aber nicht, dass sich dies im Rahmen von weit über 50% bewegt
weltirol
Enthusiast
okay. Ich dachte in der (Online)Hardware-Branche sind die Margen eh schon so winzig, dass da nicht mehr geht.
Ich kenne hauptsächlich nur die Lebensmittelbranche von unternehmerischer Seite und weiß, dass dort die Einkaufspreise für Einzelhändler zwischen 50-30% des Verkaufspreises liegen.
Und dabei dachte ich mir das dies bei Hardware sicher wesentlich höher liegt, immerhin verdirbt Hardware nicht in 5 Tagen, braucht keine Kühlung usw.
Und in meiner Milchmädchenrechnung ist ja der Aufbau der Hardware und die ganze Netzwerktechnik usw. gar nicht berücksichtigt .. d.h. der CPU Preis lag vl. irgendwo zwischen 10-20% des Endkundenpreises.
EDIT: Vielleicht ist auch der kolportierte Preis des HLRS Hawk gar nicht "richtig" und ein Teil der Hardware ist bloß geleast ... gibts sowas?
da läuft normale Consumersoftware:
Bezüglich Wissenschaft passt wegen der Modellgröße kein einziges zu lösendes Gleichungssystem in den Cache. Das ist auch der Grund warum in Clustern der 64 Kerner oder eine CPU mit sehr vielen Kernen kaum anzutreffen ist. Hier setzt man einfach auf mehr Knoten mit weniger Kernen, dafür mehr Speicherbandbreite.
Nachtrag:
Um mal bei CFD zu bleiben. Die Nodes mit 4x 32 wären deren mit 2x 64 um 40% überlegen.
Zuletzt bearbeitet:
eigentlich nicht.
um 1kwh waerme zu haben musst du 1kwh strom 'verbrauchen'.
kaelte kannst du dagegen nicht erzeugen. du kannst nur die waerme wo anders hin transportieren. und das ist guenstiger als waerme zu erzeugen.
sprich: um 1kwh waerme nach draussen zu schaffen brauchst du nicht zwangslaeufig >=1kwh strom. so kommen auch die klima hersteller auf eine effizienz von >100%
das problem bei rechenzentren ist: der energieverbrauch fuers kuehlen kommt on top.
und deshalb lohnt es sich hier moeglichst effizient zu agieren.
warum i.e. 0.3kwh aufwenden um 1kwh abwaerme raus zu schaffen, wenn es mit einer anderen kuehlung nur 0.1kwh bedarf?
Ich möchte das nicht ausdiskutieren, deshalb hatte ich mich laienhaft ausgedrückt. Aber frag doch mal einen Kälteanlagenbauer.
Doch, natürlich kannst Du Kälte durch Aufwendung von Energie erzeugen. Klimaanlagen und Kühlschränke machen genau das.
Du wendest Energie auf, um ein Kältemedium (z.B. FCKW) zu komprimieren und zu verflüssigen und läßt es dann sich wieder ausdehnen und gasförmig werden.
Dabei entsteht Kälte. Kann man z.B. auch gut bei Druckluft-Sparydosen sehen.
Du kannst auch mit Peltier-Elementen durch Energieaufwand Sachen kühlen. Ist halt nur sehr ineffizient.
Ausserdem kannst Du nur Kühlen, wenn Du ein Medium hast, an das du die Wäremenergie abgeben kannst. Das funktioniert nur, wenn das Kühlmedium kühler ist, als das zu kühlende.
Daher sind auch Heisswasserkühlungen effizienter als Kaltwasserkühlungen. Bei einer Wassertemperatur von 50°C oder 60°C kann ich viel mehr freie Kühlung verwenden, als bei z.B. 35°C
da das Delta-T zur Umgebung höher ist.
Das erwärmte Kühlmedium nur irgendwo hinzupumpen bringt Dir gar nichts, wenn Du nichts hast, an das es seine Wärmeenergie abgeben kann.
Darum bauen einige ihr Rechnzentrum auch weit im Norden, da da die Umgebungstemperatur normalerweise viel niedriger ist, als weiter südlich.
Zumindest im Moment noch ;-)
Cunhell
Selbst die billigsten 200€ Monoblock Klima haben eine Leistungszahl (EER) von 3 sprich mit 1 KW Elektrischer Leistung hat man dann 3 KW Kühlleistung.
Bessere Splittklimaanlagen kommen auf bis zu 8 .
Dann kann man sicherlich davon ausgehen das hocheffizente Großanlagen deutlich in zweistelligen beteich sind.
Bessere Splittklimaanlagen kommen auf bis zu 8 .
Dann kann man sicherlich davon ausgehen das hocheffizente Großanlagen deutlich in zweistelligen beteich sind.
