Welche CPU für Abaqus/standard - praktische Erfahrungen?

[Unstoppable]

Hallo zusammen,

meinen Informationen zufolge werden Implizite FEM Berechnungen in vielen Fällen durch den Arbeitsspeicher ausgebremst (die CPU kann also ihr volles Potential nicht entfalten). Deswegen soll man ein System wählen, das möglichst viele Speicherkanäle und einen möglichst hohen Takt hat (non-plus ultra wäre demnach die EPYC Rome Serie mit 8 x 3200 MHz).

Jetzt habe ich allerdings gelesen, bzw. wurde mir von zwei Leuten die das beruflich machen gesagt, dass sie folgendes erlebt haben: Abaqus hat Probleme mit der Kern-Speicherzuordnung (Numa) und deswegen sind z.B. 32 Kern CPUs mit 8 Speicherkanälen bei ihnen recht langsam (und die Berechnungen werden jetzt auf hochtaktenden Intelrechnern durchgeführt). Bei Epliziten Berechnungen treten diese Probleme nicht auf.

Meine Fragen:
- Hat einer von euch ähnliche Erfahrungen gemacht und habt ihr vielleicht Workarounds gefunden?
- Welche CPU würdet ihr für so einen Anwendungsfall (Abaqus/Standard) empfehlen (sie sollte ECC Arbeitsspeicher unterstützen)?



VG

 

[bschicht86]

Ich kenne zwar die Software nicht, aber welche 32-kerner waren langsam und welche Intelprozessoren sind dagegen schnell?

Weil wenn das die erste EPYC-Generation war, kann man durchaus von "NUMA-Schwäche" sprechen, da einerseits 4 NUMA-Knoten und andererseits die Speicherkommunikation nur über den IF möglich war. Beim Rome-EPYC dürften genau diese Schwachpunkte wegfallen, da die ganze CPU nur als ein NUMA-Knoten behandelt wird und jeder Kern jede Speichersektion gleich schnell anfahren kann.

Daher wäre die Info, um welche Prozessoren es sich bei deinen 2 Leuten handelt, ganz interessant.

 

[jdl]

Meine Fragen:
- Hat einer von euch ähnliche Erfahrungen gemacht und habt ihr vielleicht Workarounds gefunden?
- Welche CPU würdet ihr für so einen Anwendungsfall (Abaqus/Standard) empfehlen (sie sollte ECC Arbeitsspeicher unterstützen)?

Das Problem bei so einer Aufgabenstellung ist, dass es von AMD und Partnern keinerlei sinnvollen Workstationsbaords für Threadripper oder EPYC gibt. Will man so etwas am Arbeitsplatz betreiben sind Serverboards wegen der Lüftersteuerung ein Problem (laut).

 

[Unstoppable]

Danke euch

@bschicht86 : Das fine ich sehr interessant. Ich hab zwar schon gegooglet, aber was bedeutet "4 Numa Knoten" bei Naples? Teilen sich da 8 Kerne ein Speichermodul?

@jdl: Danke für den Hinweis, aber da die Workstation in den Keller kommen soll, wäre das kein Problem

Es stand gestern hier noch ein Post (der vermutlich gelöscht wurde), der auf einen Artikel bzgl. Threadripper und Windows verlinkt hat (aus Zeitmangel hatte ich nur überflogen und noch nicht geantwortet). Der Poster meinte, dass TR (3990WX) besser geeignet wäre. Da der aber nur 4 Memory lanes hat, würde mich das etwas wundern. Könnte der/die Poster das bitte noch mal erläutern?

 

[atarianer]

Vielleicht kann dir im reddit eher geholfen werden.
https://www.reddit.com/r/fea/

 

[Tzk]

"4 Numa Knoten" bei Naples? Teilen sich da 8 Kerne ein Speichermodul?

Denke diese Übersicht ist ganz aufschlussreich für dich, oder? Links Neaples, rechts Rome. Der Unterschied im Memory Interface sollte auf einen Blick sehr deutlich werden...

Bei Neaples hatte jeder Die Zugriff auf 2 Kanäle. Sprich wenn Kerne dieses Dies Daten aus anderen Speicherkanälen brauchten mussten die Daten über InfinityFabric und einen weiteren Die laufen. Rome hat ja einen I/O Die und damit läuft der Speicherzugriff immer über den I/O, aber nicht mehr über andere Chiplets. Damit sind die Latenzen besser und vorallem gleichmäßiger.

Bei Neaples solltest du folglich pro Sockel 4 NUMA Nodes haben, bei Rome nur noch einen. Heisst mit der aktuellen Epyc Generation fällt das NUMA "Problem" weg. Frag dazu mal deine Kollegen/Leute ob deren Empfehlung für Neaples oder Rome gilt.

 

[Mo3Jo3]

Es stand gestern hier noch ein Post (der vermutlich gelöscht wurde), der auf einen Artikel bzgl. Threadripper und Windows verlinkt hat (aus Zeitmangel hatte ich nur überflogen und noch nicht geantwortet). Der Poster meinte, dass TR (3990WX) besser geeignet wäre. Da der aber nur 4 Memory lanes hat, würde mich das etwas wundern. Könnte der/die Poster das bitte noch mal erläutern?

Die Frage ist dann aber, ob das Programm überhaupt so viel Bandbreite zum RAM braucht. Wenn das nicht der Fall ist, gibts auch keinen Leistungsschub.
Wie bschicht86 schon gesagt hat, hat sich die Architektur bei Zen2 geändert, was einen ordentlichen Leistungsboost zur folge hatte.
Schau dir mal in diesem Video

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

bei min 1:40 den Benchmark an. Ein Tr3960X mit 24Kernen ist fast doppelt so schnell wie ein Tr2990 mit 32 Kernen beim 4K Rendering.
Das zeigt gut, welchen Sprung die Architektur mittlerweile gemacht hat.

edit:
selbst der 3900x mit 12 Kernen ist hier sogar noch etwas schneller als der 2990 mit 32

 

[jdl]

Es stand gestern hier noch ein Post (der vermutlich gelöscht wurde), der auf einen Artikel bzgl. Threadripper und Windows verlinkt hat (aus Zeitmangel hatte ich nur überflogen und noch nicht geantwortet). Der Poster meinte, dass TR (3990WX) besser geeignet wäre. Da der aber nur 4 Memory lanes hat, würde mich das etwas wundern. Könnte der/die Poster das bitte noch mal erläutern?

Wenn die Server in den Keller kommen, dann sollte man wegen der schlechten Auswahl (kein IPMI) bei Boards die Finger von Threadripper lassen. Beim neuen EPYC2 gilt wie für alle aktuellen Intel CPUs, ein NUMA-Knoten pro Sockel. D.h. man kann entweder ein Singlesocket System nehmen, oder man lässt parallel je eine Softwareinstanz pro Sockel laufen. Die erste Frage ist, wie viele Knoten werden denn benötigt? Nur einer oder mehr? Falls mehr kann entweder so etwas SuperMicro BigTwin oder Blades für dieses Bladecenter nehmen. Was die Wahl AMD oder Intel betrifft, such nach passenden Benchmarks und wähle danach aus.