Über Optimierungen und Hersteller-Benchmarks: AMD vs. Intel

[Holt]

wiel oft dahinter auch noch die Softwarehersteller irgendwelche Verträge haben und dir dann "empfehlen" auf Hersteller X zu gehen, weil Support usw. Ob das dann so immer richtig ist

Softwarehersteller irgendwelche Verträge zu unterstellen, ist sicher nicht richtig, die werden aber kaum ihre Software für alle möglichen Plattformen validieren und dort unterstützen wollen, sondern eben nur auf denen die weit verbreitet sind.

Ggf. auch nur auf solchen, wo die Hardware eben die Optimierungen erlaubt die ihre Software entsprechend schneller laufen lässt. Schau Dir hier mal die Ergebnisse bei PyTorch und den folgenden Benchmarks an die von der DL-Boost-Beschleunigung bei den Cascade-Lake-Xeons profitieren. Stell Dir vor Du wärst Softwarehersteller und Deine Software könnte ähnlich Vorteile wie bei "OSPRay und Open Image Denoise" erzielen, also fast um den Faktor 10 schneller auf einer CPU mit dem Feature sein, was würdest Du dann wohl machen?

 

[thegian]

@Holt: Ich möchte auch keinem Softwarehersteller etwas unterstellen. Damals gab es aber eine Matrix und darauf waren die AMD Pro Karten auch drauf. Uns wurde aber empfohlen, doch lieber auf die Quadro zu setzen. Wie beschrieben, haben wir das aber nicht gemacht und bis heute konnte man damit gut arbeiten.
Ob das damals einfach eine persönliche Meinung/Preferenz von denen war, auch gut möglich.

 

[flxmmr]

Wenn man sich einredet das es nur die eine Marke gibt, dann bestimmt.

Nö. Es gibt nämlich defacto einfach keine vernünftigen Benchmarks, die tatsächlich auch möglicherweise nichtlinear skalierende Software und Real-Life-Szenarien darstellen – zumindest bekommt man die nicht als Einzelkäufer :?. Und dann hat man entweder die Wahl, 10%-30% auf den ist-Zustand draufzupacken oder möglicherweise 50% Mehrleistung zu haben, aber möglicherweise auch 10% weniger. Und da ist dann für die meisten Entscheidungsgremien relativ klar, was man macht – keine Ahnung, wo du arbeitest .

Wir haben zb. vor mehr als 5 Jahren anstatt Nvidia-Quadro GPU's die AMD FirePro in allen CAD Workstations eingebaut. Weil P/L einfach deutlich besser war.

Jo. Und deutlich auch in den synthetischen Benchmarks zu erkennen, außerdem ist das GPU P/L halt auch 1:1 zu realisiern. Wenn Epyc für 1/3 des Gesamt-Preises die gleiche Leistung bringen würde, wäre das auch keine Frage. Leider kauft man zur CPU halt auch immer die Plattform und da steht man dann am Ende halt bei nur noch unwesentlich günstiger als Intel da (bei den Quadsocket-Systemen von uns ist das nochmal ein anderer Punkt).

Wenn man die Möglichkeit hat, sollte man auf jedenfall Vergleichen und nicht nur auf die eine Marke setzen, weil man es ja schon immer so gemacht hat.
Leider ist es aber nicht immer so einfach, wiel oft dahinter auch noch die Softwarehersteller irgendwelche Verträge haben und dir dann "empfehlen" auf Hersteller X zu gehen, weil Support usw. Ob das dann so immer richtig ist
Aber ja, leider hast du recht und viele Firmen/Personen funktionieren so.

Ne, da steht kein Softwarehersteller dahinter. Nur kannst du mir erklären, wo ich die selbstentwickelte Software benchmarken kann, außer indem ich auf gut Glück einen Epyc-Server für 30000€ bestelle?

 

[Chaund]

Naja, vielleicht liegt es aber auch an folgendem Satz im Kleingedruckten unter den Bildern:
"Performance results are based on testing as of May 29, 2019 and may not reflect all publicly available security updates." Oder anders Ausgedrückt: Intel hat vielleicht keine Patches gegen Meltdown/Spectre und Co. installiert und die kosten ja bekanntermaßen im Serverbereich relativ viel Leistung. Wie gesagt, vielleicht. Aber die Tests sind halt von beiden Herstellern ziemlich undurchsichtig. Ob AMD da nicht sauber gearbeitet hat, oder Intel nicht sauber gepatched hat, oder beide nicht koscher waren, kann man als Außenstehender nicht wirklich sagen.

Jop, der Part mit den Sicherheitspatches ist ein ganz entscheidender. Im Serverumfeld einfach ein Aspekt, der ganz weit oben steht.

Aber gut, dass Intel in solchen Benchmarks die (potentiell) höhere Performance wählt, ist nur verständlich. Mit Sicherheit nehmen sie es ja seit einiger Zeit nicht mehr so genau.

 

[thegian]

Nö. Es gibt nämlich defacto einfach keine vernünftigen Benchmarks, die tatsächlich auch möglicherweise nichtlinear skalierende Software und Real-Life-Szenarien darstellen – zumindest bekommt man die nicht als Einzelkäufer :?. Und dann hat man entweder die Wahl, 10%-30% auf den ist-Zustand draufzupacken oder möglicherweise 50% Mehrleistung zu haben, aber möglicherweise auch 10% weniger. Und da ist dann für die meisten Entscheidungsgremien relativ klar, was man macht – keine Ahnung, wo du arbeitest .

Als Einzelkäufer vielleicht nicht, aber wenn man um die 100 CAD-Workstations, 3DRendering Server (Netzwerkgebunden) im Betrieb hat, gibts es da schon ein paar Möglichkeiten, die nicht nur aus synthetischen Benchmarks bestehen sondern 1:1 Praxistauglich sind. Im Fall von CAD/3D Rendering ; Ladezeiten, grosse Baugruppen öffnen/schliessen/bearbeiten, Renderingzeiten usw.

Jo. Und deutlich auch in den synthetischen Benchmarks zu erkennen, außerdem ist das GPU P/L halt auch 1:1 zu realisiern. Wenn Epyc für 1/3 des Gesamt-Preises die gleiche Leistung bringen würde, wäre das auch keine Frage. Leider kauft man zur CPU halt auch immer die Plattform und da steht man dann am Ende halt bei nur noch unwesentlich günstiger als Intel da (bei den Quadsocket-Systemen von uns ist das nochmal ein anderer Punkt).

Wenn man an eine Plattform gebunden ist, ok. Ich ging von einer Neuanschaffung aus, bei dem man noch relativ flexibel auswählen kann.

Ne, da steht kein Softwarehersteller dahinter. Nur kannst du mir erklären, wo ich die selbstentwickelte Software benchmarken kann, außer indem ich auf gut Glück einen Epyc-Server für 30000€ bestelle?

Auch hier ging ich eher von einem fertigen Softwarepaket aus, von dem ich halt glauben muss/kann was mir der Hersteller/Partner sagt oder selber ausprobiere. Mit einer bestimmten grösse von Auftrag kann man ja auch sagen, dass man erst kauft nach dem man gewisse Tests selber gemacht hat.

 

[flxmmr]

100 CAD-Workstations, 3DRendering Server (Netzwerkgebunden) im Betrieb

Damit ist man entweder ein mittelständischer Ingenieursdienstleister oder ein 1000-Mann+-Produktionsunternehmen. Gibt aber dazwischen vmtl. noch gaaanz viele kleinere Abnehmer. Und wieviele Server habt Ihr dann tatsächlich?

Wenn man an eine Plattform gebunden ist, ok. Ich ging von einer Neuanschaffung aus, bei dem man noch relativ flexibel auswählen kann.

Jo, bei der Neuanschaffung hat man Fixkosten von ~5000-7000€/CPU und kann sich dann zwischen AMD (Leistungsplus -5-50%) und Intel (sicher 10-30%, 1000€ teurer) entscheiden.

Auch hier ging ich eher von einem fertigen Softwarepaket aus, von dem ich halt glauben muss/kann was mir der Hersteller/Partner sagt oder selber ausprobiere. Mit einer bestimmten grösse von Auftrag kann man ja auch sagen, dass man erst kauft nach dem man gewisse Tests selber gemacht hat.

Ja, ab einer gewissen Größe. Ich weiß nun nicht, wieviele Server so ein durchschnittliches Unternehmen betreibt, aber unter 10 Stück wird da niemand mit deinem individuell konfigurierten EPYC-Server vor der Tür stehen, damit du ihn ausprobieren kannst.

 

[Phantomias88]

...Ähnlich wie AMD sicherlich auch darauf geachtet hat, seine EPYC-Prozessoren in möglichst idealer Umgebung arbeiten zu lassen, sollte es der Anspruch an einen öffentlichen Vergleich sein, dass dies beim Konkurrenzprodukt ebenfalls der Fall ist. Doch offenbar ist dies hier nicht der Fall.
...
die Recheneinheiten können die AVX512-Befehlssätze aber deutlich effektiver abarbeiten.

Hallo, wie soll man das Bitte verstehen?
Warum sollte AMD die AVX512 Version nehmen wenn sie nur AVX2 beherrschen?

War ein Teil des höheren Preis nicht auch ein Argument für Intel, warum muss nun der User selbst Optimieren und trotzdem die gleichen Preise bei Intel bezahlen?

Übrigens, ein paar Jahre zurück, waren öffentliche Vergleiche nicht nur einseitig Optimierte Software, sondern auch noch minderwertigere Hardware in den AMD Testsystemen.
Hätte sie sich damals die Mühe gegeben AMD wenigsten mit den guten Testsystemen laufen zu lassen, hätte AMD heute evt. eine Compilierte Version von CHARM++ genutzt.
Aber so, nene den Ball schmeiße ich direkt wieder zurück.

 

[Holt]

Warum sollte AMD die AVX512 Version nehmen wenn sie nur AVX2 beherrschen?

Auf der eigenen CPU können sie ja gerne die Version ohne AVX512 nehmen, aber bei der Intel CPUs die eben AVX512 Einheiten hat, sogar 2 pro Kern, sollten sie dann schon die AVX512 Version nehmen, damit der Vergleich auch sinnvoll ist, denn kein vernünftiger Mensch würde auf einer CPU mit AVX512 Einheiten bei so einer Anwendung auf deren Nutzung verzichten. Auf den restlichen Quatsch einzugehen, spare ich mir. Die Bulldozer hatten einfach eine sehr schwache FPU Performance und daher bei Cinebench, welches ein reiner FPU Benchmark ist, mies abgeschnitten, weshalb die AMD Fanboygemeinde dann immer unterstellt hat, dass Cinebench speziell auf Intel CPUs optimiert wäre. Seit AMD schon mit den ersten RYZEN bei der FPU Performance überproportional zugelegt hat, sind diese Gerüchte nun aber verschwunden und Cinebench ist nur DER Benchmark um die tolle Performance der AMD CPUs zu belegen.

 

[senbei]

Das man nicht einen der Xeon-Platinum-Prozessoren der 9000-Serie verwendet hat, begründet AMD damit, dass diese noch nicht im Handel verfügbar seinen. Dies trifft allerdings auch für die EPYC-Prozessoren der zweiten Generation zu – insofern ist auch diese Argumentation seitens AMD eher schwammig.

Soll AMD die eigenen Prozessoren unvalidiert releasen, verkaufen und dann selber im Laden einige einkaufen? Soll AMD unreleaste Prozessoren aus Intels Entwicklungsabteilung stehlen und dann Benches mit denen machen? WTF

Heute nun, fast fünf Monate später erreichen doppelt so viele Kerne 19,56 ns/Tag, was dafür spricht, dass AMD keine nennenswerten Verluste in der Rechenleistung durch zwei Prozessoren in einem System zu verbuchen hat. Bei solchen Anwendungen sind diese aber auch nicht zu erwarten, da beispielsweise die Speicherbandbreite und Latenzen hier kaum eine Rolle spielen.

mind = blown Ich dachte ich bräuchte Infiniband und 2933er-RAM bei 1 Riegel/Channel, aber wenn Klingeldraht und 2133er-RAM mit 1 Riegelchen/Mainboard reichen spar ich mir ja Tausende €. DANKE!

Auf der anderen Seite scheint es aber auch keine Verbesserungen in der Skalierung der Leistung gegeben zu haben.

Das funktioniert auch erst wenn das ganze Problem im LLC liegt -> könnte man beim Cinebench sehen, wenn auf einmal der ganze Bench im L3$ liegt.

Offenbar liefen die beiden Xeon Platinum 8280 nicht mehr der für sie idealen Version von NAMD, denn die Software gibt es in einer Standard-Multicore-Variante, aber auch für CUDA optimiert oder eben mit AVX512-Unterstützung in Form einer "Intel Xeon Phi KNL"-Variante. Dies verweist zwar noch auf die inzwischen eingestellten Xeon-Phi-Beschleuniger, der wichtige Punkt aber ist die AVX512-Unterstützung und hier profitieren die Xeon-Prozessoren auf Basis von Cascade Lake natürlich ebenfalls.

AVX2 vs AVX2 bei 64Core-1NUMA-8MEM-Channel vs 56Core-2NUMA-12MEM-Channel und ~200W vs ?400W Man hätte vielleicht explizit mitteilen sollen was man da genau misst/gegenüberstellt, aber dafür wären die "Reporter" ja auch zuständig mit entsprechenden Fragen.

Aber auch an anderer Stelle wollte Intel den Vergleich nicht in dieser Form stehenlassen und veröffentlichte die Ergebnisse für zwei Intel Xeon 9242 Platinum, die über jeweils 48 Kerne verfügen. Mit 19,88 ns/Tag lag man hier schon wieder mit AMD gleichauf.

Doppelmoral vom Feinsten. Warum wird denn von Intel ein nicht kaufbarer Prozessor gegen einen nicht kaufbaren Prozessor von AMD gebencht? Warum kommt da kein Aufschrei wegen "schwammig"? Warum werden diese Ergebnisse einfach kolportiert, wenn aus den zurückliegenden PR-Events der B€trug von Intel sogar offen sichtbar war(5GHz-Chiller/deaktivierte Sicherheitspatches)?

Hersteller-Benchmarks immer mit Vorsicht genießen

Warum macht IHR das dann nicht? Anstatt objektiv zu berichten und zu informieren kommt nur PR-Material und Geschwurbel.

In diesem Fall hätte AMD schon etwas genauer hinschauen sollen. Die Software ohne AVX512-Unterstützung zu verwenden konnte nur nach hinten losgehen.

Nein. IHR müsst genauer hinschauen und nicht kopflos abschreiben was man Euch hinwirft, sonst werdet Ihr nur zum verlängerten Arm einer PR-Abteilung.

 

[jdl]

Hallo, wie soll man das Bitte verstehen?
Warum sollte AMD die AVX512 Version nehmen wenn sie nur AVX2 beherrschen?

Weil es den üblichen Ausschreibungsbedingungen entspricht, die man bei HPC-Clustern hat. Wenn AMD meint hier die potentiellen Kunden verar**** zu müssen, kommt das nicht gut an und beschädigt nur das Image von AMD weiter, was wegen des Bulldozers Desasters ohnehin schwer gelitten hat. Früher war AMD einmal im HPC Clustern mit ihren Opterons sehr stark vertreten, weil die Opterons deutlich schnellere FPUs hatten als die alten Intel Xeons. Dazu verfügten die Opterons sehr früh über NUMA und skalierten deshalb sehr gut, während sich die Intel CPUs gegenseitig den FSB blockierten. Aber seit Nehalem und später SandyBridge (AVX!) sieht die Sache anders aus.

… warum muss nun der User selbst Optimieren …

Vollkommen falsche Wortwahl: Der Nutzer kann optimieren, und das ist bei HPC ein sehr großer Vorteil. Das Thema Software spielt bei HPC eine sehr große Rolle. Ich selbst habe in der Vergangenheit auf HPC-Clustern Software laufen lassen, die ca. eine Woche die Knoten belegt hat. Da versucht man möglichst die optimale Performance herauszuholen, weil damit das Programm ein oder zwei Tage früher fertig ist. Damit verbraucht man weniger Rechenzeit, die man für weitere Rechnungen hat. Da die Software im Sourcecode vorliegt, kann man auch problemlos optimieren. Das System hatte Opteron 6100 verbaut, und weil die AMD so eine große Sch*** war, wurden darauf mit Intel Compilern und MKL bzw. PGI Compiler und MKL gearbeitet. Die AMD Software konnte man damals ungesehen in den Müll befördern. Übrigens gab und gibt es von AMD Tuning Guides wie man auf AMD CPUs die optimale Performance erzielt. Darin wurden nur GCC, Intel und PGI behandelt, bei EPYC sind nun auch die neuen clang basierten AMD Compiler angeführt.

Übrigens, ein paar Jahre zurück, waren öffentliche Vergleiche nicht nur einseitig Optimierte Software, sondern auch noch minderwertigere Hardware in den AMD Testsystemen.

Alle Opteron 6200 und 6300 Systeme waren Schrott. Selbst beim absoluten Preis waren die Dinger teurer als Intel Systeme, und das gab's früher nie.

 

[Mo3Jo3]

Warum hat hier eigentlich noch keiner die versteckten Chiller unter Intels Bühne erwähnt?
Wie war das 28C@5Ghz

 

[jdl]

Wie war das 28C@5Ghz

Man muss so einem Mist nicht kommentieren, das betrifft Intels Unsinns Vorstellung und deinen Beitrag.

 

[Mo3Jo3]

Ich glaube meinen Sarkasmus hast du nicht verstanden.
Wieso unsinn? Hat Intel nicht genau so versucht, die kunden zu verarschen? Inwieweit unterscheidet sich das vom aktuellen AMD Thema?

Edit:
Oder entspricht eine versteckte Spezialanfertigung eines Chiller deinen „Üblichen Ausschreibungsbedingungen?“

 

[jdl]

Ich glaube meinen Sarkasmus hast du nicht verstanden.
Wieso unsinn? Hat Intel nicht genau so versucht, die kunden zu verarschen? Inwieweit unterscheidet sich das vom aktuellen AMD Thema?

Wer nimmt so einen Unfug von Intel ernst? Das war ein gepimptes Gamersystem und nicht für die Produktion gedacht. Ein Lacher auf der Messe und vergessen, weil ohne jeden Belang. AMD versuchte den Kunden gefakte Vergleiche von Produktivsystemen unterzuschieben. Das ist schwerwiegender.

 

[Gamerkind]

Das war ein gepimptes Gamersystem

Eher ein gepimptes Serversystem, von einem Gamingrechner war das weit entfernt

 

[VorauseilenderGehorsam]

AMD ist viel blöder als Intel, nein Intel ist viel blöder.

Aber AMD ist der Teufel, nein, Intel ist voll Satan.

Bla Bla. Echt lächerlich, jedesmal die gleichen Gefechte.

 

[MENCHI]

Bei Intel sind 28C@5GHz mit Chiller möglich. Und bei AMD?

 

[PC User]

AMD nimmt 2 Chiller und das Kühlhaus.....-20°C

 

[Sir Diablo]

...Und bei AMD?

Fragen sie sich wo der Bus ist...

 

[M2209]

Intel fordert AMD zum Duell: Performance im "Real-World-Gaming" soll die Entscheidung um beste Gaming-CPU bringen

Was für ein *********.

 

[Holzmann]

Frage mich nur was Intel dann macht, wenn sie in diesem Duell den kürzeren ziehen, werden die Real-Game Tests für Nonsense erklärt, so wie sie es mit Cinebench gemacht haben?

 

[Gamerkind]

Die testen den Intel einfach mit DDR4-4XXX und den AMD mit DDR4-2400

 

[Erisch]

Wow, ein Battle!

Wie in einem Film, ganz spannend!

Diese Idee ist ja total lächerlich von Intel.

 

[Mo3Jo3]

Intel fordert AMD zum Duell: Performance im "Real-World-Gaming" soll die Entscheidung um beste Gaming-CPU bringen

Was für ein *********.

Sehr unterhaltsam mittlerweile Bashen sich schon die CEOs

 

[Arkos]

Sehr unterhaltsam mittlerweile Bashen sich schon die CEOs

...

Ja und auch einen Monat bevor überhaupt die CPU auf dem Markt ist.

Die haben ja gehöriges Muffensausen.

...