Über Optimierungen und Hersteller-Benchmarks: AMD vs. Intel

[HWL News Bot]

Auf der Bühne zur Keynote auf der Computex präsentierte AMD erstmals ein Dual-Socket-System bestehend aus zwei EPYC-Prozessoren der zweiten Generation mit jeweils 64 Kernen. Verglichen hat man diese mit zwei Intel Xeon Platinum 8280 mit jeweils 28 Kernen. Dieser Vergleich mit 128 gegen 56 Kerne ist auf den ersten Blick schon problematisch, ließe...

... weiterlesen

 

[sch4kal]

Traue keiner Statistik, die du nicht selbst gefälscht hast
Offenbar legt nicht nur Intel entsprechende Benchmarks einseitig aus...aber das wollen ein paar User hier bestimmt wieder nicht wahrhaben.

 

[Morrich]

Dass AMD kein Wohlfahrtsunternehmen und auch nicht der Heiland persönlich ist, sollte klar sein.
Das ist alles Marketing und da wird natürlich Cherrypicking und Trickserei betrieben.
Deshalb nimmt auch niemand mit Verstand diese Herstellerbenchmarks wirklich ernst.

Es gilt, unabhängige Tests abzuwarten und dann die wirklich praxisrelevanten Ergebnisse zu vergleichen.

 

[jdl]

Seit vielen Jahren trickst AMD bei HPC-Anwendungen übelst herum, weil sie nicht über die ausgereifte Software wie Intel verfügen. Es sei hier nur an die ACML-Implementation der BLAS und der LAPACK Routinen erinnert. Nur die DGEMM war schnell, der Rest war kaum von der Referenzimplementation von netlib.org unterscheidbar. DGEMM war nur deshalb schnell, damit man den LINPACK-Benchmark schnell laufen lassen konnte. Deshalb ist es interessant auch die anderen Routinen zu vergleichen, wie skalieren diese mit der Problemgröße über die Zahl der Cores.

Was AMD bei den EPYCs gemacht hat, ist unseriös weil es den Gepflogenheiten im HPC-Bereich total zuwider läuft. Man optimiert immer auf die maximale Performance bei HPC und man dokumentiert auch sauber die Compilerflags und die Libraries: d.h. MKL vs. BLIS.

 

[lll]

Die Hersteller tricksen doch schon seit vielen Jahren, das ist weder neu noch ungewöhnlich, das Kritisieren die Neutralen unter uns schon lange, nur die Firmentreuen verteidigen solche Ergebnisse immer noch gerne.
Schön das HWL einen so Neutralen und Kritischen Artikel verfasst, besonders der Abschnitt "Hersteller-Benchmarks immer mit Vorsicht genießen" gefällt mir sehr, hier kann sich HWL zurecht selbst auf die Schultern klopfen, das ist leider nicht selbstverständlich, egal ob bei CPU, GPU, Software oder Spiele.
Vor allem das letzte mal wo ein Hersteller vorschlug, Realitäts bezogenere Benches zu veröffentlichen um besser vergleichen zu können, sind die Firmen gesteuerten wieder aus ihren Löchern gekrochen.
Eine Us Firma die in Südost Asien ausbeutet moralisch zu bevorzugen, ist so irrsinnig wie nicht zu einer Wahl zu gehen weil man glaubt das sich eh nichts verändert.

 

[thegian]

Egal welches Produkt, jeder Hersteller versucht soviel zu wirtschaften wie nur möglich. Keine Firma hat da etwas zu verschenken. Aus dem Grund warte ich auch immer gerne auf Praxistests und keine Balken.

 

[Holzmann]

In der Vorbereitung auf eine Stellungnahme ist mir aufgefallen, dass unter dem Bericht keinerlei Quelle steht, ist das so korrekt?

 

[Don]

Ja, weil die Zahlen von uns zusammengetragen wurden und direkt aus den Keynotes und den Daten von Intel stammen, die uns der Hersteller zur Verfügung gestellt hat.

 

[DeckStein]

Dieser artikel erinnert mich stark daran dass intel jetzt wo sie in ipc und kernen nicht mehr vorne liegen, versuchen mit sachen wie implementstion und so weiter neue leistungsdefinitionen einzuführen.


Sehr makaber

 

[Tzk]

Hat doch auf beiden Seiten und auch bei Nvidia eine lange Tradition das alles so passend zu drehen, das man selbst etwas besser dasteht... Soweit nicht verwunderlich das AMD AVX-512 "vergessen" hat. Fairerweise hätte man das nachreichen und im Idealfall sogar selbst entsprechende Optimierungen einfließen lassen sollen.

 

[Holzmann]

Der Bericht bzw. die Situation zeigt eines deutlich, CPU eigene Benchmarks der Hersteller sind nicht objektiv genug und darüber hinaus zu leicht manipulierbar um valide Werte zu repräsentieren.
Hierbei kann jedoch weder dem einen noch dem anderen Hersteller explizit ein Vorwurf gemacht werden, weil es einfach keine konkreten Regularien gibt, wie sich der einzelne Hersteller zu präsentieren hat.

Wünschenswert wäre hier an zu setzen und vereinheitliche Testverfahren und Methodiken zu schaffen, welche für alle bindend sind, um so letztlich für die in der Praxis relevanten vergleichbaren Ergebnisse zu archivieren, die über einen maximalen Vergleichszeitraum möglich sind.

 

[Hyrasch]

7nm eu duv doch nicht so toll wie erwartet?

 

[Gamerkind]

7nm eu duv doch nicht so toll wie erwartet?

Was genau willst du mit dieser komishcen "Frage" andeuten?

 

[hollomen]

Äh, doch..darum geht es hier doch garnicht.

 

[fellkater]

Finde es sowieso komisch dass man hier 128Kerne mit 56 Kernen gegenüber stellt. Egal was für ein Preis der Hersteller haben möchte, aber man sollte nicht Äpfel und Birnen vergleichen. Man vergleich einen 12 Kerner mit einem anderen 12 Kerner. Einen 56 Kerner mit einem anderen 56 Kerner oder wenn der nicht da ist mit einem naheliegendem.
Ich finde die gezeigten Vergleiche von AMD wirklich irreführend und verzerren nur die tatsächliche Leistung.

 

[Mo3Jo3]

@III
Ich finde den Artikel schon etwas negativ für AMD ausgelegt.
Auf der einen Seite sagt der Autor, dass man heute sehr differenziert die Anwendungsgebiete und Verwendung der Software schauen muss.
Auf der anderen Seite wird aber doch wieder pauschalisiert. Zitat:"Auf der anderen Seite scheint es aber auch keine Verbesserungen in der Skalierung der Leistung gegeben zu haben."
Bsp: Dass große Verbesserungen am IMC und der InfinityFabric vorgenommen wurden, wird gerne verschwiegen...... So wie es aussieht machen die neuen Ryzen z.b. bis zu 4000Mhz Ramtakt mit.
Natürlich hat es beim NAMD Test keine bessere Skallierung der Leistung gegeben, wenn in DIESEM speziellen Anwendungsfall die Bandbreite zum Arbeitsspeicher vollkommen irrelevant ist. Vor allem skalliert der zweite Sockel ja schon nahzezu um 100%. Der Autor sieht aber fehlenden Fortschritt. Sollen zwei Sockel zu 120% skallieren?

Dass die Benches auf der Bühne Müll sind, sollte doch schon lange klar sein.

 

[Gamerkind]

Man vergleich einen 12 Kerner mit einem anderen 12 Kerner. Einen 56 Kerner mit einem anderen 56 Kerner oder wenn der nicht da ist mit einem naheliegendem.

Für dich erscheint das zwar logisch, aber es ist halt einfach nur Unsinn

 

[sch4kal]

Für dich ist das Unsinn
Mal im Ernst, die großen Provider kaufen sich je eine Testkiste, testen die unter Ihrem Anwendungsfall und entscheiden dann.

 

[Gamerkind]

Für jeden der sich etwas mit Servern beschäftigt ist das Unsinn!

 

[sch4kal]

Dann beschäftigst du dich scheinbar nicht mit Servern. Zumindest deuten keine deiner bisherigen Beiträge darauf hin.

 

[Holzmann]

Dann beschäftigst du dich scheinbar nicht mit Servern. Zumindest deuten keine deiner bisherigen Beiträge darauf hin.

Unsinn, @Gamerkind ist Server-Experte, ich weiß das uns du jetzt auch.

 

[Holt]

Dieser artikel erinnert mich stark daran dass intel jetzt wo sie in ipc und kernen nicht mehr vorne liegen, versuchen mit sachen wie implementstion und so weiter neue leistungsdefinitionen einzuführen.

Wo steht das Intel eine neue Leistungsdefinition einführen will? Die einzige News die ich bzgl. Intel und Benchmarks kenne ist diese und da geht es darum das Intel vorschlägt nicht nur einen Benchmark als Referenz für die Leistungsfähigkeit von CPU heranzuziehen:

In den letzten Wochen hat Intel in mehreren Briefings klargemacht, dass sich das Benchen von Prozessoren in Zukunft ändern wird. Ähnlich wie der Gang bei Grafikkartentests von „3D Mark only“ hin zu aufwendigen Szenarien in der echten Spielewelt, soll auch das CPU-Benchen revolutioniert und an der echten Welt orientiert werden.
...
Laut Intel nutzen 80 Prozent aller CPU-Tester Cinebench, im realen Alltag kommt das Programm von über 1,8 Millionen analysierten PCs aber nur bei 0,54 Prozent zum Einsatz. Bei POV-ray liegt der real genutzte Anteil am Programm nur noch bei 0,043 Prozent, Blender schafft es immerhin auf rund zwei Prozent.
...
Intel besteht im Großen und Ganzen aber darauf, dass Benchmarks in Zukunft nicht mehr auf Kerne, Takt, Geschwindigkeit und Caches schauen, sondern auf die Architektur, die angedachten Einsatzgebiete sowie die Implementierung, beispielsweise von neuen Features und Möglichkeiten. So sollen nicht mehr alle CPUs gleich getestet werden, denn beispielsweise hat die Y-Serie ein anderes Einsatzgebiet und -profil als das Desktop-Produkt der S-Familie. Die Anwendungen sollen für das jeweilige Marktsegment passend sein.

Im Kernen erfüllen wenigstens die meisten guten Reviewer zumindest die Forderung nach zahlreichen Benchmarks schon, auch wenn die Benchmarks dann oft doch eben solche Programme sind, die am Ende kaum jemand nutzt und man beim zweiten Teil noch Nachholbedarf hat, denn eine Y oder U CPU für sehr kompakte Notebooks mit einem Benchmark der wie Cinebench viel Dauerlast erzeugt zu benchen, ist wirklich alles andere als praxisgerecht, denn niemand der ein wenig Ahnung hat, wird Geräte mit so einer CPU für Anwendungen verwenden, die ständig hohe CPU Lasten erzeugen. Es gibt andere Hardware die dafür viel besser geeignet ist.

Auf der einen Seite sagt der Autor, dass man heute sehr differenziert die Anwendungsgebiete und Verwendung der Software schauen muss.

Das machen Kunden von Serverhardware eigentlich schon immer, außer sie vermieten die Rechenleistung einfach nur und wissen daher nicht wirklich, was für Software am Ende darauf laufen wird.

Dass große Verbesserungen am IMC und der InfinityFabric vorgenommen wurden, wird gerne verschwiegen...... So wie es aussieht machen die neuen Ryzen z.b. bis zu 4000Mhz Ramtakt mit.

Offiziell sind es 3200 und was bei PC geht, werden wir in einem Monat wissen, außerdem soll es ja nun einen einstellbaren Multiplikator zwischen den Taktrate der IF und des RAM Controllers geben, womit hohe RAM Takte nicht mehr automatisch auch hohe Taktraten der IF bedeuten müssen.

Dass die Benches auf der Bühne Müll sind, sollte doch schon lange klar sein.

Eben, alles was die Hersteller selbst über ihre Produkte und den Vergleich mit denen der Wettbewerber aussagen, ist immer mit höchster Vorsicht zu betrachten. Letztlich muss man sich immer mehrere unabhängige Reviews betrachten bei denen die Testbedingungen (Hardware und Software) genau angegeben sind und wenn die Abweichungen zwischen ihnen nicht unerklärlich groß sind, dann schaut man sich da die Benchmarks an, die der eigenen Nutzung am nächsten kommen und bewertet die CPUs selbst auf der Basis genau dieser Egebnisse und ignoriert die Ergebnisse in Benchmarks, die man selbst so nie nutzt. Wenn man nicht spielt, dann kann man die Performance in den ganzen Gamingtests ignorieren und wer spielt aber nie rendert, dem können die Ergebnisse bei Cinebench oder Blender ebenso total egal sein.

Mal im Ernst, die großen Provider kaufen sich je eine Testkiste, testen die unter Ihrem Anwendungsfall und entscheiden dann.

Oder man mietet sich eine, gute Systemhäuser stellen diese den Kunden kostenlos oder gehen eine Miete zur Verfügung, über Online Zugang oder bei ihnen vor Ort oder auch beim Kunden selbst. Es gibt ja auch eine ganz schöne Anzahl an Programmen die eben nicht frei erhältlich sind, aber auch extrem viel Rechenleistung brauchen, die wird aber kein Reviewer jemals benchen könnte.

 

[thegian]

Unsinn, @Gamerkind ist Server-Experte, ich weiß das uns du jetzt auch.

Dann wäre es vielleicht mal hilfreich in einer Diskussion zu erklären was den richtig/besser/altagstauglicher ist, anstatt nur anderen ständig unwissen anzudichten.
Wir wollen hier doch alle dazulernen oder?

 

[jdl]

@III
Ich finde den Artikel schon etwas negativ für AMD ausgelegt.

Objektiv hat AMD beim Benchmark nicht sauber gearbeitet. Wir reden hier nicht über Standardsoftware, die auf jedem System laufen muss, sondern über HPC-Software und die compiliert man immer auf dem jeweiligen Zielsystem neu und optimiert sie explizit auf dieses System. Unter diesen Umständen kein AVX512 für Intel zu nutzen ist nun einmal unter der Rubrik schmutzige Tricks zu verbuchen. Intel trickst meistens bei der Hardware, da die Software bei ihnen deutlich besser – Beschiss ist das meistens nicht notwendig.

Auf der anderen Seite wird aber doch wieder pauschalisiert. Zitat:"Auf der anderen Seite scheint es aber auch keine Verbesserungen in der Skalierung der Leistung gegeben zu haben."

D.h. die Kerne sind nicht schneller geworden, wenn man die erzielte Leistung über Taktrate und Corezahl normalisiert, hat sich also von EPYC zu EPYC2 nicht viel getan.

 

[sch4kal]

D.h. die Kerne sind nicht schneller geworden, wenn man die erzielte Leistung über Taktrate und Corezahl normalisiert, hat sich also von EPYC zu EPYC2 nicht viel getan.

Das kann man jetzt aber auch anhand eines einzigen Benchmarks nicht wirklich beurteilen. Da müssen wir wohl auf unabhängige Tests warten, bin schon gespannt wann Phoronix oder STH die ersten Exemplare bekommen.

 

[Oberst]

Objektiv hat AMD beim Benchmark nicht sauber gearbeitet. Wir reden hier nicht über Standardsoftware, die auf jedem System laufen muss, sondern über HPC-Software und die compiliert man immer auf dem jeweiligen Zielsystem neu und optimiert sie explizit auf dieses System. Unter diesen Umständen kein AVX512 für Intel zu nutzen ist nun einmal unter der Rubrik schmutzige Tricks zu verbuchen. Intel trickst meistens bei der Hardware, da die Software bei ihnen deutlich besser – Beschiss ist das meistens nicht notwendig.

Naja, vielleicht liegt es aber auch an folgendem Satz im Kleingedruckten unter den Bildern:
"Performance results are based on testing as of May 29, 2019 and may not reflect all publicly available security updates." Oder anders Ausgedrückt: Intel hat vielleicht keine Patches gegen Meltdown/Spectre und Co. installiert und die kosten ja bekanntermaßen im Serverbereich relativ viel Leistung. Wie gesagt, vielleicht. Aber die Tests sind halt von beiden Herstellern ziemlich undurchsichtig. Ob AMD da nicht sauber gearbeitet hat, oder Intel nicht sauber gepatched hat, oder beide nicht koscher waren, kann man als Außenstehender nicht wirklich sagen.

 

[Mo3Jo3]

D.h. die Kerne sind nicht schneller geworden, wenn man die erzielte Leistung über Taktrate und Corezahl normalisiert, hat sich also von EPYC zu EPYC2 nicht viel getan.

Das ist Falsch. Im Januar auf der CES wurde Epyc2 auf einem 1 Sockel System gezeigt, jetzt wurde Epyc2 auf einem 2Sockel System gezeigt. Ein bezug zu Epyc1 wurde gar nicht hergestellt und eine Skallierung von 100% bei den Sockeln finde ich nicht schlecht.

 

[Cuthbert]

Verstehe das Theater nicht. Glaubt hier wirklich jemand ernsthaft, dass ein Hersteller-Benchmark nicht geschönt ist?

Allerdings sollte man auch folgendes beachten: Klar hat AMD mit dem Ergebnissen von 2x64 Kernen gegenüber 2x28 augenscheinlich einen unfairen Vergleich vorgenommen, aber ist er das wenn man die Preise der CPUs betrachtet wirklich? Wenn ich mal nach den Preisen google komme ich beim Intel 8280 auf deutlich über 10k € pro Prozessor. Das aktuelle Epyc Topmodell mit 32 Kernen kostet deutlich unter 5000€, demnach könnte ein 64 Kerner von AMD auch etwa 10k kosten oder leicht weniger. Man hat vermutlich also etwa gleich teuere CPUs verglichen.
Ein Intel mit 48 Kernen wird sicher Richtung 20K gehen. Mag sein, dass der dann schneller ist, aber wenn man auf P/L-Verhältnis schaut, ist der Vergleich nicht mal so weit her geholt.

Auch das Argument, AMD hat die Benches nur mit dem verfügbaren "alten" Prozessoren statt der noch nicht verfügbaren neuen Prozessoren vorgenommen ist doch ziemlicher Quark. Wie bitte soll AMD denn einen Vergleich mit einer noch nicht verfügbaren CPU anstellen?

Und letztlich ist es auch erstaunlich, dass sich der Riese Intel überhaupt genötigt fühlt, auf solche Pieksereien vom Zwerg AMD zu reagieren. Man könnte da fast schon eine Panikreaktion hinein interpretieren, dass man eigene Marktanteile gefährdet sieht, wenn man nicht selber zu Wort kommt.

Am Ende wird nichts so heiß gegessen wie es gekocht wird. Ich gehe davon aus, dass Zen 2 wirklich ein recht großer Sprung für AMD sein wird, ohne Frage wird Intels Vorsprung seitens Software-Optimierung auch weiterhin für viele Anwendungsfälle eine Argument für Intel und gegen AMD sein. Aber evtl. schafft es AMD ja doch, den einen oder anderen Prozentpunkt Marktanteil mehr zu erhaschen. Das wäre für Kunden nur von Vorteil, da Intel so gezwungen ist, entweder preislich nachzugeben oder sich selber mehr ins Zeug zu legen.

 

[flxmmr]

Für dich ist das Unsinn
Mal im Ernst, die großen Provider kaufen sich je eine Testkiste, testen die unter Ihrem Anwendungsfall und entscheiden dann.

Und alle, die keine großen Provider sind, kaufen dann halt weiter das, was sie immer gekauft haben (bei uns eben Quad-Sockel-Intel...).

Das kann man jetzt aber auch anhand eines einzigen Benchmarks nicht wirklich beurteilen. Da müssen wir wohl auf unabhängige Tests warten, bin schon gespannt wann Phoronix oder STH die ersten Exemplare bekommen.

Und die Benchmarks sind leider zum absoluten Teil große Grütze – steinalte Distro-Compiler, keine Angaben zu den Libraries. Relevanz = 0. Und den Code findet man auch nicht immer so leicht, wenn man es reproduzieren möchte (am Besten finde ich da immer noch Anandtechs Brownian-Motion Benchmark, bei dem man ein Windows-Executable bekommt (und der wird regelmäßig genutzt, um zu demonstrieren, wie gut AVX funktioniert))...

 

[thegian]

Und alle, die keine großen Provider sind, kaufen dann halt weiter das, was sie immer gekauft haben (bei uns eben Quad-Sockel-Intel...).

Wenn man sich einredet das es nur die eine Marke gibt, dann bestimmt.
Wir haben zb. vor mehr als 5 Jahren anstatt Nvidia-Quadro GPU's die AMD FirePro in allen CAD Workstations eingebaut. Weil P/L einfach deutlich besser war.
Wenn man die Möglichkeit hat, sollte man auf jedenfall Vergleichen und nicht nur auf die eine Marke setzen, weil man es ja schon immer so gemacht hat. Leider ist es aber nicht immer so einfach, wiel oft dahinter auch noch die Softwarehersteller irgendwelche Verträge haben und dir dann "empfehlen" auf Hersteller X zu gehen, weil Support usw. Ob das dann so immer richtig ist
Aber ja, leider hast du recht und viele Firmen/Personen funktionieren so.