Wie ist das zu bewerten?

[OSL]

Anderes Ranking nach Update: Ryzen-CPUs im PassMark plötzlich erheblich langsamer

Im PassMark schneiden AMD-Prozessoren neuerdings viel schlechter ab als CPUs von Intel. Die Single-Core-Performance wird nach einem Update anders bewertet.

www.pcgameshardware.de

 

[xYeti]

PassMark Performance Test 10: Neue Wertungskriterien stellen AMD ins Abseits

Bis vor kurzem belegten Prozessoren vom Typ AMD Ryzen 3000 die vorderen Ränge im Single-Thread-Benchmark von PassMark. Nun nicht mehr.

www.computerbase.de

hier steht alles was du wissen musst

 

[scars]

Ists so schwer einen vernünftigen Titel zu nehmen?

 

[Holt]

Wie das zu bewerten ist? Entweder gab es vorher einen Bug der die AMD CPUs zu gut dastehen lies oder es gibt nun einen der sie zu schlecht abschneiden lässt. Seltsam ist aber die Reihenfolge innerhalb der AMD CPUs, denn bei der Singlethreadperformance ist ja bei gleicher Architektur vor allem der maximale Boosttakt entscheidend, der 3950X müsste also ganz vorne stehen. Tat er aber vorher in der alten Liste nicht, da war der RYZEN 7 PRO 3700 (bis 4,4GHz) mit 3027 Punkten erster und danach deutlich vor dem 3950X mit 2982 Punkten. Nun ist sogar der RYZEN 3 4300U, also Renoir mit maximal 3,7GHz Bosttakt mit 2673 Punkten erster, der 3950X kommt gerade noch auf 2587 Punkte, sogar der 3990X liegt mit 2602 Punkten vor ihm. Der RYZEN 7 PRO 3700 der vorher noch vorne war, liegt nun mit 2573 Punkten dicht hinter ihm.

TweakPC hat die Stellungnahme von Passmark veröffentlicht. So wurden der Compiler von Visual Studio 2013 auf 2019 aktualisiert und auch neue Versionen von 3rd libraries (GZip, Crypto++ und Bullet Physics) verwendet, sowie neue Optimierungsoptionen beim Compilieren. Die sollte aber eigentlich AMD mehr helfen, da seine Zen Architektur ja viel neuer ist als die Intels Core Architekturen, deren Wurzeln ja nun schon alt sind und auf die auch die alten Compiler und Libs besser optimiert sein dürften. Wenn man sich weitere Maßnahmen ansieht, dann fallen folgende Dinge auf:

Fixed up a bunch of bugs that hurt performance (like some variable alignment issues and compiler optimization flags).

Diese Bugs könnten natürlich bei AMD die Performance weniger gebremst haben als bei Intel.

Completely rewrote some of the tests. e.g. removed TwoFish encryption and replaced it with the more common Elliptic curve encryption.

Auch hier müsste man schauen wie weit diese Änderung aufwirken, wenn AMD bei TwoFish viel besser als Intel abgeschnitten hat aber bei Elliptic curve nicht so sehr, dann wäre hier auch eine Grund für die Verschiebungen. Ob das nun Schiebung ist legitim ist, hängt vor allem davon ab ob die Aussage das Elliptic curve encryption viel weiter verbreitet ist als TwoFish encryption. Ein aktueller Benchmark sollte schließlich auch das aktuelle Nutzungsverhalten widerspiegeln.

Improving the algorithms to push more data through the CPU also results in more load on the cache and memory subsystem. So older CPUs, those with inadequate cache or memory bandwidth are expected not to perform so well with PT10.

Hier könnte auch ein Grund liegen, die Zen2 haben zwar schnellen Zugriff auf den L3 Cache des eigenen CCX, aber einen langsamen auf den der L3 Caches der andere CCX und auch einer höhere Latenz bei RAM Zugriffen, wobei diese wegen des Zusammenhangs des Taktes der IF mit dem RAM Takt sehr unterschiedlich ausfallen kann und die Ergebnisse sind ja die Mittelwerte aus den ganzen unterschiedlichen Systemen der User die ihre Ergebnisse übermittelt haben.

 

[Kullberg]

Ist denn nun eigentlich geklärt, ob der neue Passmark tatsächlich AVX512 nutzt und in welchem Ausmaß? Vielleicht sollte jemand mal AVX 512 bei nem Intel System ausschalten und sehen, wieviel das ausmacht.

 

[DaHell63]

Die hier führenden CPUs (Coffee) beherrschen allsamt kein AVX512.
Und Multi-Thread liegt AMD klar vorne. Ich kann da kaum an AVX512 glauben.

 

[Kullberg]

Danke, mir war nicht bewusst, dass AVX512 so wenig verbreitet ist.

 

[DaHell63]

AVX512 ist im Consumerbereich so gut wie nirgends im Angebot (Hard/Software)......leider. AMD wird ja auch mal damit kommen und hoffentlich ziehen dann die Entwickler nach.
Zum testen hat man ja kleine Sachen wie den CPU-Z Benchmark/Time Spy extreme. Da kann man AVX512, wenn es die CPU erlaubt, aktivieren. Da kommt dann schon gut was rüber.

 

[Tzk]

Solange Intel selbst AVX512 nur auf der "großen" Plattform bietet trägt das auch nicht wirklich zur Verbreitung bei... AVX2 bekommst du ja auf allen Plattformen - 1151v2, 2066 sowie AM4 und TR4.

 

[DaHell63]

Der Wirkungskreis von AMD wird ja stetig größer. Die Hoffnung, daß AMD AVX512 auf den Consumermarkt bringen wird ..........bald/demnächst/irgendwann, bleibt.
Aber selbst AVX2 wird ja zur Zeit noch nicht allgemein verwendet.

 

[Holt]

Ist denn nun eigentlich geklärt, ob der neue Passmark tatsächlich AVX512 nutzt und in welchem Ausmaß?

Die Coffee Lake wie der 9900KS, der nun führt, haben ja kein AVX512. Wenn dies so relevant wäre, müssten die Cascade Lake vom 10920X bis 10980XE ganz vorne sein, sind sie aber nicht. In der alten Liste lag der 9900KS mit 2992 um 13% vor dem 10920X als schnellsten Cascade Lake mit 2648 Punkten. In der aktuellen Liste ist der 10940X mit 2688 Punkten der schnelle Cascade Lake (wobei auch der 10920X mit 2648 Punkten nicht so weit zurückliegt) und der 9900KS hat mir 3039 Punkten 13,1% Vorsprung auf den 10940X und sogar 14,8% auf den 10920X. Mit AVX512 kann es also nichts zu tun haben.

Das hätte bei der Bewertung des 9900k aber keinen Effekt, da AVX512 Support auch bei Intel nur Xeon CPUs haben.

Nein, die Caskade Lake-X sind HEDT und haben ebenso AVX512 wie auch alle 10nm CPUs, auch die kleinen Ice Lake-U und sogar Cannonlake hatte es. Bei den 14nm CPUs haben es die Modelle mit den großen Syklake-SP Kernen, also auch die Skylake-X HEDT CPUs deren Refesh und die Nachfolger Cascade Lake.

Danke, mir war nicht bewusst, dass AVX512 so wenig verbreitet ist.

Bei den CPUs bisher nicht, dies kommt bei Intel erst mit den 10nm CPUs, die haben wie gesagt alle AVX512 und AMD dürfte mit Zen3 oder Zen4 irgendwann nachziehen. AVX512 aufzunehmen ist schon sinnvoll, denn es wird schon heute weiträumiger genutzt als mancher glaubt. So wird es auch bei Base64 in JAVA verwendet:

JDK-8205528
Base64 encoding algorithm using AVX512 instructions
..
The code gives 1.5x performance gain as measured on SKL system

Dieser Faktor 1,5 dürfte gegenüber AVX2 gewesen sein, wie viel AVX512 bei der im Internet allgegenwärtigen Base64 Codierung gegenüber Algorithmen ohne SIMD Befehlen bringt, sieht man hier:

Base64 encoding and decoding at almost the speed of a memory copy

Many common document formats on the Internet are text-only such as email (MIME) and the Web (HTML, JavaScript, JSON and XML). To include images or executable code in these documents, we first encode them as text using base64. Standard base64 encoding uses 64~ASCII characters: both lower and upper case Latin letters, digits and two other symbols. We show how we can encode and decode base64 data at nearly the speed of a memory copy (memcpy) on recent Intel processors, as long as the data does not fit in the first-level (L1) cache. We use the SIMD (Single Instruction Multiple Data) instruction set AVX-512 available on commodity processors. Our implementation generates several times fewer instructions than previous SIMD-accelerated base64 codecs.
...
our speed is limited by dataaccess. Our results illustrate the value of powerful SIMD instructions: our codec is 10 to 20 times faster than a highly optimized conventional codec.

 

[mr.dude]

Gibt ein Update zu PassMark. Ursache für den relativen Verlust der Ryzen 3000 CPUs sind anscheinend Windows Patche, die mehr als beabsichtigt die Zufallszahlengenerierung im Single Thread Kompressionstest verlangsamt haben. Neuer Build steht bereit. Mehr dazu hier.

 

[Robo]

Und schon sieht es wieder etwas anders aus - vertraue nie einem Test bei dem du die Parameter nicht genau kennst...

Wie bei allen Test, ist auch dieser hauptsächlich dazu geeignet um das eigene System mit verschiedenen Einstellungen zu testen.
Ein Vergleich mit anderen Systemen ist nie genau, ein Vergleich mit verschiedenen Herstellern schon mal gar nicht und wenn noch finanzielle Aspekte dazu kommen, dann gute Nacht.

 

[Holt]

und wenn noch finanzielle Aspekte dazu kommen

Warum immer diese subtilen Unterstellungen von Bestechungen und Bestechlichkeit?

Es gibt doch eine klare Aussage woran es gelegen hat:

So it seems clear that patches on Windows significantly slowed down the test and the function that became slower was Rand(). But the aim of this test was not to measure the performance of Rand(), nor measure the impact of that security patch. So we decided to change it. We can't have a situation where different Win10 versions so significantly impacts the CPU score. (that might be fine for the 2D score, but not the CPU score)

We changed Rand() for minstd_rand. Which is a different random number generator algorithm. Basically a two line change in the code without altering the functionality.

Wieso die Zeit für die Erzeugung der Testdaten in den Benchmark einfließt, darüber kann man sicher streiten, die Zufallszahlenerzeugung wäre sicher besser als eigener Benchmark ausgewiesen worden, aber letztlich nur eine andere Funktion zum Erzeugen der Zufallszahlen verwendet, weil die bisher üblich bei den Zen2 langsam ist:

But to be clear, the old code was totally valid code & rand() has been the goto function for random number generation for 30+ years. Rand was used everywhere historically. Microsoft have now given it inconsistent performance however.

rand() ist eine POSIX konforme Funktion die auch Linux hat (führe mal man 3 rand aus), viel älter als die jetzt verwendete Funktion. Welche von beiden nun weiter verbreitet ist, wäre mal interessant zu wissen, denn bei anderen Änderungen wurde ja mit der größeren Verbreitung argumentiert:

[Completely rewrote some of the tests. e.g. removed TwoFish encryption and replaced it with the more common Elliptic curve encryption.

Hier kommt Passmark AMD also vermutlich entgegen und trotzdem muss man dahinter keine Bestechung vermuten. Dies wird schon gar nicht von den Leuten kommen, die Intel hier immer sowas unterstellen.

Dabei gibt es bei Zen2 ja bekanntlich einen Bug mit Random und der Workaround geht wohl auf die Performance:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

 

[neuli]

Warum immer diese subtilen Unterstellungen von Bestechungen und Bestechlichkeit?

Dann nenn es halt Partnerschaft: https://www.passmark.com/about/index.php
Willst du mir jetzt ernsthaft erzählen, dass da keine finanziellen Interessen im Spiel sind?

 

[Robo]

Weil sich in diesen Bereichen alles ums Geld dreht und in diesem Fall ist es auch naheliegend.

Hätten sie in der Stellungnahme eine plausible Erklärung gegeben (auch einen Fehler zuzugeben, statt einer Ausrede würde dazu gehören) wäre es nicht schön, aber noch verständlich. Wenn man aber nur eine neue Gewichtung vornimmt darf so etwas wie Ryzen 3 4300U auf Platz 1 in ST bei AMD nicht passieren und damit das passiert muss noch einiges andere angepasst worden sein.

Alles in allem natürlich egal, an Vertrauen haben die aber eingebüsst und damit müssen sie jetzt leben.

 

[Holt]

Hätten sie in der Stellungnahme eine plausible Erklärung gegeben

Erstmal muss ja die Ursache gefunden werden. AVX512 als Ausrede zu verwenden, war dumm und unnötig, da die Ergebnisse dies klar als unplausibel entlarvt haben.

 

[mr.dude]

Wenn man aber nur eine neue Gewichtung vornimmt darf so etwas wie Ryzen 3 4300U auf Platz 1 in ST bei AMD nicht passieren und damit das passiert muss noch einiges andere angepasst worden sein.

Dass der 4300U da steht, liegt vermutlich einfach daran, dass es keine Testergebnisse mit V10 gab. Da wurden einfach die V9 Werte übernommen.

 

[Mo3Jo3]

Dass der 4300U da steht, liegt vermutlich einfach daran, dass es keine Testergebnisse mit V10 gab. Da wurden einfach die V9 Werte übernommen.

Das wäre aber absoluter Hirnfick. Man hat einen Benchmark stark verändert und zeigt nun die neuen Ergebnisse und streut da gleichzeitg irgendwelche Ergebnisse einer älteren Version rein?(welche sich gar nicht identifizieren lassen)
Sollte das stimmen, wäre das Passmark Team ja total unfähig.

 

[mr.dude]

Das wäre aber absoluter Hirnfick. Man hat einen Benchmark stark verändert und zeigt nun die neuen Ergebnisse und streut da gleichzeitg irgendwelche Ergebnisse einer älteren Version rein?

Ja, ist tatsächlich so. Entweder hat man da gepennt oder was auch immer. Sowohl im alten V9 als auch im wenig später online gestellten total verzerrten V10 Ranking steht der 4300U mit 2673 Punkten drin. Kann man sich z.B. im Webarchiv auch anschauen:

12.3.
https://web.archive.org/web/20200312201105/https://www.cpubenchmark.net/singleThread.html

16.3.
https://web.archive.org/web/20200316131328/https://www.cpubenchmark.net/singleThread.html

Auch im aktuellen Ranking steht der 4300U mit der gleichen Punktzahl immer noch drin (Laptop Liste).


Die alte V9 Liste ist übrigens auch immer noch online, siehe hier.

 

[DaHell63]

Dass der 4300U da steht, liegt vermutlich einfach daran, dass es keine Testergebnisse mit V10 gab. Da wurden einfach die V9 Werte übernommen.

Vom 4300U gibt es tatsächlich nur einen Eintrag und der datiert vom 29.01.2020.
Während zB von einem R9 3900X laufend neue Einträge eintrudeln und somit auch eher ein realer Schnitt ermittelt werden kann.

 

[Holt]

Vom 4300U gibt es tatsächlich nur einen Eintrag

Da die Ergebnisse auf Systemen entstehen deren Konfiguration unterschiedlich sein kann und vor allem unbekannt ist, sollte in einer ordentlichen Statistik so ein Ergebnis gar nicht erst erscheinen. Man sieht ja auch alleine an den letzten 5 Einträgen des 3900X das diese zwischen 31610 und 33382 schwanken und damit bei gerade mal 5 Ergebnissen über 5% Abweichung vom schlechtesten zum besten CPU Mark Score vorhanden sind.