Benchmark-Schummeleien: Meizu und OnePlus wurden ertappt

[Simpl3Moe]

Finde ich jetzt nicht unbedingt verwerflich.

Die meisten Leute brauchen die Leistung ehh nicht und kaufen dann trotzdem ein Gerät nach Benchmark Ergebnissen. Die Leistung ist ja nicht weg, sie wird zu Gunsten des Akkus nur nicht immer abgerufen. Das ist mMn die bessere Lösung.
Es wäre natürlich schöner wenn den "Turbo-Modus" selbst wählen kann.

 

[Balle]

Finde ich jetzt nicht unbedingt verwerflich.

Die meisten Leute brauchen die Leistung ehh nicht und kaufen dann trotzdem ein Gerät nach Benchmark Ergebnissen. Die Leistung ist ja nicht weg, sie wird zu Gunsten des Akkus nur nicht immer abgerufen. Das ist mMn die bessere Lösung.
Es wäre natürlich schöner wenn den "Turbo-Modus" selbst wählen kann.

Naja es benötigt sicherlich kaum jemand einen dauerhaft so hohen Takt.
Durch präzise Temperaturüberwachung und kluge Algorithmen ist aber immer ein kurzzeitiges hochtakten möglich, das sich durchaus auch mal in der Leistung bemerkbar machen kann (und seien es nur aufwendigere Filter für Videos und Fotos).
Dadurch wird der Akku auch nicht wirklich mehr belastet. Theoretisch wären sogar mit einem geschickten Management Einsparungen möglich.
Das ist ja auch der Ansatz der bei den Snapdragons verfolgt wurde und das hat einigen Leuten schon nicht gepasst hat, obwohl es gute Gründe für diese Strategie gibt.

Hier geht man jetzt noch einen Schritt weiter und stellt die maximale Leistung nicht mal in Peaks zur Verfügung.
Das kratzt zumindest schon an einer klaren Täuschung des Kunden.

 

[DragonTear]

Hmm, schwierig.. An den Einsatz eines Turbos gibt es natürlich nichts zu kritisieren und ist wegen dem Akku und der Kühlung ja sinnvoll, aber extra darauf zu reagieren dass gerade ein Benchmark gestartet wird? Wieso passiert das nicht auch wenn ein Game mehr Leistung braucht, etc.?
Das ist eigentlich das Selbe wie der Mist von VW wo sich das Auto auch ausschließlich dann anders verhalten hat, wenn es auf dem Abgabs-Prüfstand war.

Hier geht man jetzt noch einen Schritt weiter und stellt die maximale Leistung nicht mal in Peaks zur Verfügung.

Genau...

 

[markus88]

Das wird wirklich mal wieder dramatisiert wo es nur geht.
Hier mal ein Satz mit derselben Kernaussage:

2 namhafte Hersteller deaktivieren in Benchmarks Akku-sparende Maßnahmen.

Gr8 B8 M8 I R8 8/8. Toll, Applaus, wir haben alle herzlich gelacht.

 

[estros]

Dann braucht man also Benchmarks bei den besagten Modellen nicht zu machen. Alles Fake. Hauptsache auf dem Papier ist man der schnellste.

 

[Tzk]

Interessante Ansicht... Die Leute beschweren sich über Schummelsoftware bei PKW, hier ist es aber ok?

Immerhin wird der Kunde in diesem Fall indirekt beschissen, da die Software den "Püfstandmodus" erkennt und ein spezielles Profil anlegt.

 

[panopticum]

Das wird wirklich mal wieder dramatisiert wo es nur geht.
Hier mal ein Satz mit derselben Kernaussage:

2 namhafte Hersteller deaktivieren in Benchmarks Akku-sparende Maßnahmen.

Gr8 B8 M8 I R8 8/8. Toll, Applaus, wir haben alle herzlich gelacht.

Bist du bekifft?


Benchmark Cheating Strikes Back: How OnePlus and Others Got Caught Red-Handed, and What Theyve Done About it

Es werden eindeutig Betriebsmodi für den SoC genutzt die sonst im Alltag nicht verwendet werden.
Die Absicht dahinter ist offensichtlich ... B-e-t-r-u-g(warum wird das hier zensiert?) um höhere Werte in Bechmarks zu erreichen.

**Very important message regarding my opinion on OnePlus' Actions**

While we were researching this article, near the end of completing our findings and after finishing a first draft, I reached out to OnePlus to complain about the issue and requested that they fix it. Despite the Chinese New Year, they got back to me, and assured me they are taking it seriously and completely stripping the OxygenOS ROM of this unfair advantage in benchmarks. This is more than what any OEMs we reached out to have done, and I actually commend OnePlus for always listening to the feedback the community provides. Was it a crappy decision? Absolutely, but two things I would keep in mind are that this didn't impact reviews of the OP3, as the behavior wasn't in place then, and that this wasn't something that the OxygenOS team in particular decided to implement from the get go. I don't know the specifics, but it could have been an oversight from merging the two teams and the two projects. Either way, we won't excuse the practice and so we wrote this article, the same way we called them out on the IMEI leaks, the bootloader vulnerability, RAM management issues, GPL compliance, etc. While they aren't perfect at communicating with the community, I can tell you for a fact that they are more willing to engage in discussion with their users. And this year, many OEMs seem increasingly wary of providing sites like XDA review units *precisely* because they fear we'll write this kind of content for their phones (and we will anyway). - Mario Serrafero XDA Portal Team

 

[G00fY]

Das wird wirklich mal wieder dramatisiert wo es nur geht.
Hier mal ein Satz mit derselben Kernaussage:

2 namhafte Hersteller deaktivieren in Benchmarks Akku-sparende Maßnahmen.

Lol, die haben einfach hardcoded anhand des Package Names der App bestimmte CPU Modi aktiviert, die sonst nie zum Einsatz kommen. Wieso ist eine News da drüber dramatisiert? Es ist streng genommen eine Wettbewerbsverzerrung und Kundentäuschung. Zumal man sämtlichen Herstellern die zuvor auffällig geworden sind nichts mehr nachweisen konnte. Sprich es hat etwas gebracht das publik zu machen.

 

[Simpl3Moe]

Interessante Ansicht... Die Leute beschweren sich über Schummelsoftware bei PKW, hier ist es aber ok?

Immerhin wird der Kunde in diesem Fall indirekt beschissen, da die Software den "Püfstandmodus" erkennt und ein spezielles Profil anlegt.

Ich würde mich auch nicht bei VW über den Diesel beschweren. Zumal die Grenzwerte ich den europäischen Tests gar keine Schummelsoftware benötigten. Die sind so mies aufgebaut das eig. jedes Auto durchkommt.

BTT:
Wie gesagt ich bin auch eher dafür das man die Turbo Einstellungen selber treffen kann. Zumindest das es eine Option auf die voll Power gibt, ähnlich wie bei Tesla der "Ludicrous Mode"

 

[Morrich]

Finde ich jetzt nicht unbedingt verwerflich.

Es ist doch wohl vollkommen egal, ob ein User letztendlich die Leistung, die ihm durch solche gefakten Benches suggeriert wird, tatsächlich nutzt, oder nicht.

Fakt ist, dass durch solche Schummeleien eine höhere Leistung suggeriert wird, als letztendlich wirklich geboten wird. Da aber nunmal auch viele User anhand der Leistungsdaten kaufen, ist das eine unlautere Methode um mehr Absatz zu generieren.

Und das ist auf jeden Fall verwerflich!

VW hat nich umsonst eine riesige Klage an der Backe, weil sie durch manipulierte Software deutlich geringere Abgaswerte bei ihren Fahrzeugen vorgetäuscht haben, als tatsächlich hinten rauskommt.
Sowas ist ******, ganz einfach und gehört entsprechend sanktioniert.

 

[G00fY]

Genau wie Benchmarks.

Benchmarks sind aber die einzige Möglichkeit eine gewisse Vergleichbarkeit herzustellen. Zum Beispiel wie sich Gerät X nach 5 Benchmark-Durchläufen verhält und wie Gerät Y. Damit kann man beispielsweise erkennen wie die Geräte throtteln usw. Wenn OP nun aber in dem Benchmark den Throttle-Richtwert deutlich anhebt, dann kann man diese Testes eben nicht mehr auf andere Anwendungsszenarien übertragen.

 

[panopticum]

Genau wie Benchmarks.

Unsinniger Kommentar, merkst du hoffentlich selbst.

 

[eraser-x]

wenn alle hersteller beschei...n dann ist es ja am ende eh wieder gleich ^^^jetzt wurden halt 2 erwischt der rest machts eben nur besser

mfg

 

[DragonTear]

Die Seiten brauchen doch nur praxisnah zu testen und schon ist das Problem gelöst. Wenn die es sich einfach machen warum nicht der Hersteller ?

Und wie soll man das bitteschön anstellen?
Man braucht eine Software die Werte ausspuckt, sonst sind alle resultate extrem objektiv.
Wenn die Hersteller nicht solche besonderen modi einsetzen würden, dann wären die Benchmarks auch praxisnah, denn man könnte davon ausgehen dass eine normale App auch diese Leistung abrufen könnte - grad das ist aber offenbar nicht der Fall.

 

[lll]

Ich sehe mir diese Benchmarks schon lange nicht mehr an, betrügen tun doch alle, wer das auch noch verteidigt schadet sich auch selbst, was hat man schon von 500€ Hardware wenn sie die Leistung einer 200€ Hardware im Alltag gleichgestellt ist - eine Krankheit die die Kunden wollen.

 

[DragonTear]

was hat man schon von 500€ Hardware wenn sie die Leistung einer 200€ Hardware im Alltag gleichgestellt ist - eine Krankheit die die Kunden wollen.

Naja, so ists nun auch wieder nicht. Das zusätzliche Silizium bringt schon auch was in der App-Praxis. Die Benchmarks sind eher nützlich um Phones der Selben Preisklasse zu vergleichen, denn da gibt es ja auch bei selbem CHip oft Unterschiede was Takt und Drosselung angeht...

 

[n0dder]

[...] Die Seiten brauchen doch nur praxisnah zu testen und schon ist das Problem gelöst. Wenn die es sich einfach machen warum nicht der Hersteller ?

ach, und wie soll man da dann etwas messen?

"gefühlt ist das smartphone a etwas schneller als b. aber das kommt mir nur heute so vor, gestern hatte ich noch das gefühl es ist andersrum. mein kollege x dagegen schwört darauf, dass sein smartphone c viel schneller ist, was kollege y dagegen nicht bestätigen kann."

wow, das lohnt natürlich richtig.
du lässt immer einen schwachsinn ab, man kann sich nur noch an den kopf fassen.

kaufst du auch grafikkarten aufgrund von "fühlt sich bei mir flüssig an, muss also schnell sein" aussagen von irgendwelchen hanswürsten?

 

[oooverclocker]

Stellt Euch einfach mal vor, Euer Provider würde im Speedtest 100Mbit/s liefern und Euch sonst überall auf 10Mbit/s drosseln, weil ihr ja fast nie die Leistung braucht... Ohh, da würdet Ihr aber direkt durch die Decke gehen. Auch beim Desktoprechner wäre es doch hirnlos, wenn CPUs für einen fünfminütigen 3DMark- Run auf 5GHz hoch gehen würden, die bei normalen Anwendungen über eine Stunde hinweg total instabil wären. Man führt Benchmarks aus, um die Leistungsfähigkeit der Hardware zu vergleichen und beeinflusst damit Kunden zum Kauf, die möglicherweise in der Praxis dann sogar noch Nachteile dadurch erfahren.

Ich sehe das auch als bewusste Täuschung an.

 

[markus88]

Stellt Euch einfach mal vor, Euer Provider würde im Speedtest 100Mbit/s liefern und Euch sonst überall auf 10Mbit/s drosseln, weil ihr ja fast nie die Leistung braucht... Ohh, da würdet Ihr aber direkt durch die Decke gehen. Auch beim Desktoprechner wäre es doch hirnlos, wenn CPUs für einen fünfminütigen 3DMark- Run auf 5GHz hoch gehen würden, die bei normalen Anwendungen über eine Stunde hinweg total instabil wären. Man führt Benchmarks aus, um die Leistungsfähigkeit der Hardware zu vergleichen und beeinflusst damit Kunden zum Kauf, die möglicherweise in der Praxis dann sogar noch Nachteile dadurch erfahren.

Ich sehe das auch als bewusste Täuschung an.

"Benchmarks". Gibts dazu die Sources? Nein? Schade .. dann ist es nur ein Tool das irgendwelche nicht nachvollziehbaren Zahlen auswirft.
AMD und Nvidia regarieren übrigens beide schon seit jeher "anders" auf Heaven und 3DMark und das kümmert auch niemanden. In FurMark geht das sogar soweit dass eigene sonst ungenutzte Schutzmechanismen zugeschaltet werden. Aber ja, "Bechmark".

Der Typ oder? Imgur: The most awesome images on the Internet

Wenn man Ergebnisse für Alltags-Apps haben möchte, soll man doch mit diesen Testen.
Täuschung ist es zu suggerieren dass ein einfaches Tool die Performance von Alltags-Apps nachstellen und bewerten kann. Und das alles noch ohne Faktoren wie Cherrypicking.

mfg,
Markus

 

[DragonTear]

Wenn man Ergebnisse für Alltags-Apps haben möchte, soll man doch mit diesen Testen.

Hast du gelesen was n0dder geschrieben hat?
Und Fettschreiben macht einen Post nicht unbedingt sinnvoller...

Klar sind Benchmarks auch nicht das Ideale, aber was besseres und gleichzeitig praktikables gibt es nicht.
Furmark wird außerdem selten als benchmark für Leistung genutzt, sondern nur zum Messen der max Temperatur.