Handys

Huawei räumt Benchmark-Manipulation bei diversen Smartphones ein

Spätestens seit Mitte 2013 ist bekannt, dass auch Smartphone-Hersteller Benchmark-Resultate verfälschen. Die ertappten Unternehmen gelobten in schöner Regelmäßigkeit Besserung, eine abschreckende Wirkung hatte das aber nicht, wie sich zeigt. Denn eine genauere Inaugenscheinnahme zeigt, dass Huawei bei diversen neuen Smartphones für falsche Werte gesorgt hat. Die Verantwortung dafür schiebt man auf andere.

Entdeckt wurde der Betrug von Anandtech beim Testen des neuen Honor Play. Während der üblichen Messung sei man auf merkwürdige Ergebnisse gestoßen, die nicht zum verbauten Kirin 970 passten, bzw. sich nicht mit den Werten übereinstimmten, die das im Frühjahr vorgestellte P20 liefert. Das nahm man zum Anlass, einige Geräte mit dem gleichen SoC erneut zu testen, dieses mal gründlicher und mit Benchmark-Versionen, die nicht erkannt werden konnten. Das Ergebnis: Alle überprüften Smartphones verfügen über eine Benchmark-Erkennung, die das Leistungsverhalten des SoCs manipuliert.

Beim Honor Play sorgt die im GFXBench (T-Rex Offscreen) nahezu für eine Verdoppelung der Framerate von etwa 66 auf 127 fps. Gleichzeitig steigt der durchschnittliche Energiebedarf während des Benchmarks von knapp 4,4 auf annähernd 8,6 W. Im 3DMark (Sling Shot 3.1 Extreme Unlimited Graphics) liegt das Plus bei 38 %, das Huawei P20 ist im gleichen Test 25 % schneller, das P20 Pro (Test) immer noch 7 %.

Dem Bericht zufolge hat Huawei dabei auf eine besondere Form der "Optimierung" zurückgegriffen. War es beispielsweise beim Galaxy S4, HTC One M8 oder beim OnePlus 3T üblich, die SoC-Taktraten über das eigentliche Maximum hinaus anzuheben, wird es hier als umgekehrte Herangehensweise beschrieben. So ruft der Kirin 970 nur dann seine volle Leistung respektive die beworbenen Maximaltaktraten ab, wenn ein Benchmark erkannt wird. Hier greift dann auch das thermische Limit nicht mehr oder erst sehr viel später. Jegliche andere Software läuft hingegen früh in die Begrenzung.

Warum Huawei sich für das Verfälschen entschieden haben könnte, zeigt eine genauere Analyse des Energiebedarfs. Ausgehend von einem „gesunden" Limit in Bezug auf den SoC-Bedarf von etwa 3,5 bis 4,4 W, wäre der Kirin 970 deutlich langsamer als seine Konkurrenten. Denn schon unter normalen Umständen, also nicht erkannten Benchmarks, operiert der SoC im Bereich des üblichen Limits. Alles darüber führt nicht nur zu einer schnelleren Leerung des Akkus, sondern unter Umständen auch zu einer verkürzten Lebensdauer des Smartphones.

Im Gespräch mit Anandtech räumte Huawei die Vorwürfe ein, verwies jedoch auf namentlich nicht genannten Mitbewerber aus China. Diese würden ebenfalls bei Benchmarks betrügen, weshalb man zu diesem Mittel greifen müsse, um wettbewerbsfähig zu bleiben. Was zunächst zumindest in Teilen verständlich klingt, entpuppt sich jedoch schnell als bloße Ausrede. Denn im gleichen Gespräch verwies man darauf, dass Benchmarks für den Alltag keine oder nur eine sehr geringe Aussagekraft hätten.

Während letzteres sehr zutreffend ist, verblüfft es angesichts der Tatsache, dass vor allem die Tochtermarke Honor bei Smartphone-Präsentationen immer wieder auf die hohe Leistung vor allem in Bezug auf Gaming verwiesen hat und dafür auch auf Benchmark-Resultate zurückgegriffen hat.

Zumindest eine Konsequenz hat der Bericht inzwischen gehabt. Denn wie UL, Mutter des 3DMark-Entwicklers Futuremark mitteilt, hat man eigene Nachtests durchgeführt und in Folge dessen das P20 Pro, Nova 3 und Honor Play aus den eigenen Ranglisten entfernt. Hinzu kommt das P20, das aufgrund der Anandtech-Recherche nicht mehr geführt wird. Begründet wird dieser Schritt mit der Verletzung der Nutzungsregeln für Gerätehersteller. Diese untersagen unter anderem eindeutig eine Leistungsanpassung aufgrund der Erkennung eines Benchmarks. Doch bei Huawei arbeitet man bereits an einer Lösung, um wieder aufgenommen zu werden. Gegenüber UL teilte das Unternehmen mit, dass man plant, einen „Performance-Modus" zu integrieren, den Nutzer aktivieren können. Dieser soll die Leistung auf das Niveau anheben, dass derzeit auch nach dem Erkennen eines Benchmarks abrufbar ist.