Der Kritiker der Methode, die aktuell fabriziert wird, muss nicht die Antwort auf das WIE liefern, sondern will lediglich anmerken, dass es aktuell scheiße läuft, wie es läuft.
An der Stelle machst du es dir imho auf mehreren Ebenen zu einfach.
Du bist Mitglied im Hardwareluxx-Team - zwar "nur" als Moderator und damit höchstwahrscheinlich nicht in Tests eingebunden, ein Team-Mitglied bist du aber. Und Hardwareluxx testet CPUs im Prinzip nach genau diesem Schema, welches du hier kritisierst. Als Team-Mitglied könntest du dich nun natürlich hervorragend einbringen: Verbesserungen vorschlagen und helfen, diese umzusetzen. Machst du scheinbar nicht sondern sagst öffentlich, dass du die Tests bzw. deren Ergebnisse als nicht relevant einstufst bzw. sogar generell in Frage stellst.
Das wirft für mich ein gelinde gesagt merkwürdiges Licht auf dich.
Und dann kommt der Teil meiner Kritik, welcher nichts mit der Team-Zugehörigkeit zu tun hat: Sich hinzustellen und zu sagen, dass es scheiße läuft (deine Worte!), du aber nicht dafür verantwortlich bist, das bessere WIE zu definieren, ist Internet-Buzzwording par excellence. Wo wären wir heute nur, wenn es diese hervorragende Möglichkeit des Internets, etwas zu sagen und gleichzeitig doch nichts zu sagen, nicht gäbe...
Kritisieren ist immer äußert bequem und einfach. Es auch tatsächlich besser zu machen trennt dann die Spreu vom Weizen.
Du benennst viele der Probleme völlig korrekt. Kurze Benchmarks, One-Click-Benchmarks, synthetische Workloads - das alles ist in der Tat ein Problem. Aber es ist ein Problem, für welches bisher noch keine zufriedenstellende Lösung gefunden wurde. Gäbe es die, so würden es bestimmt viele Redaktionen anders machen. Im Endeffekt zeigen mir deine Aussagen aber, dass du noch nie ernsthaft an einem Review beteiligt warst. Denn wärst du das, so würdest du manche Sache anders sehen und die eine oder andere Aussage stecken lassen.
Ein meiner Meinung nach wichtiger Punkt bei synthetischen Benchmarks ist auch der Vergleich von Artikeln untereinander. Wenn sich Artikel in den Ergebnissen des gleichen Produktes widersprechen, weil jeder zwar reale Anwendungsszenarien testet, die genutzten Einstellungen aber dramatisch voneinander abweichen, dann ist auch keinem so wirklich geholfen. Dann gäbe es wieder Diskussionen, die Redaktion hätte X bevorzugt und Y benachteiligt. Natürlich nur mutwillig und voller Absicht, weil das ja der einzige Zweck der Reviews von Redaktion <insert Name here> ist (überspitzt gesprochen). An dieser Stelle helfen vordefinierte Benchmarks wie 3DMark, Cinebench, HandBrake und Co., eine (eingeschränkte) Vergleichbarkeit zwischen verschiedenen Tests herzustellen. Natürlich dürfen solche Tests nicht den einzigen Reviewinhalt darstellen - sie aber zu verteufeln, weil man der Meinung ist, der testende Redakteur sei zu faul, ist dabei aber definitiv zu kurz gedacht.
Ein zweiter Punkt, der für die Verwendung von synthetischen Tests spricht, ist das Thema Nachvollziehbarkeit. Wenn ich ein Review lese und mit der gleichen Hardware zu Hause "gegenteste", dann bekomme ich bei Tests wie 3DMark oder Cinebench Ergebnisse im gleichen Bereich (+/- ein paar Prozent). Ganz einfach, weil die dort durchgeführten Tests "standardisiert" sind und ich mich nicht mit dutzenden Einstellungen herumschlagen muss (von denen ich vielleicht nicht mal weiß geschweige denn deren Funktion bzw. Wirkung kenne), bis ich zu einem nachvollziehbaren Ergebnis komme.
Natürlich wird jetzt auch wieder das Argument kommen, dass man ja alles auch dokumentieren kann. Es gibt aber irgendwo auch Grenzen dessen, was sinnvoll dokumentiert werden kann. Wenn ich für 10 Seiten Review 30 Seiten Dokumentation schreiben muss, dann passt Aufwand und Nutzen für mich nicht mehr. Es nutzt nichts, wenn man das perfekte Review samt aller Dokumentationen zaubert und ein einziger Leser auf der Welt jubelt, weil sein Anspruch exakt getroffen wurde, der Rest der Leser dann aber nichts mit den Ergebnissen anfangen kann. Eine gewisse Balance muss gegeben sein und dies auch bleiben. Der Leser, und da gebe ich Don ebenfalls recht, muss in der Lage sein, die Testergebnisse auch selbst interpretieren zu können. Ist das nicht gegeben, so hilft auch das tollste Realworld-Anwendungsszenario nicht.
Was spricht denn dMn FÜR MT Volllasttestes in Reviews? Wem bringt es was zu sehen, dass ein TR Kreise in "Anwendungen" um nen 3600er Ryzen dreht, wenn er keine der Anwendungen oder ähnliche Szenarien nutzt?
Ich habe oben ja bereits zwei Punkte genannt, die für die Verwendung von synthetischen, geschlossenen Benchmarks spricht: Vergleichbarkeit und Nachvollziehbarkeit. Das ist natürlich nur unter dem Aspekt sinnvoll, als dass diese Tests nicht alleinig im Review Verwendung finden dürfen.
Bleiben wir trotzdem noch einmal bei deiner Fragestellung: Wer für eine solche Erkenntnis (Threadripper ist in MT schneller als ein 3600) ein separates Review benötigt, der sollte sich vielleicht besser an jemanden wenden, der ihn berät.
Aber selbst hier habe ich folgende Einwände an deiner Aussage:
1. Sich zwei Extreme bei dem konstruierten Vergleich herauszupicken ist nicht zielführend. Der eine User will vielleicht wissen, wie das Geschwindigkeitsverhältnis von 3600 zu 3900X aussieht, den nächsten interessiert wieder der Vergleich zwischen 3900X und 3960X. Wären denn diese Vergleiche nach deinem Gusto legitim und sinnvoll? Ja? Nein? Vielleicht? Wenn man dann diese Daten eh erhoben hat, ist als Abfallprodukt auch der Vergleich 3600 zu 3960X möglich - ob der sinnvoll ist oder nicht, steht auf einem ganz anderen Blatt. Kaum jemand wird ein Review verfassen, was als oberstes Ziel den Vergleich eines Sechs- und eines 24-Kerners hat.
2. Du hast dir jetzt den 3600 und einen Threadripper herausgepickt, um einen deiner Meinung nach kruden Vergleich zu präsentieren. Doch wo ist hier die Grenze? Ist nicht auch ein Vergleich zwischen 3600 und 3950X schon arg schief (6 Vs. 16 Kerne, ~170 Euro Vs. ~770 Euro)? Oder ist das OK, weil es ja immerhin der gleiche Sockel ist? Was ich damit sagen will: Was sinnvoll zu vergleichen ist oder nicht, liegt im Auge des Betrachters. Was für dich absoluter Nonsens sein mag, macht für den nächsten Leser genau den richtigen Vergleich aus.
Und auch das müssen Reviews heutzutage leisten: Die Befriedrigung verschiedenster Ansprüche - jeder will sich irgendwie in den Ergebnissen wiederfinden. Bei dem einen User klappt das mehr, bei dem anderen User weniger. Es wird nie ein Review geben, was alle Ansprüche gleichermaßen erfüllt - es muss eine gewisse Balance gefunden werden. Dessen muss man sich ebenfalls bewusst sein. Zudem ist eine Redaktion, welche sich zu sehr spezialisiert, auf lange Sicht meist nicht überlebensfähig. Unterm Strich steht man dann vor der Frage: Gar kein Review oder lieber ein Review, welches zwar nicht perfekt ist, aus dem man aber trotzdem etwas ableiten kann?
Überspitzt gesprochen ist es im Internet doch ohnehin immer so: Entweder, das Review XYZ passt einem perfekt in den Kram oder aber es ist die Bits nicht wert, aus denen es besteht. Und im Zweifelsfall ist der Redakteur zu doof und zu faul, es richtig zu machen - also kann er es gleich ganz sein lassen. Jeder
weiß es besser, aber keiner
macht es besser. Daher kann ich nur sagen, dass Redakteure ziemlich arm dran sind - sie können nämlich nur verlieren. Das ist dann wie bei einer Fußball-WM: Da gibt es auch plötzlich 80 Millionen Bundestrainer, die es allesamt besser wissen - verantwortlich ist aber nur ein einziger davon.
Das ist jetzt eine ziemliche Wall-of-Text geworden, das sei mir hoffentlich verziehen. Aber je länger ich über deinen Post und deine Aussagen nachdenke, desto blöder käme ich mir als Redakteur von Hardwareluxx vor...