Benchmarking: Was hinter FCAT steckt und die Konsequenzen für Hardwareluxx

Don

[printed]-Redakteur, Tweety
Thread Starter
Mitglied seit
15.11.2002
Beiträge
26.967
<p><img src="/images/stories/logos/hardwareluxx_news_new.jpg" width="100" height="100" alt="hardwareluxx news new" style="margin: 10px; float: left;" />Derzeit wird bei den Tests der aktuellen Grafikkarten vor allem eines heiß diskutiert: Wie und was wird eigentlich gemessen? Kommt kein synthetischer Benchmark mit Punkte-System oder eine integrierte Version des Spiels bzw. der Engine zum Einsatz, verwenden die meisten Redaktionen und auch wir FRAPS. Das Rendering eines Frames ist sehr komplex und führt durch unterschiedliche komplexe und vor allem tiefe Rendering-Pipelines. FRAPS klemmt sich an den Anfang dieses Prozesses, misst also wie viele Frames in die Pipeline hineingeschickt werden, kann aber nicht mehr messen, wann und vor allem nach welcher Zeit diese die Pipeline wieder...<br /><br /><a href="/index.php/news/hardware/grafikkarten/25906-benchmarking-was-hinter-fcat-steckt-und-die-konsequenzen-fuer-hardwareluxx.html" style="font-weight:bold;">... weiterlesen</a></p>
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ehrlich gesagt kann ich diesen Hype auf die Messmethoden so aktuell gar nicht nachvollziehen...

Und auch das "Rumhacken" auf Fraps nicht...
Speziell der Vergleich zu InGame Benches bzw. synthetischen Benchmarks heist ja auch lange nicht, das diese ihre FPS Messungen weiter "hinten" abgreifen. -> Ergo ist das alles nicht per se das Gelbe vom Ei.


Dazu kommt der Umstand, das es eigentlihc vollkommen egal ist, wo man die Frames abgreift. Denn es werden Durchschnittswerte gebildet.
Wenn ich nun 1 Sekunde vor der Renderpipline lang Frames durchmesse, bekomme ich den Wert, der binnen einer Sekunde dort eingekippt wird. OK.
Wenn ich nun 10 Sekunden vor der Renderpipeline lang Frames durchmesse, bekomme ich den Wert, der binnen 10 Sekunden dort eingekippt wird -> ebenso OK
Und wenn ich das 100 Sekunden mache, hab ich den Wert von eben 100 Sekunden.

Um so länger ich diese Messungen aber durchführe, desto mehr Frames werden auch auf dem Schirm ausgespuckt. Da idR sowieso NUR! AVG. FPS Werte als sinnvolles Vergleichsmittel benutzt werden macht ein Frametimeunterschied oder sonstwedes unkonstantes/schwankendes Einwirken die Werte nicht anders oder besser/schlechter. Denn auch die Messung dahinter würde annähernd das selbe Ergebnis bringen. Denn wenn beispielsweise genau 10.000 Frames vorn eingekippt und mit Fraps ermittelt werden, kommen hinten ganau so 10.000 Frames mit nem anderen speziellen Analyseverfahren wieder raus. Da brauch ich keine aufwendige Methode um dies vorherzusagen.

Wo ich mitgehen würde, sind genaue Frametime Analysen. Nur ganz ehrlich, wer kann damit in der freien Spielerwelt etwas anfangen? Die meisten wird das nicht interessieren.
Somit sehe ich für die Redationen auch keinen Vorteil einer solchen genaueren Analyse.
Auch würde die größte Herausforderung seitens der Redaktionen dann eher dort liegen, die Werte objektiv zu beurteilen. Ein vorsichtig ausgedrückt überempfindlicher Redakteur sieht Frametimeunstimmigkeiten deutlich stärker als eine "unempfindliche Blindschlange". -> Hier liegt die Gefahr. Objektive Reviews von Hardware sind somit bestenfalls noch eingeschränkt möglich. Eine Beurteilung der Werte ist rein subjektiv. Da der Redakteur einfach nicht vorgeben kann bzw. sollte, ab welchem Punkt es "kritisch" oder negativ wird und ab wann nicht.

Das man sowas ggf. mit ein paar Einzeltests speziell und losgelöst vom Rest des Tests machen kann -> OK. Für die paar mehr Technik interessierten Menchen dürfte sowas dann von Wert sein.
Für die Masser aller potentiellen Kartenkäufer wird es so oder so bleiben. Das avg. FPS das Maß der Dinge sind. Und ich brauch auch nicht hellsehen um zu sagen das ne Karte, die 50 avg. FPS in die Pipeline einkippt deutlich angenehmer zu spielen ist, als ne Karte, die nur 25 avg. FPS in die Pipeline einkippt. Da liegen Welten Unterschied zwischen...


EDIT:
wenn man den Spaß mal weiter treibt, könnte man gleich alle Verbrauchs und Lautstärketests in die Tonne treten. Denn da spielen viel zu viele Faktoren jenseits der reinen GPU oder alternativ der ganzen Karte mit rein ;)
Speziell auch bei beiden Werten macht das getestete Stück Software einen Himmelweiten Unterschied ob nun wenig oder viel Verbrauch, bzw. laut oder leise aus. Und Karte A muss an der Stelle gar nicht mit Karte B vergleichbar sein.
Gesamtsystemessungen, wie von vielen Redaktionen üblich machen den Spaß noch weniger aussagekräftig.
 
Zuletzt bearbeitet:
Sehr interessant zu sehen, wie kompliziert das mittlerweile geworden ist. Früher hat man einfach 15 min. Qua*e gespielt und dann war die Sache geklärt...

... auch hätte ich Sorge, mit einem NVidia Benchtool einen allgemeinen Benchmark-parcour aufzubauen.
 
Dazu kommt der Umstand, das es eigentlihc vollkommen egal ist, wo man die Frames abgreift. Denn es werden Durchschnittswerte gebildet.
Wenn ich nun 1 Sekunde vor der Renderpipline lang Frames durchmesse, bekomme ich den Wert, der binnen einer Sekunde dort eingekippt wird. OK.
Wenn ich nun 10 Sekunden vor der Renderpipeline lang Frames durchmesse, bekomme ich den Wert, der binnen 10 Sekunden dort eingekippt wird -> ebenso OK
Und wenn ich das 100 Sekunden mache, hab ich den Wert von eben 100 Sekunden.

Ich verstehe die Argumentation von Nvidia und AMD hier nicht. Klar ist FCAT genauer, aber es sollt doch prinzipiell egal sein, wo etwas in der Pipeline abgegriffen wird, solange es immer an der gleichen Stelle passiert.
Die Ergebnisse mit Fraps sind absolut okay und das kann die Redaktion meiner Meinung nach auch sehrt gut verwenden.
FCAT ist einfach viel zu viel Aufwand und der Nutzen tendiert für mich eher gen Null.
 
Vor allem wollte ja AMD ihr Speichermanagement überarbeiten.


Das würde dies ja wieder überflüssig machen...
 
Ich verstehe die Argumentation von Nvidia und AMD hier nicht. Klar ist FCAT genauer, aber es sollt doch prinzipiell egal sein, wo etwas in der Pipeline abgegriffen wird, solange es immer an der gleichen Stelle passiert.
Die Ergebnisse mit Fraps sind absolut okay und das kann die Redaktion meiner Meinung nach auch sehrt gut verwenden.
FCAT ist einfach viel zu viel Aufwand und der Nutzen tendiert für mich eher gen Null.

Es ist dann nicht mehr egal, wenn du gleichmäßig etwas hinein steckst, was dann aber ungleichmäßig am Ende herauskommt. Genau das ist hier der Punkt für FCAT.
 
Ehrlich gesagt kann ich diesen Hype auf die Messmethoden so aktuell gar nicht nachvollziehen...
Da kann ich mich nur anschliessen. Man kann messen was man will, im Endeffekt bleibt das meiste sowieso am individuellen Empfinden und der jeweiligen Szene hängen.

Ich finde, was FRAPS macht ist gar nicht so verkehrt. Present() abgreifen, also der Zeitpunkt wo das Bild ausgegeben werden sollte, und dann schauen welche Zeit von einem bis zum nächsten Present() vergeht. Auch wenn das natürlich nicht vollständig akkurat ist, mehr kann man auf User-Ebene nicht machen. Und genau darauf müssen sich ja auch Entwickler verlassen. Für den Rest sind dann einfach die Grafikchiphersteller verantwortlich. Eigentlich müsste man zweimal die Zeiten abgreifen. Damit liesse sich besser beurteilen, was auf den Grafikchiphersteller und was auf den Spieleentwickler abfällt. Einmal vor Present() und einmal nachdem das Bild ausgegeben wurde. Das Problem ist nur, man kann nicht einfach nach Present() ansetzen, da dies asynchron arbeitet.
 
Zuletzt bearbeitet:
Es ist dann nicht mehr egal, wenn du gleichmäßig etwas hinein steckst, was dann aber ungleichmäßig am Ende herauskommt. Genau das ist hier der Punkt für FCAT.

Das unsinnige ist ja aber, das wir über avg. FPS sprechen. Sprich wir sprechen über einen Mittelwert, einen Durchschnitt an Frames über eine Zeiteinheit X.
Das heist, du kippst ne beliebige Anzahl an Frames oben rein und willst wissen, was in Summe in der Zeiteinheit X hinten rauskommt. Genau das sind avg. FPS. min. FPS ist dabei der Wert, der am niedrigsten in der gemessenen Zeiteinheit ist. Und max. FPS ist der Wert, der am höchsten ist. Nur ist eben FPS schon ein Durchschnitt. Denn es sind Frames pro Sekunde. avg. FPS ist sozusagen der Durchschnitt vom Durschnitt und somit per Definition schon einfach ungenau!
Dieser Durchschnittswert ist aber auch nicht dafür gemacht, zu sagen, wie etwas hinten rauskommt... Genau das ist der Fehler in der Argumentation, den ich hier potentiell sehe.

Man versucht scheinbar aktuell vermehrt genau zu analysieren, wie die Frames (in welchem Abstand genau) diese hinten am Monitor ankommen.
Ob das aber die Masse interessiert? Wage ich persönlich zu bezweifeln. Denn die meisten wissen doch nichtmal aus dem Hut, wie die durchschnittlichen Frametimes bei 30, 40 oder 50 FPS genau sein müssten. Bestenfalls kramt man sogar erst den calc.exe raus um nachzurechnen (wenn man weis wie :fresse:)

Was aber durchaus Fakt sein dürfte. Die meisten wissen mit den FPS Werten was anzufangen. Man weis im Game X kann man bei beispielsweise 30 FPS anständig spielen. Bei Game Y sind es vllt erst 40 FPS.

Und was an der Stelle auch vollkommen untergeht, ist der Monitor... Klar kann man messen, was direkt hinten am GPU Port rauskommt. Wenn der Monitor aber dann schlampt, hast du zwar genaue Werte von der Grafikkarte, siehst aber dennoch nur "Murks" auf dem Schirm. Da fallen mir Spontan so Geschichten wie Videos ein ;) Stimmt dort die Framerate nicht oder sind die Settings suboptional, hast du ein monotones hängen im Film. Das hast du aber hinten am Grafikkartenausgang nicht ;) Deswegen läuft es dennoch scheiße.

Der Artikel von PCPer zeigt seht deutlich wo das Problem mit Fraps liegt. Die gemessenen Werte entsprechen bei einem mGPU System nicht dem, was hinten rauskommt:

http://www.pcper.com/reviews/Graphi...ils-Capture-based-Graphics-Performance-Test-3

Das ist aber schlicht falsch...
Den FPS sind nunmal per Definition Frames pro Sekunde. Und somit NUR! ein Durchschnittswert der Anzahl aller Bilder pro Sekunde. Und nicht mehr und nicht weniger.

Wenn du sagen wir 59 Frames mit nem Abstand von jeweils genau 1ms hintereinander hinten ausspuckst, und das 60. Frame erst nach 941ms, sind das immernoch im 60 FPS. Denn das Teil spuckt 60 Bilder pro Sekunde aus. Und hier ist die Maßeinheit FPS.


Was ihr/du wollt, sind Frametimeanaylsen. Nur taugt dafür eben nicht der Wert FPS. Sondern man misst genau die Zeitabstände in ms oder ns zwischen Bildern, wie sie hinten bei raus kommen.
Das einzige Mittel, wie man diese schematisch darstellen kann, sind Frametimeverlaufsdiagramme. Ist ne Linie gerade, so ist es gleichbleibend. Ist ne Linie wiederkehrend zackig (hoch und runter), so sind die Frametimes eher suboptional. Nur wer kann damit nun irgendwas anfangen!? Anhand dieser Analysen kann man nicht sehen, ob irgendwas flüssig ist oder nicht. Speziell wenn die Linie zackig ist. Genau das ist das Problem an der ganzen Geschichte...
Und bei Games hast du (ohne irgendwelche Limiter) schlicht nie wirklich gerade Linien.

Noch dazu müsste man den Spaß auf wenige Einzelframes beschränken. Denn hunderte Messwerte stellen sich in einem Liniendiagramm schlicht nicht sauber dar... Heist irgendwie vllt 30-60 Messwerte. Das entspricht dann bei im Schnitt ~10ms Abständen gerade mal ner Benchdauer von 600ms und somit nichtmal einer Sekunde. Selbst bei 20ms Abstand hast du gerade mal knapp über ne Sekunde analyisert.
Worst Case Szenen oder allgemein wechselnde Szenen analyisert man damit aber einfach nicht...

Frametimeanalysen sind ein Mittel, um die allgemeine Frameausgabe von Grafikkarten in einem speziellen Spiel zu vergleichen. Aber nicht! um allgemein die Durchschnittliche Leistungsfähigkeit gegenüber zu stellen. Denn dafür sind die analysierten Szenen zu kurz.

Wenn man nun anfängt, an FPS Werten rumzumeckern, kann man sich den Spaß mit Reviews in meinen Augen ganz schenken. Denn die verwendete Testhardware ist idR weit jenseits dem, was Zuhause bei den Kunden steht. Die Lautstärke/Verbrauchsmessungen werden subjektiv bewertet, die Spieleauswahl kann ein Stück Hardware massiv bevorzugen, oder benachteiligen usw. Das sind alles punkte, die man aufgreifen kann. Nur greift man gerade den Punkt auf, der das in meinen Augen einzige sinnvolle vergleichsmittel untereinander für die allgemeine Leistungsfähigkeit ist.
Und spielt man das mal etwas weiter... Kommt ein neuer Treiber, sind alle Messwerte vollkommen für den Po ;) Denn dreht der Hersteller am Ausgabeverfahren, ist nichts mehr mit einander vergleichbar. Im positiven, als auch im negativen Sinne :fresse:
 
Zuletzt bearbeitet:
Die Werte von FCAT sind vor allem für AMD Karten teilweise VÖLLIG hirnverbrannt. Wenn ich mir anschaue, dass da teilweise komplette Frames in 1/1000 der Zeit des nächsten Frames gerendert werden soll, dann ist das ziemlich unrealistisch.

Ich wusste bis heute nicht, dass das Tool von nVidia kommt. Jetzt ist mir aber so einiges klar... Mich hat es eh immer schon gewundert, wie die sich in die Treiber rein hacken, um das zu machen...

Allein schon die Zeit richtig zu bestimmen ist in dem Bereich nicht immer trivial. Die Systemzeit ist ja viel zu gering in der Auflösung dafür. Man muss also mit so was wie dem RDTSC Register arbeiten.

Und selbst dann bleiben einfach noch verdammt viele Fragezeichen offen.

So lange der Quellcode von dem Ding nicht offen zugänglich ist, würde ich es nur mit SEHR viel Vorsicht genießen
 
Und selbst dann bleiben einfach noch verdammt viele Fragezeichen offen.

So lange der Quellcode von dem Ding nicht offen zugänglich ist, würde ich es nur mit SEHR viel Vorsicht genießen

Das ist ja nur ein Teil...
Die genaue Analyse ziel, so wie ich das verstehe, eher darauf ab, dass mit nem zweiten System in Echzeit aufgezeichnet wird, was hinten am Monitorausgang rauskommt... Sprich capturen des Videostreams.
Diese Aufzeichnung lässt sich dann genauestens analysieren. Sprich welches Frame kommt mit genau welchem Zeitabstand zum vorherigen.

Interessant ist dabei auch, wie wir genau aufgezeichnet... Denn die Aufzeichnung müsste ja normal in nem bestimmten Takt passieren. Und der Takt müsste normal auch gleichbleibend sein. Nur ist es ja das, was hintem am Ausgang rauskommt nicht. Sprich es wäre ungenau ;) -> und somit auch für den Po.

Ja, zumindest bei MGPU-Systemen ist die Messmethode imho Pflicht, für eine seriöse Publikation.

Wieso pflicht?
Ein seriöses Publikum wird wohl den Hintergrund hinter der Maßeinheit FPS kennen ;)
 
FCAT wurde zudem von diversen Herstellern getestet und war dort ebenfalls nicht gerade überzeugend (im reinen Bezug auf den Nutzen)

Die Fraps Methode hat sich im Prinzip eingebürgert und gibt dem Kunden einen "einigermaßen" verständlichen Richtwert den er zu vergleichen versteht "Meist nur grob aber machbar".

FCAT führt im Endeffekt aber auch dazu das wesentlich mehr Komponenten Einfluß auf das Ergebnis nehmen, was ich schlichtweg als Verfälschung von Leistungswerten sehe. Würde man neue Karten nun auf FCAT testen wäre der Quervergleich zu älteren Karten nicht mehr in Relation und würde zwangsläufig falsche Ergebnisse liefern. Da der Rest des Systems neuer wird, man würde über Jahre hinweg keine vergleichbaren Werte mehr erhalten. Die direkte GPU Ausgabe ist das einzige mittel für einen "dauerhaft, fairen" Basiswert zum Vergleich.

Ich sehe FCAT maximal als ergänzenden Test um die Verluste und Overflows zu ermitteln, was aber den Endkunden im Prinzip nicht interessiert, das wäre eher für Systemintegratoren die PC Serien planen interessant.

Der Ansatz hinter FCAT ist wirklich interessant, da man sich aber an die bisherigen Testmethoden gewöhnt hat wäre es eher verwirrend diese durch eine andere Methode zu ersetzen, das spätere Ergänzen ggf. wäre hingegen sicherlich interessant.
 
Und selbst dann bleiben einfach noch verdammt viele Fragezeichen offen.

So lange der Quellcode von dem Ding nicht offen zugänglich ist, würde ich es nur mit SEHR viel Vorsicht genießen

Die gleiche Funktionalität wird momentan in den Afterburner integriert. Ich denke nicht das Nvidia so dumm ist absichtlich AMD zu benachteiligen, das würde relativ schnell auffliegen und nach hinten los gehen. IMO wollen die darauf hinweisen, dass ein SLI System flüssiger ist als ein Crossfire System und das ist ja eine gute Sache. Wäre CF nicht so mieß, würde AMD wieder mehr Enthusiasten anziehen.

Man merkt ja schon das AMD an der Sache arbeitet. Genau weil solche Dinge aufgedeckt werden, wird gearbeitet und die Software verbessert. IMO für uns alle sehr zu begrüßen.
 
Zuletzt bearbeitet:
Pflicht wegen der Ergebnisse die bei pcper zu Tage gefördert wurden.
NVIDIA GeForce GTX TITAN Performance Review and Frame Rating Update | Frame Rating Update - Why CrossFire was Omitted

Was soll die Andeutung bezüglich der FPS?

Das was an den Tag gefördert wird/wurde, ist bei einem fundiert sich informierenden Publikum aber schon geläufig ;)
Und die Anspielung an die FPS, das steht oben von mir in mehrfacher Ausführung. Wer sich direkt anhand der FPS, also einem Durchschnittswert, einbildet, genau zu wissen, wie die Frames auf den Monitor wandern, der hat den Sinn von Durchschnittswerten nicht verstanden.

Was ich aber in deiner Verlinkung viel interessanter finde:
"The basic premise of Frame Rating is that the performance metrics that the industry is gathering using FRAPS are inaccurate in many cases and do not properly reflect the real-world gaming experience the user has."
Den interessanten Teil habe ich mal markiert.
Wieso nutzt man denn in Redaktionen bitte OCed CPUs, geschönte minimal Installationen, immer frisch aufgesetzte Installationen der Games/des OSes, Reboots zwischen den Tests. Dazu misst man oftmals mehrere Durchgänge und bildet abermals Durchschnitte um Außreißer zu eliminieren usw. -> das macht doch schon ein normaler Mensch nicht. Sprich die "real-wold gaming experience" ist so oder so nicht vergleichbar mit dem, was der User Zuhause sieht.

Genau das ist der Punkt... Die Reviews wollen/sollen gar nicht wiederspiegeln, wie es genauestens läuft. Sondern sollen vergleichen zwischen A und B. (SGPU) Oder von mir aus auch zwischen A und A + A und B sowie B + B. (SGPU + MGPU) Und das unter möglichst gleichen Bedinungen, wo ein Vergleich Sinn ergibt.

Kein wirklich rational denkender Mensch würde diese Werte exakt 1:1 auf seine Gamerschüssel Zuhause anwenden...
Hat er anstatt nem 4,5GHz i7-3770 (wie ihn CB verwendet) nur nen alten Q9550 oder i3/i5 irgendwas. Am besten noch im Standardtakt. Nutzt ihm diese Frametimeanalyse Null komma gar nix... Denn er hat schlicht vollkommen andere Werte Zuhause auf seinem Schirm. Es ist nichtmal nice to know, das es so ist, wie man dort misst. Denn es wirkt sich ganz anders aus, wenn man andere Hardware, andere Settings, andere Games usw. Zuhause spielt.
Wem sollen diese Werte also was nutzen?

Und gerade MGPU Systeme sind davon enorm betroffen. Denn hast du dort zu wenig CPU Power, hast du massiv schnell ein CPU Limit. Im CPU Limit hast du aber oftmals auch schön glatte Frametimes ;)

Nur weil es neu ist, soll es nichts taugen? Was ist das für eine Argumentation. :wut:

Was meinst du genau?
Die Messmethode taugt nicht nicht, weil sie "neu" ist. Sondern sie taugt viel eher nicht, weil sie nicht vergleichbare Werte ermittelt.
 
Zuletzt bearbeitet:
Das was an den Tag gefördert wird/wurde, ist bei einem fundiert sich informierenden Publikum aber schon geläufig ;) (1)
Und die Anspielung an die FPS, das steht oben von mir in mehrfacher Ausführung. Wer sich direkt anhand der FPS, also einem Durchschnittswert, einbildet, genau zu wissen, wie die Frames auf den Monitor wandern, der hat den Sinn von Durchschnittswerten nicht verstanden. (2)

Was ich aber in deiner Verlinkung viel interessanter finde:
"The basic premise of Frame Rating is that the performance metrics that the industry is gathering using FRAPS are inaccurate in many cases and do not properly reflect the real-world gaming experience the user has."
Den interessanten Teil habe ich mal markiert.
Wieso nutzt man denn in Redaktionen bitte OCed CPUs, geschönte minimal Installationen, immer frisch aufgesetzte Installationen der Games/des OSes, Reboots zwischen den Tests. Dazu misst man oftmals mehrere Durchgänge und bildet abermals Durchschnitte um Außreißer zu eliminieren usw. -> das macht doch schon ein normaler Mensch nicht. Sprich die "real-wold gaming experience" ist so oder so nicht vergleichbar mit dem, was der User Zuhause sieht. (3)

Genau das ist der Punkt... Die Reviews wollen/sollen gar nicht wiederspiegeln, wie es genauestens läuft. Sondern sollen vergleichen zwischen A und B. (SGPU) Oder von mir aus auch zwischen A und A + A und B sowie B + B. (SGPU + MGPU) Und das unter möglichst gleichen Bedinungen, wo ein Vergleich Sinn ergibt. (4)

Kein wirklich rational denkender Mensch würde diese Werte exakt 1:1 auf seine Gamerschüssel Zuhause anwenden...
Hat er anstatt nem 4,5GHz i7-3770 (wie ihn CB verwendet) nur nen alten Q9550 oder i3/i5 irgendwas. Am besten noch im Standardtakt. Nutzt ihm diese Frametimeanalyse Null komma gar nix... Denn er hat schlicht vollkommen andere Werte Zuhause auf seinem Schirm. Es ist nichtmal nice to know, das es so ist, wie man dort misst. Denn es wirkt sich ganz anders aus, wenn man andere Hardware, andere Settings, andere Games usw. Zuhause spielt.
Wem sollen diese Werte also was nutzen? (5)

Und gerade MGPU Systeme sind davon enorm betroffen. Denn hast du dort zu wenig CPU Power, hast du massiv schnell ein CPU Limit. Im CPU Limit hast du aber oftmals auch schön glatte Frametimes ;) (6)

Entschuldige bitte das soll kein persöhnlicher Angriff sein, aber es ist für eine Diskussion nicht gerade förderlich soweit mit riesigen Textwänden abzuschweifen. Ich nummeriere mal der Einfachheit halber ...

(1) Geläufig ja, einwandfrei bewiesen nicht. Man schaue sich nur mal den Aspekt der "gefakten" Frames bei AMD Karten an ...

(2) Natürlich sagen allein die durchschnittlichen FPS nichts über ihre "Entstehung" aus. Weder habe ich das behauptet noch ist das ein Negativpunkt für die neue Messmethode.

(3) Und weil es am einen Ende Abweichungen zur Realität gibt darf man am anderen Ende nicht nachbessern? Wobei man ja nicht nur nachbessert in Bezug auf die Messung der Frames sondern (für den Durchschnittsuser) neue Pros/Kontras für Karte XY darstellt.

(4) Ja, klar gleiche Bedinungen. Auch hier wieder: Weder habe ich irgendwo ungleiche Bedingungen gefordert noch sorgt die neue Messmethode für solche.

(5) Den Leuten mit diesen Settings und Games; ein einfacher Hinweis sollte genügen, dass die Werte nicht 1:1 zu übertragen sind. Und wenn sich herausstellt das Hersteller X doppelt so häufig Probleme bei Y wie Hersteller Z hat, dieser aber widerum bei einer anderen Sache kann man sich doch daran orientieren, je nach persöhnlichen Schwerpunkten und/oder gespielten Spielen.
Und selbst wenn man solche Dinge wie Mikroruckler ausblenden will bleiben immernoch die unverfälschten FPS-Messungen als dickes Plus.

(6) WTF? CPU-Limit? Vielleicht misst man einfach ohne?

Die gleiche Funktionalität wird momentan in den Afterburner integriert. Ich denke nicht das Nvidia so dumm ist absichtlich AMD zu benachteiligen, das würde relativ schnell auffliegen und nach hinten los gehen. IMO wollen die darauf hinweisen, dass ein SLI System flüssiger ist als ein Crossfire System und das ist ja eine gute Sache. Wäre CF nicht so mieß, würde AMD wieder mehr Enthusiasten anziehen.

Man merkt ja schon das AMD an der Sache arbeitet. Genau weil solche Dinge aufgedeckt werden, wird gearbeitet und die Software verbessert. IMO für uns alle sehr zu begrüßen.

+++

Der Verbaucher kann nur profitieren.
 
Zuletzt bearbeitet:
Die gleiche Funktionalität wird momentan in den Afterburner integriert. Ich denke nicht das Nvidia so dumm ist absichtlich AMD zu benachteiligen, das würde relativ schnell auffliegen und nach hinten los gehen. IMO wollen die darauf hinweisen, dass ein SLI System flüssiger ist als ein Crossfire System und das ist ja eine gute Sache. Wäre CF nicht so mieß, würde AMD wieder mehr Enthusiasten anziehen.

Man merkt ja schon das AMD an der Sache arbeitet. Genau weil solche Dinge aufgedeckt werden, wird gearbeitet und die Software verbessert. IMO für uns alle sehr zu begrüßen.

Das Problem ist aber, das man hier im Millisekundenbereich arbeitet.

Um genau zu sein bei 60 FPS und 1080P arbeitest du mit 1/64800 s also 1,54*10^-5 also ~15,4 µs. Wenn ich mich recht erinnere löst die Systemuhr gar nicht so genau auf. Zudem ist eben auch zumindest mir völlig unklar, wie die die Farbcodierung in die Pipeline quetschen. Je nachdem kann das eben auch wieder Dinge nicht berücksichtigen. AMD hat ja die ACEs. Kann also gut sein, das man hier einfach scheise baut bei Injektion in die Pipeline, und deswegen so komische Werte bei AMD raus kommen.

Sprich Fragen über Fragen über Fragen. Ohne offenen Quellcode, den sich dutzende von Leuten, mit RICHTIG tiefgehenden Kenntnissen, die sich das anschauen, sollte man SEHR vorsichtig sein, derartige Sachen für voll zu nehmen. Bei der Zeitmessung auf Multitask Systemen kann man soooooooooooooooooooooo viel Scheise bauen. Und das bei deutlich einfacheren Sachen als dem hier...
 
Man merkt ja schon das AMD an der Sache arbeitet. Genau weil solche Dinge aufgedeckt werden, wird gearbeitet und die Software verbessert. IMO für uns alle sehr zu begrüßen.

Was anderes bleibt ihnen auch garnicht übrig, sollen ihre Malteser nicht baden gehn. Bezweifel jedoch, das sich dieses Problem in Software lösen lässt.
 
Entschuldige bitte das soll kein persöhnlicher Angriff sein, aber es ist für eine Diskussion nicht gerade förderlich soweit mit riesigen Textwänden abzuschweifen. Ich nummeriere mal der Einfachheit halber ...

(1) Geläufig ja, einwandfrei bewiesen nicht. Man schaue sich nur mal den Aspekt der "gefakten" Frames bei AMD Karten an ...

(2) Natürlich sagen allein die durchschnittlichen FPS nichts über ihre "Entstehung" aus. Weder habe ich das behauptet noch ist das ein Negativpunkt für die neue Messmethode.

(3) Und weil es am einen Ende Abweichungen zur Realität gibt darf man am anderen Ende nicht nachbessern? Wobei man ja nicht nur nachbessert in Bezug auf die Messung der Frames sondern (für den Durchschnittsuser) neue Pros/Kontras für Karte XY darstellt.

(4) Ja, klar gleiche Bedinungen. Auch hier wieder: Weder habe ich irgendwo ungleiche Bedingungen gefordert noch sorgt die neue Messmethode für solche.

(5) Den Leuten mit diesen Settings und Games; ein einfacher Hinweis sollte genügen, dass die Werte nicht 1:1 zu übertragen sind. Und wenn sich herausstellt das Hersteller X doppelt so häufig Probleme bei Y wie Hersteller Z hat, dieser aber widerum bei einer anderen Sache kann man sich doch daran orientieren, je nach persöhnlichen Schwerpunkten und/oder gespielten Spielen.
Und selbst wenn man solche Dinge wie Mikroruckler ausblenden will bleiben immernoch die unverfälschten FPS-Messungen als dickes Plus.

(6) WTF? CPU-Limit? Vielleicht misst man einfach ohne?

Ich für meinen Teil erkläre idR was ich damit meine :fresse: da kann es auchmal was mehr Text werden... Hämmt aber gegenfragen. Wie z.B. bei dir (1)
Was sind bitte "gefakten" Frames?
Ein Frame kann per Definition nicht gefakt sein. Auch eine FPS Rate kann nicht gefakt sein. Denn es ist und bleibt ein Durchschnitt.
Und genau diese Durschnittswerte, schlimmer noch, der Durchschnitt vom Durchschnitt (avg. FPS) haben sich als Vergleichsmaßstab über die Jahre etabliert.

(2) Negativ ist die Methode deswegen, weil man anhand der Werte keine Spielbarkeit und keine prozentuale Leistungsfähigkeit ableiten kann. -> Meine Meinung.
(3) Der hervorgehobene Teil zielt doch offensichtlich auf die Vergleichbarkeit zwischen den Tests und dem, was der User Zuhause hat ab. Nur setzt er eben an einer Stelle an, die so oder so nicht vergleichbar hinzubekommen ist. In meinen Augen sind hingebogen negative Werte genau so nix wert. Und hingebogen negativ sind sie genau dann, wenn man eben Sachen wie CPU OC, ne spezielle Gameauswahl, speziell kurze Szenen usw. in der Redaktion aufruft um dem Endkunden quasi zu bescheinigen -> hier läuft was nicht sauber.
Den Endkunden nutzt das Wissen aber nix. Denn er hat ne ganz andere Auswahl an Komponenten und Games im Regal. Somit hat er auch ganz andere Werte. Nichtmal ne Tendenz (pro/contra) lässt sich abgeben. Denn es ist eben massivst Abhängig vom Testaufbau und den Games.
5 Games laufen mist, 5 Games laufen gut. Redaktion A testet die ersten 5 Games, Redaktion B die zweiten 5. Fazit vollkommen unterschiedlich -> was darf der User nun glauben?
(4) siehe oben. Ungleich ist und bleibt der Vergleich zwischen Reaktionswerten und dehnen, die der User Zuhause hat.
(5) Als zusatz ja, als Ablöse für aktuelle FPS Messungen? Nicht tragbar. In deinem Beispiel steht doch schon, ein Game so, ein Game so. Das gibt hunderte verschiedene Fazite. Wen bringt das weiter? Die allgemeine Vergleichbarkeit unter den Karten ist dabei noch nichtmal benannt. Denn Karte A agiert im FPS Bereich von vllt 40-50 und hat entsprechend hohe Frametimes mit entsprechend hoher subjetiver Wahrnehmung von Unstimmigkeiten. Karte B hat 80-90 FPS und extreme Unstimmigkeiten -> fällt aber aufgrund der kurzen Frameabstände nicht auf. Wie lautet das Fazit? Es ist und bleibt subjetiv.
(6) schwer bis unmöglich. Speziell bei 3-4 GPU Gespannen. Und auch das ist wieder so ein Punkt, der User hat keine 5,5-6GHz Ivy im PC. Spielt vllt nicht mit 4-8xSGSSAA und/oder Downsampling. Nur genau das brauchst du um aktuelle HighEnd CF/SLI Systeme aus dem CPU Limit zu bewegen.
Diese Methodik taugt einfach nicht als Massenvergleichsmethode. Weil alle anderen Einflüsse die Messwerte massiv beeinflussen können.
Was meinst du, warum im CB Rating Titan bei FullHD und ohne AA nur eben 25% vor der GTX680 liegt, wärend im TrippleScreen und 8xMSAA da locker 70% Unterschied zwischen sind? Bestimmt nicht, weil Titan FullHD nicht (richtig) kann...
Und jetzt stell dir das ganze bei nem User Zuhause vor, der nen default i5 oder vllt noch nen alten Core2Quad sein eigen nennt und nix mit OC am Hut hat. ;)
Und das ist SGPU. Nix SLI/CF, wo belegbar die CPU noch viel mehr in die Suppe spucken kann.
 
Warum wählt man nicht einfach eine geringe Anzahl an Pixeln (10-100), die gleichmäßig über die Bildschirmfläche verteilt sind aus, und setzt jedesmal, wenn sich bei einem der Pixel der Farbwert ändert, eine Zeitmarke. Wenn das Bild nicht vollkommen statisch ist, erhält man so mit relativ geringen Überwachungsaufwand eine genaue Framerate...
 
10-100 Pixel?
FullHD hat 2 Mio! Pixel...
Wohl zeitnah kommende 4k Display haben 8 Pio! Pixel. Und ein TrippleScreen Setup aus drei FullHD Monitoren immernoch 6 Mio Pixel.

Mit 100 Pixel und den Farbwertänderungen schaffst du keine Aussagekraft ;)
 
Den FPS sind nunmal per Definition Frames pro Sekunde. Und somit NUR! ein Durchschnittswert der Anzahl aller Bilder pro Sekunde. Und nicht mehr und nicht weniger.
Das sehe ich nicht so. Bilder pro Sekunde ist erstmal eine Einheit bzw. eine Kombination von Einheiten. Das sagt noch gar nichts über die Ermittlungsdauer aus.
Nehmen wir mal an, ich zähle wieviele Bilder in einer Sekunde berechnet worden sind. Dann habe ich damit die mittlere Fps-Anzahl in dieser Sekunde.
z.B. 60 fps.
Wieviele Bilder sind dann im Mittel in 0,5 Sekunden berechnet worden? 30 Bilder. Das ist so korrekt, obwohl der zugrundeliegende Zeitraum nur eine halbe Sekunde ist.
oder anders: Wenn ich innerhalb einer halben Sekunde 30 Bilder zähle, dann sind im Mittel 60 Bilder pro Sekunde berechnet worden.

Was bleibt ist die Frage, wie hoch wähle ich die Mittelungsdauer zur Ermittlung der Fps-Werte.
In Fraps ist meiner Erfahrung nach die Mittelungsdauer eine Sekunde lang.

Die Frage ist nun aber, welche Mittelungsdauer ist sinnvoll?

Wie ich hier in einem von vielen Beispielen schon vor längerem gezeigt habe, kann das Ergebnis stark in Abhängigkeit der angewendeten Mittelungsdauer variieren:
http://www.hardwareluxx.de/community/f153/unigine-heaven-3-0-benchmark-thread-mit-frameverlaeufen-877979-6.html

Imho kann man mit der richtigen Mittelungsdauer auch bei Bildern pro Sekunden rüberbringen, ob die Bildausgabe stark schwankt oder nicht.

ciao Tom
 
Zuletzt bearbeitet:
Dann wären es aber nicht FPS, oder doch?
Es ist leicht verwirrend. Denn das S steht ja für Sekunde nicht halbe Sekunde oder zwei Sekunden.
Sprich misst du nur ne halbe Sekunde, kannst du den Wert zwar auf eine Volle Sekunde hochmultiplizieren, aber es setzt immer vorraus, das es eben so weiter geht, wie du bisher auch gemessen hast. Denn geht es das nicht, stimmt der Spaß auch nichtmehr.

Fahre ich mit dem Auto 50km/h, komme ich 50km in einer Stunde weit. Wie ich diese 50km, also zu welcher genauen Minute wie schnell genau, fahre, sagt das ja nicht aus.
Angenommen ich fahre konstant 50km/h. Heist das, ich habe nach 30min auch 25km Weg hinter mir. Es wären somit also auch immernoch 50km/h, da gebe ich dir recht.
Aber was ist, wenn ich in den "anderen" 30min nun 100km/h fahre. Dann komme ich einmal 25km in 30min und einmal 50km in 30min. In Summe aber (der Schnitt) sind 75km/h.

Und das meine ich, es bleibt der Schnitt auf die Zeiteinheit Sekunde...
Hier liegt in meinen Augen der "Fehler". Denn man missbraucht eine Einheit für eben Bilder pro Sekunde (oder auch km/h) für eine Zeit, die gar nicht angegeben ist.
Somit ist FPS ansich die falsche Einheit.
Bei 500ms Messdauer/Zeitintervall wären es eben FP500ms oder bei 250ms Messdauer dann FP250ms. -> dann geht das auch auf ;)
Oder man misst demnächst in FPMS (Frames pro Milisekunde) und gibt den Spaß dann Diagrammtechnisch aus. Das wäre dann ebenso genauer...


Aber vollkommen unabhängig davon finde ich den Artikel durchaus interessant. ;)

PS: ähnliches Verhalten habe ich seinerzeit aber auch schon beobachtet... Vor geraumer Zeit hatte ich mal ein Excel Makro mit diversen Fraps Frametimeanalysefunktionen in der Mache. Leider nie bis zur Ausreifung fertig geworden... Aber es "bot" auch Funktionen den Ermittlungsintervall zu kürzen oder strecken.
Faktisch dürfte man sagen können, je länger die Dauer, desto ungenauer die Ergebnise. Da eben das Mittel Spitzen vertuscht.
 
Zuletzt bearbeitet:
Um bei Deinem Beispiel zu bleiben, da es ganz gut passt: Du weißt am Ende der Stunde zwar, wie hoch die Durchschnittsgeschwindigkeit war, nicht aber, ob es zwischendurch rote Ampeln gab oder einen Stau. Und genau das sind Situationen, die man weniger schön findet, obgleich man mit der Zeit, die man gebraucht hat, um ans Ziel zu kommen, zufrieden sein könnte.
Ob ich nur zehn Minuten mit dem Auto fahre, spielt keine Rolle. Es ändert nichts daran, dass die Geschwindigkeit in km/h gemessen wird.

Es kommt ja nicht immer darauf an, wie viele Frames am Ende der Sekunde ausgegeben wurden, sondern darauf, ob es trotz scheinbar flüssiger fps zu Rucklern kommt. Natürlich sind die Messungen mit Fraps jetzt nicht sinnlos, die Messungen mit FCAT setzen aber an einer anderen, für diese Zwecke sinnvolleren, Stelle an.
Übertragen erkennt FCAT möglicherweise rote Ampeln, wo Fraps keine gesehen hat, und umgekehrt.

Das ist ja das Problem, weshalb jetzt vermehrt Frametimemessungen durchgeführt werden: Die fps sind zwar in Ordnung, sogar die minimalen fps, jedoch gibt es innerhalb einer Sekunde Einbrüche, die negativ auffallen. Unseren Augen ist es nämlich egal, ob wir pro Sekunde messen, es ist einfach schneller.
 
Zuletzt bearbeitet:
Hi,

ohne hier jetzt alles durchgelesen zu haben nur ein kurzer Kommentar und eine entsprungene Idee.

Seit Jahren bin ich mit Euren Tests/Reviews sehr zufrieden. Vor allem im Bereich Grafikkarten. Sämtliche Ergebnisse zeigen einen mehr als ausreichenden Vergleich und die Fülle an Test´s gibt wirklich über alles Ausschlag. Für die von Euch aufgebrachte Zeit zu jedem Review hier mal ein großes Dankeschön!

Ein wenig Kritik/eine Idee:

Mir ist bereits öfter aufgefallen und untergekommen, dass wenn ich spezifische oder ähnliche Grafikkarten miteinander Vergleiche ich oft auf verschiedene Reviews zugreifen muss.

Beispiel: Test der Grafikkarte A beinhaltet oft nicht die Daten der Grafikkarte B.

Was wirklich toll wäre und ich bis dato noch nirgendwo gesehen habe, wäre eine Interaktive Auswahl, in der man die Karten Mit/Gegeneinander vergleichen könnte.
Zum Beispiel: Test A Grafikkarte A Auflösung 1080p

Das Gesuche in den Tabellen, oft Artikel übergreifend, könnte man sich so ersparen und evtl. hat diese Methode für Euch als Tester ja auch einige Vorteile.
Wenn es um Schutz der Daten geht, den ich vlt. gerade nicht bedenke (Daten der Test´s liegen ja so oder so "offen"), könnte man das ganze nur Nutzern eines Hardwareluxx Accounts zur Verfügung stellen.

In diesem Sinne
Weiter so
und
Viele Grüße
 
10-100 Pixel?
FullHD hat 2 Mio! Pixel...
Wohl zeitnah kommende 4k Display haben 8 Pio! Pixel. Und ein TrippleScreen Setup aus drei FullHD Monitoren immernoch 6 Mio Pixel.

Mit 100 Pixel und den Farbwertänderungen schaffst du keine Aussagekraft ;)

Schon klar, dass ein Display mehr Pixel hat.

Wenn man allerdings annimmt, dass eine Farbwertveränderung eines bestimmten Bildbereichs die Anzeige eines neuen Frames bedeutet, dann sollte es ja reichen, wenn man nur wenige Bereiche überwacht. Nur einer sollte es allerdings nicht sein, da man sonst eventuell ein bestimmtes Frame nicht erkennt, wenn sich in diesem einzelnen Bereich in diesem Moment nichts ändert.

Vorteil wäre wie gesagt, dass man mit deutlich weniger Rechenaufwand trotzdem ein exaktes Ergebnis bekommen würde.

Natürlich wären diese Methode leichter zu knacken, indem man dem Treiber sagt, er solle diese Pixel einfach öfters verändern, aber man könnte die Pixel einfach zufällig wählen.
 
Um bei Deinem Beispiel zu bleiben, da es ganz gut passt: Du weißt am Ende der Stunde zwar, wie hoch die Durchschnittsgeschwindigkeit war, nicht aber, ob es zwischendurch rote Ampeln gab oder einen Stau. Und genau das sind Situationen, die man weniger schön findet, obgleich man mit der Zeit, die man gebraucht hat, um ans Ziel zu kommen, zufrieden sein könnte.
Ob ich nur zehn Minuten mit dem Auto fahre, spielt keine Rolle. Es ändert nichts daran, dass die Geschwindigkeit in km/h gemessen wird.
Das unsinnige ist doch aber viel eher, das wir über idR avg. FPS sprechen. Also dem Durchschnitt der pro Sekunde Messungen. Das heist, ich erkenne zwar die Ampeln nicht. Aber es interessiert an der Stelle auch nicht. Denn es kommt schlussendlich ein gemittelter Wert über eine bestimmte Zeit von X Sekunden/Minuten hinten bei rum. Denn der Durchschnitt von Durchschnitten bleibt nunmal ein Durchschnitt.
Somit erkennt der Betrachter, der eine ist mit 50km/h im Schnitt gefahren, der andere mit 100km/h. Somit hat letzterer eben den doppelten Speed.
Nüchtern betrachtet eine Aussage, die sich nicht leugnen lässt.

Mein Problem ist dazu auch, das man mit dieser Messmethode viel viel mehr Probleme ins Haus holt.
Nämlich die Abhängigkeit von der CPU Power, von laufenden Programmen, von der gewählten Szene usw. beispielsweise. Diese im PCP Artikel als "observed" FPS dargestellten Werte sind nur! für das gemessene System gültig. Und auch nur in der Szene unter den Umständen und in den Settings. Eine Vergleichbarkeit ist nicht gegeben. Auch keine Vergleichbarkeit zu irgend einem System bei jemanden Zuhause. Da reicht ein Stückchen Software, was sich da irgendwo einmischt und die Werte sind vollkommen anders. Auch kann es sein, 10 Sekunden später sieht es vollkommen anders aus usw.

Was will man denn damit dann bitte vergleichen?
Ich könnte mir gar vorstellen, macht man den Test 10mal hintereinander, hat man 10 teils enorm unterschiedliche Werte im Test. Speziell diese irgendwie verschluckten Frames scheinen sehr mir misteriös. ;)

EDIT: @N!tro
Die Idee ansich greifen ja ein paar Seiten auf.
Das größte Problem ist die Vergleichbarkeit untereinander. Speziell was Treiber und Hardwaresystem angeht.
Karten älteren Schlages werden idR nicht vollumfänglich mit neueren Reviews durchgenommen. Bestenfalls lässt man noch vergleichbare Alt-Messungen mit einfließen.
Und hier ist ein Problem. Es hat schlicht niemand die Zeit vollumfänglich bei jedem Test alle Karten! immer und immer wieder zu testen. Rechne einfach mal nach ;)
60sec Benchdauer. 10 Karten = 600sec reine Benchdauer für ein Game! und ein Setting.
Mal 10 Games mal 5 Settings (Auflösung und AA/AF Level)
Somit allein über 8h reine Benchzeit. Zuzüglich Einbau/Umbau, zuzüglich Reboots, Zuzüglich Gamestarts usw. usf.
Da kommen gut und gerne mal 16-24h zusammen.
100 Karten würde bedeuten -> ~10 Tage.
Und wenn dann neue Karten zukommen, den ganzen Spaß nochmal... -> ne das wird nix ;)
 
Zuletzt bearbeitet:
Och, ich sehe schon sehr häufig auch die min. fps mit angegeben. Das interessiert einfach viele, da die das Spielgefühl stark beeinflussen. Das war früher auch eher selten der Fall, da wurden avg. fps angegeben.
Mittlerweile hat man mitbekommen, dass es manchmal trotz ausreichender avg. und min. fps trotzdem manchmal ruckelt. Das liegt dann an teils langen Frameintervallen. Jetzt will man eben wissen, ob solche langen Frameintervalle auftreten.

Dass die Testsysteme selten mit denen vergleichbar sind, die bei uns zuhause herumstehen, war ja schon immer so. Es geht ja um die Leistungsfähigkeit, die eine Graphikkarte in Kombination mit dem Treiber bringt, und um mögliche Probleme.
Ich denke auch, dass die Werte sehr wohl reproduzierbar sind. Nicht hundertprozentig gleich, aber die Abweichungen werden sich in Grenzen halten. Frametimeanalysen sollen ja nur ermitteln, ob es ruckeln könnte. Die min. und avg. fps sind natürlich weiterhin interessant und wichtig.

Ich gebe Dir aber recht, dass das Testen mit FCAT doch sehr aufwendig ist, und ich kann verstehen, dass es hier auch nicht gemacht wird. Bestimmt kommen bald Tools, die das Ganze einfacher gestalten.
 
Zuletzt bearbeitet:
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh