Werbung
Derzeit wird bei den Tests der aktuellen Grafikkarten vor allem eines heiß diskutiert: Wie und was wird eigentlich gemessen? Kommt kein synthetischer Benchmark mit Punkte-System oder eine integrierte Version des Spiels bzw. der Engine zum Einsatz, verwenden die meisten Redaktionen und auch wir FRAPS. Das Rendering eines Frames ist sehr komplex und führt durch unterschiedliche komplexe und vor allem tiefe Rendering-Pipelines. FRAPS klemmt sich an den Anfang dieses Prozesses, misst also wie viele Frames in die Pipeline hineingeschickt werden, kann aber nicht mehr messen, wann und vor allem nach welcher Zeit diese die Pipeline wieder verlassen.
[figure image=images/stories/newsbilder/aschilling/2013/fcat-anand-1-rs.jpg link=images/stories/newsbilder/aschilling/2013/fcat-anand-1.jpg alt=FCAT]FCAT-Benchmarking (Bild: Anandtech)[/figure]
Zwar lassen sich mit Hilfe von FRAPS auch Frametimes und damit Effekte wie das Stuttering oder die Mikro-Ruckler von Multi-GPU-Systemen messen, dies allerdings nur bis zu einem gewissen Rahmen. Das menschliche Auge ist aber weitaus empfindlicher und die Wahrnehmung eine andere, als dies FRAPS meist wiedergibt. Offenbar weitaus stärker betroffen ist AMD, was NVIDIA dazu veranlasst hat, einige Redaktionen mit einer speziellen Hard- und Software auszustatten.
[figure image=images/stories/newsbilder/aschilling/2013/fcat-anand-2-rs.jpg link=images/stories/newsbilder/aschilling/2013/fcat-anand-2.jpg alt=FCAT]FCAT-Benchmarking (Bild: Anandtech)[/figure]
Mit Hilfe von FCAT, dem Frame Capture Analysis Tool, will NVIDIA zeigen, wie man sich das Frame Interval Benchmarking vorstellt. Doch hinter der kompletten Methodik verbirgt sich weit mehr, als nur eine kleine Software. Vielmehr muss die Ausgabe des Benchmarks komplett abgegriffen und analysiert werden. Dazu nötig ist eine Capture-Hardware zur Aufnahme der Ausgabe und möglichst schnelle SSDs/HDDs, um die unkomprimierte Video aufzuzeichnen. Eine Analyse-Software kann dann anhand des Videos bzw. der dort eingeblendeten Farbcodes erkennen, welcher Frame wann die Render-Pipeline verlassen hat. Anstatt also eine Benchmarks-Szene zusammen mit FRAPS laufen zu lassen, muss die Szene komplett und unkomprimiert aufgezeichnet und dann analysiert werden. Zwar gibt das FCAT seine Ergebnisse in einer CSV-Datei aus, die sich recht leicht weiterverarbeiten lässt, dennoch ist der Arbeitsaufwand pro Benchmark enorm.
Was bedeutet dies nun für Hardwareluxx?
Wir haben uns die verschiedenen Berichte zu FCAT angeschaut und sind zu folgendem Ergebnis gekommen: Die FCAT-Methode ist genauer und gibt vor allem Probleme beim Rendering unter Verwendung unterschiedlichster GPUs und Treiber besser wieder. Für uns stellt dies allerdings keine Alternative zur aktuellen Methode dar. Unser derzeitiger Benchmark-Parcours besteht aus zehn Spielen und 51 Einzeltests unterschiedlichster Auflösung und Settings. Der Zeitaufwand lässt sich also recht leicht ermessen und steht in keinem Verhältnis zu dem, was die Unterschiede zwischen FCAT und FRAPS ausdrücken können.
[figure image=images/stories/newsbilder/aschilling/2013/hardwareluxx-karten-rs.jpg link=images/stories/newsbilder/aschilling/2013/hardwareluxx-karten.JPG alt=Karten-Pool]Referenzkarten-Übersicht[/figure]
Neben dem zeitlichen Aufwand bedeutet ein FCAT-Setup auch auf Seiten der Hardware eine relative große Investition. Neben dem Testsystem muss ein weiteres aufgebaut werden, dass mit der Video-Capture-Karte und vier SSDs zur Aufzeichnung des unkomprimierten Materials ausgestattet ist.
Uns ist bewusst, dass die FRAPS-Methode keine 100-prozentig ideale Lösung ist. Allerdings verhilft uns FRAPS zu realistischen Ergebnissen, die unseren Lesern eine Einschätzung der Performance ermöglichen. Es geht auch nicht darum, die Ergebnisse zu Hause nachzustellen, sondern nur um eine Einordnung der Performance. Für Multi-GPU-Systeme ergeben sich noch einmal andere Szenarien, die allerdings ebenfalls bereits heute gut darzustellen sind.
Unsere Hoffnung besteht in einer neuen Software, die anders als FRAPS später im Rendering-Prozess die Ergebnisse abgreift. Vielleicht stößt die aktuelle Diskussion die Entwicklung eben einer solchen Software an.