[Sammelthread] Frametimemessungen AMD vs. Nvidia

Hallo allerseits.

Noch vor Weihnachten sind Berichte aufgetaucht die schlechtere Frametimes einer HD 7950 unter Nutzung von Windows 8/7 vor allem in Skyrim und Guild Wars 2 im Gegensatz zu Nvidia zeigten.
Ich hab mir vor kurzem einen offenen Systemaufbau zugelegt und wollte mal sehen wie sich die Frametimes in Crysis und natürlich noch mehr Games beim Seitwärtslaufen, sowie Gradeauslaufen bei Nvidia und AMD verhalten.

Zum Testsystem:

Software:

Windows 7 64 bit Home, Fraps, Crysis 1 inklusive aller Patches. Frisch aufgesetztes System.
AMD: Catalyst 13.2 Beta 4
Nvidia: 313.96

Hardware:

Asus Crosshair 5 Formula, GTX 670 Palit, HD 7970 DCII, 8GB G.Sklii Sniper 1866mhz, FX-8350 @ Stock, 2x 500GB Samsung HDD.

Die Messungen der Frametimes werden mithilfe eines Savegames erstellt, welches ganz zu Anfang des 1 Kapitels nach der Bruchlandung im Wasser startet.

Die aktuellsten Treiber von Nvidia und AMD sind installiert.

Ich verlinke auch wegen aktuellem Anlass die Tests Computerbase und den Test von Techreport der auch neues Material liefert.

http://www.computerbase.de/artikel/grafikkarten/2013/amd-radeon-hd-7790-im-test/4/

Test: 17 Grafikkarten im Vergleich (Seite 7) - ComputerBase

http://techreport.com/review/21516/inside-the-second-a-new-look-at-game-benchmarking

http://techreport.com/review/24022/does-the-radeon-hd-7950-stumble-in-windows-8


Frappo Tool
http://www.forum-3dcenter.org/vbulletin/showthread.php?t=537679


Aber fangen wir erst einmal mit Crysis 1 an, davon hab ich schon die ersten Diagramme erstellt.

Um die gemessenen Frametimes zu visualisieren nehme ich Pests Frappo Tool aus dem 3DCenter, an dieser Stelle vielen Dank!!

Crysis zeigt etwas konträre Werte zu den Messungen von Computerbase.
Beim geradeauslaufen Verhalten sich die FRametimes analog zu denen von Nvidia.
Beim seitwärtslaufen und schnellem Wechsel der Bildinhalte zeigen sich die Nvidiawerte schlechter, es ist aber noch zu früh um überhaupt irgendetwas stichhaltiges zu sagen oder gar zu behaupten, daher würde es mich freuen wenn auch andere User die Karten von beiden Herstellern haben, sich in diesem Thread mit beteiligen.

Das Tool zum visualisieren der Werte kann man sich per Zip Datei aus dem 3D Center µrucklerthread herunterladen.

Hier die ersten Werte.




Wie zu sehen ist, sind die Ausreißer bei Nvidia deutlich höher, wenn die Bildinhalte schneller wechseln.
Ich werde das noch mit mehr Messungen in Crysis überprüfen.

Ich habe die Stelle ( laufen durch den Fluss mit Blick nach links) mehrmals gemessen und die Werte sind reproduzierbar.
Mal sehen wie es beim Sonnenaufgang aussieht.

Hier noch das Testsystem in voller Pracht.



Update mit Werten aus Crysis 1:
Zu sehen sind die Frametimes ein paar Meter weiter bei einem Sprint runter zur See kurz nach dem Sonnenaufgang.
Die Werte sind bei AMD und Nvidia was geradeauslaufen betrifft wieder vergleichbar, es könnten hier natürlich auch andere Faktoren die Frameausgabe etwas beeinflussen wie Festplatte Prozessor oder halt I/O, deswegen vielleicht die kleineren Ausreißer die sich ähneln.
Übrigens wird das System immer mit dem frisch installierten Treiber getestet, beide Treiber sind nicht zur gleichen Zeit installiert, das könnte zu Problemen führen.

Beim Seitwärtslaufen zeigen sich hier nur minimal die ungleichmäßigeren Frametimes der GTX 670 bis 170.
Die Messung der GTX 670 läuft hier länger.
Ich habe die HD 7970 etwas heruntergetaktet um auf die gleichen FPS der Nvidiakarte zu kommen um das ganze fairer zu machen.
Könnte jemand mal die Frametimes beim Seitwärtlaufen mit Crysis messen? Reicht auch ohne eine Radeon um sich mal die Frametimes anzugucken.

http://www.abload.de/img/crysishd7970sonnanaufv9see.jpg
http://www.abload.de/img/gtx670crysissonnenaufo4sbc.jpg

Die Messwerte werden dann in einem neuen Posting gezeigt, da hier nicht mehr wie 5 Bilder funzen.

Hier zuer Ergänzung alle Werte zusammengefasst:

Frametimeschwaunkungen innerhalb von 6ms, sehr gut!

Schwankungen sind stark, auch subjektiv ruckelt es stark.

HD 7970 eine Katastrophe bei den Werten, sbjektiv aufgrun der höheren FPS noch okay, gut ist aber was anderes. Wären die FPS niedriger würde es das gleiche wie bei der GTX 670 in Sleeping Dogs sein.

Zwar nicht vorbildlich, aber annehmbar.

Skyrim nach AMD´s Treiber Update, sehr flüssiges Empfinden, sei es auf subjektiver oder auf theoretischer Seite.

Hitman vor AMD´s angekündigten Fix, leider hat sich nicht viel getan und kann diesen Werte immernoch zeigen.
Subjektiv µruckelt es spürbar, teils auch nervig.

Crysis µruckelt tendenziell beim Seitwärtslaufen etwas mehr auf einer GTX 670.
beide Karten bringen aber ähnliche Werte, bei viel Action und schnellen Bildwechseln sind die Frametimes nie glatt. Die HD 7970 ist deutlich besser, subjektiv ist nicht viel Unterschied.

Kurz nach der Bruchlandung im Wasser hat die GTX 670 subjektiv und auch theoretisch ein paar µruckler wenn man seitwärtsläuft.
Nicht besonders auffällig.

 

[Sharif]

So, ich habe mal in Diablo 3 die Werte aufgezeichnet.

Achtet mal speziell auf die Werte bei Sekunde 220 und zwischen den Sekunden 270 - 300. Da ruckelt es ganz extrem. Und fragt mich nicht was bei 210 los war.
Generell läuft das Game, aber es gibt Ecken wo es unspielbar ist.

Hab schon diverse Dinge ausprobiert um es zu beheben, sogar CPU Kerne abschalten. Nichts hilft.

Weiß nicht ob hier noch jemand Diablo 3 hat. Aber ich bin ja geneigt zu sagen, dass es am Game liegt.

Kann gut sein das der Lag durch Internet entstanden ist, ich würde dich Bitten eventuell Heute noch mal zu Testen gleiche Szenario gleiche Stelle und noch mal mit Fraps auf zu Zeichnen. Dann können wir das 100% ausschließen.
Du hast bestimmt Diablo getestet wo du online gespielt hast Denke ich.

---------- Post added at 12:59 ---------- Previous post was at 12:58 ----------

Welche Map in BF3 soll ich antesten? Nur rumlaufen oder mit Action?

ist egal aber nicht online Testen nur Singel Player.

 

[Lixi123]

Ja, logo. D3 kann man ja nur online spielen. Und es passiert immer an der selben Stelle. Ich kann also bereits ausschließen, dass es an der Verbindung liegt. Ich bin da schon sehr oft lang und es ist jedes mal das Selbe.

Bin neugierig, ob das nur bei mir so ist.

 

[Sharif]

ah ok dann kann das also nicht im Netz liegen, hätte auch sein können.

Ich hatte mal ATI Sidbar und der hat alle 5 Sekunden bei mir diesen Lag verursacht ich bin verrückt geworden bis ich den Fehler gefunden habe. Ich dachte wirklich das wären Microruckler dabei hat ATI Sidebar alle 5 Sekunden ausgelesen und da durch sind die Lags entstanden.

 

[Thunderburne]

Triple Crossfire BF3 Railroad Map mal bischen rum gelaufen.
2560*1440 Alles Ultra 4* MSAA+FXAA INJ.Framelimit bei 100.


Hier ohne FPS Limiter

 

[Sharif]

ist sehr ordentliche Wert Thunderburne damit kannst du dich sehen lassen. Besser wie meine Test, drei GPU´s sehen besser aus wie mit zwei.

 

[Thunderburne]

Heute Abend schaue oich mal mit adativ v sync und radeon pro

 

[Gelöschtes Mitglied 172838]

Kann mir jmd. bitte den Graphen aus Post 64 erklären? Wäre nett, wenn ihr die Graphen etwas kommentieren könntet.

 

[Dionysos808]

An den Graphen kann man ablesen, wie viele Millisekunden zwischen den einzelnen Frames liegen.

Eine Sekunde hat 1000 Millisekunden. Bei 60,00 fps liegen idealerweise 16,67 ms zwischen den einzelnen Frames.
1000 ms / 60,00 fps = 16,67 ms pro frame

120 fps -> 8,33 ms
100 fps -> 10 ms
60 fps -> 16,67 ms
30 fps -> 33,33 ms
24 fps -> 41,67 ms


Das ist aber nur der Idealfall, in der Praxis gibt es da immer kleinere Schwankungen. Da kann es sein, dass bei 60 fps zwischen den Frames mal 10 ms oder mal 20 ms vergehen, gemittelt kommt man dann auf 16,67 ms.

Manchmal sind Schwankungen und Ausschläge stärker ausgeprägt - hier kann dann Mikroruckeln sichtbar werden, aber auch erst, wenn die Frametimes eine gewisse Grenze überschreiten.

Beim Beispiel aus Beitrag #64 sieht man bei eingeschalteten Framelimiter eine sehr schwankungsarme Kurve mit wenigen Ausschlägen.
Passend zu den eingestellten 100 fps bewegen sich die Frametimes um 10 ms. Die paar Ausschläge nach oben sind irrelevant.

Ohne Framelimiter werden die "zu schnell" berechneten Frames nicht zurückgehalten. Insgesamt sind die fps höher, es sind stärkere Schwankungen erkennbar, doch es bewegt sich noch längst nicht in einen Bereich, wo es mikroruckeln würde.

 

[DrOwnz]

So, ich habe mal in Diablo 3 die Werte aufgezeichnet.

Achtet mal speziell auf die Werte bei Sekunde 220 und zwischen den Sekunden 270 - 300. Da ruckelt es ganz extrem. Und fragt mich nicht was bei 210 los war.
Generell läuft das Game, aber es gibt Ecken wo es unspielbar ist.

Hab schon diverse Dinge ausprobiert um es zu beheben, sogar CPU Kerne abschalten. Nichts hilft.

Weiß nicht ob hier noch jemand Diablo 3 hat. Aber ich bin ja geneigt zu sagen, dass es am Game liegt.

D3 hat noch einen anderen Faktor ausser Internet der lags verursacht: storage, leider lädt D3 dynamisch im Spiel nach, hier kann ab einem bestimmten Niveau keine Festplatte mehr mithalten... hatte es mal getestet mit nem WD Black RAID 0 ..., wenn du hast leg das Game ma auf ne SSD mach Indexservice usw. aus dann könnts gehn

 

[Lixi123]

D3 hat noch einen anderen Faktor ausser Internet der lags verursacht: storage, leider lädt D3 dynamisch im Spiel nach, hier kann ab einem bestimmten Niveau keine Festplatte mehr mithalten... hatte es mal getestet mit nem WD Black RAID 0 ..., wenn du hast leg das Game ma auf ne SSD mach Indexservice usw. aus dann könnts gehn

Das hatte ich vergessen zu erwähnen. Ich habe das Game bereits auf ner Crucial M4. Weil das mit den HDD Rucklern kannte ich auch schon. Speziell zu Beginn läd er sich erstmal nen Wolf, wenn man die Skills das erste mal nutzt.

Bei D3 ist halt einfach auffällig, dass es immer an den selben Stellen ist.

Du scheints ja auch D3 zu haben. Kannst du meine Erfahrung denn bestätigen an besagter Stelle?

 

[Schaffe89]

Also HDD Ruckler spielen bei den Frametimes auch mit rein, es kann praktisch an allem liegen. -.-

Hier mal der aktuelle Cb Test der komischerweise ein recht ausgeglichenes Bild der Frametimes zwischen AMD und Nvidia zeichnet.

AMD Radeon HD 7790 im Test (Seite 4) - ComputerBase

 

[Sharif]

http://www.computerbase.de/artikel/grafikkarten/2013/amd-radeon-hd-7790-im-test/4/

Hinweis: Die Kennzahlen ermöglichen die komprimierte Auswertung der im Diagramm dargestellten Messdaten, sind allerdings auch nicht ohne weiteres in eine abschließende Beurteilung („AMD ist besser als Nvidia / Nvidia ist besser als AMD“) überführbar. Bestes Beispiel ist Metro 2033: Obwohl die Nvidia-Karte eindeutig konstantere Framelatenzen aufweist, führen die über den Messzeitpunkt stetig steigenden FPS zu einer erhöhten Standardabweichung. Die Radeon verhält sich – bezogen auf die gesamte Szene – konstanter.

Fazit: Die Standardabweichung ist umso eher eine adäquate Messgröße für Probleme zweier Karten bei der Framelatenz innerhalb eines Spieles, je paralleler beide Karten bei den FPS über die Messstrecke verlaufen

.

 

[Gelöschtes Mitglied 172838]

Anbei meine Ergebnisse.
1. ohne FPS limit
2. Vsync on

Beides mal Operation Swordfish. Ab dem Punkt wo der Kampf auf dem Platz stattfindet bis zum Ausschalten des Snipers im Hotel.





Drittes Bild:
Einzelne GTX 660 Ti ohne VSYNC:

 

[Dionysos808]

Sehr aufschlussreicher Artikel, der die schwankenden Frameintervalle - das ist wohl der passendste Begriff - behandelt: AnandTech | AMD Comments on GPU Stuttering, Offers Driver Roadmap & Perspective on Benchmarking

FRAPS ist wohl nicht wirklich geeignet, um die Frameintervalle zu messen, da es an der falschen Stelle der Rendering-Pipeline, nämlich am Anfang statt am Ende, misst. GPUView soll wohl das Instrument der Wahl sein, doch ist es nicht so einfach zu bedienen.

Wir brauchen also geeignetere Tools, groben Unstimmigkeiten kommt man aber auch mit FRAPS auf die Spur. Diese Meinung wird von AMD und von Nvidia vertreten. Lest einfach mal den ganzen Artikel.

 

[dochurt]

Das Fraps nicht wirklich dazu geeignet ist wissen wir ja schon länger, dank so was : Frame Rating Part 3: First Results from the New GPU Performance Tools | PC Perspective

 

[Dionysos808]

Mag sein, aber in dem AnandTech-Artikel werden die Gründe hierfür näher beleuchtet. Einiges an Hintergrundwissen ist dort kompakt zusammengetragen; es lohnt sich, den Artikel zu lesen.

 

[Schaffe89]

Das Fraps nicht wirklich dazu geeignet ist wissen wir ja schon länger, dank so was

Ich hab zwar den Artikel noch nicht durch, aber ich vermute dass diese Aussage erstmal ein Vorschub ist, auch wenn man diesen teils sinnvoll begründet.
Ich habe bisher immer eine Verbindung zwischen wiederkehrenden Ausreißern in Fraps und in der Praxis finden können.
Besonders bei Hitman ( AMD) und bei Assassins Creed Nvidia.

Mag ja sein, dass man per Fraps oder Frappo nicht an den gewünschten Messpunkten ansetzt, eine ungleichmäßige Bildausgabe wird trotzdem ausgewertet und die ist mMn sehr aufschlussreich.

Dass jeder Ausreißer nicht unbedingt an der GPU liegt ist klar, bei ständig wiederkehrenden gleichmäßigen Ausreißern in Folge, kann man aber das Tool definitiv dazu hernehmen um eine eindeutige Aussage zu treffen, wenn man sonst alle anderen Faktoren ausgeschlossen hat.

 

[Dionysos808]

Nein, Fraps setzt eben an der falschen Stelle an.

Ultimately due to its mechanisms FRAPS is too coarse grained. It doesn’t have a complete picture of the rendering pipeline, and it’s taking readings from the wrong point in the rendering pipeline. In an ideal world we would like to be able to watch a frame in flight from the start to the end; to see what millisecond of a game simulation a frame is from, and to compare that against the frame intervals of successive frames. Baring that we would at least like to see the frame interval at the end of the rendering pipeline where the user is seeing the results, and unfortunately FRAPS can’t do that either.

[Fraps is] measuring Present calls instead of the time a frame is actually shown to the user

Wie gesagt: Grobe Unstimmigkeiten lassen sich mit Fraps ermitteln, jedoch nicht, wie viel Zeit zwischen den angezeigten Bildern vergeht. Um die Intervalle zwischen den Bildern zu messen, ist Fraps also nicht geeignet.

 

[Schaffe89]

Ich denke ich verstehe die Erklärung da nicht ganz, aus welchem trivialen Grund soll dieses Verfahren nicht geeignet sein?
Aufgrund des Zugriffspunktes in der Pipeline? Ist der für die messung ob ein Bild regelmäßig ausgegeben wird nicht völlig egal?

Wenn du da mehr durchblickst, dann bitte ich um eine Erklärung für Laien.

 

[Dionysos808]

Na ja, die Sache ist ja die, dass, nachdem Fraps seine Messung gelogt hat, noch eine ganze Menge passieren kann. Bei Fraps siehst Du zum Beispiel häufig kurz nach einer besonders langen "Frametime" eine besonders kurze.



Hier müsste man also laut Fraps ein Stottern befürchen. In Wahrheit sind schon genug Informationen vorhanden, um am nächsten Frame zu arbeiten, die Ausgabe erfolgt flüssig.

In a heartbeat situation the next Present gets delayed coming out of the application for whatever reason, which results in the rendering pipeline feeding from the context queue for a bit while nothing new comes in. Eventually the block is cleared and the application submits the next Present, at which point FRAPS records the Present as having come relatively later. Furthermore, since the context queue has been at least partially drained, there’s still room for one more frame, so rather than idling for a bit the application immediately gets to work on the next frame. As a result the next Present hits the context queue sooner than average, resulting in the early frame as picked up by FRAPS.

In this scenario, at the end of the rendering pipeline every frame could be displayed at an even pace despite the unevenness at the input, but FRAPS would never know.

 

[Schaffe89]

Okay vielen Dank, jetzt hab ichs verstanden.
Heißt also, erst wenn viele Lange Frames auf kurze Frames folgen erfolgt ein stottern?

Prinzipiell also sind hohe einmalige Aureißer nicht unbedingt schlimm, solange sie nicht mehrmals nacheinander auftreten?

 

[Gelöschtes Mitglied 172838]

Wer viel misst, misst Mist

 

[sontin]

Na ja, die Sache ist ja die, dass, nachdem Fraps seine Messung gelogt hat, noch eine ganze Menge passieren kann. Bei Fraps siehst Du zum Beispiel häufig kurz nach einer besonders langen "Frametime" eine besonders kurze.

Anhang anzeigen 229771

Hier müsste man also laut Fraps ein Stottern befürchen. In Wahrheit sind schon genug Informationen vorhanden, um am nächsten Frame zu arbeiten, die Ausgabe erfolgt flüssig.

Das ist AMD's PR Erklärung. Die sollte man mit vorsicht genießen.
Wenn Fraps solche "Heartbeat" Graphen malt, ist das Kind schon in den Brunnen gefallen.

Bestes Beispiel ist Skyrim. Hier konnte AMD das angebliche nicht existierende Problem mit einem neuen Treiber lösen.

Ergo: Fraps hat also exakt das angezeigt, was der User in diesem Fall auch fühlen konnte.

 

[AppleRedX]

Das ist AMD's PR Erklärung. Die sollte man mit vorsicht genießen..

Die zufällig mit der Meinung von Anandtech's Leutchen (die von Anfang an FRAPS kirtisch gegenüber standen) übereinstimmt. Und die sind keine AMD oder - wie in Deinem Falle - NVIDIA-Mitarbeiter.

---------- Post added at 19:17 ---------- Previous post was at 19:11 ----------

Hey sogar NVIDIA höchstselbst mag kein FRAPS aus dem selben Grund. Steht ebenfalls in dem Artikel. Und die wollen sicherlich nicht AMD hilfreich zur Siete stehen ...

Adding weight to the whole matter is the fact that FRAPS is one of the few things both AMD and NVIDIA can agree on. In our talks with NVIDIA and in past statements made to the press, NVIDIA dislikes FRAPS being used in this manner for roughly the same reason.

Ergo: Fraps ist mit Vorsicht zu genießen

 

[Dionysos808]

Alter Schwede, sontin... Ein Trollface-Nvidia-Logo als Avatar - da erwarte ich eh schon nichts anderes als Fanboy-Geblubber.

Dass Nvidia Fraps aus oben genannten Gründen ebenso kritisch gegenübersteht, hätte man übrigens erfahren können, wenn man den Artikel auch gelesen hätte.

 

[Schaffe89]

Das ist AMD's PR Erklärung. Die sollte man mit vorsicht genießen.
Wenn Fraps solche "Heartbeat" Graphen malt, ist das Kind schon in den Brunnen gefallen.

Gibt es irgendwie eine Funktion dich aus Threads zu verbannen? Es kommt doch eh nie was vernünftiges.

 

[R1z1]

Hab dieses Thema eben entdeckt und hab dann eigentlich nur just for fun das tool mal geladen. Ich spiele viel hl2 deathmatch und hab öfter das gefühl das spiel läuft nicht flüssig,trotz mehr als ausreichenden fps. In bestimmten maps ist es besonders schlimm,da hab ich das gefühl regelrecht an der wand hängen zu bleiben. Hab mich eben also mal auf einer dieser maps direkt als ich die messung gestartet hab so ca 20 sekunden lang immer nur an einer stelle wo ich "hängenbleibe" hin und her bewegt. Interpretiere ich das nun richtig das man dies ziemlich deutlich auf dem diagramm sehen kann?
Sorry wenn das hier nicht reinpasst,aber wo es hier eh gerade um das thema geht,wüsste nicht wo es sonst hingehört.

 

[sonnyboy]

Gibt es irgendwie eine Funktion dich aus Threads zu verbannen? Es kommt doch eh nie was vernünftiges.

+1!!


Sent from my iPad using Hardwareluxx app

 

[Powerplay]

Ich finde fraps allerdings schon recht gut und würde hier sontin ausnahmsweise in schutz nehmen weil! Wenn fraps sauber ist fühlt es sich auch perfekt an

 

[Dionysos808]

Dann hast Du wohl nicht verstanden, was sontin gesagt hat, und warum diese Aussage schlicht und ergreifend falsch ist.

1. Fraps ist nicht geeignet, um Frameintervalle zu messen. Gründe hierfür finden sich im Artikel.
2. Das ist keine AMD-PR-Aussage. Nvidia und die unabhängigen Tester sind der gleichen Meinung.

Wir können gerne darüber diskutieren, wie sinnvoll derartige Messungen mit Fraps sind, ab wann Frameintervalle als Ruckler wahrgenommen werden, wie wir in Zukunft messen sollten, etc.
Gelaber ohne Hand und Fuß ist hier unerwünscht. Aussagen sollte man schon belegen können, anstatt sich einfach etwas auszudenken, damit das Fanboy-Weltbild nicht gestört wird.


@ R1z1:
Eigentlich müssten die fps ausreichen, um flüssig zu spielen. Schlimmstenfalls liegen etwa 10 ms zwischen den einzelnen Bildern, was immer noch 100 fps entspräche. Die wenigen Ausreißer gehen nicht einmal bis auf 20 ms hoch und sind vernachlässigbar. Vielleicht bist empfindlich genug und merkst, wenn es von 300 fps auf 100 fps einbricht und dann wieder auf 300 fps hochgeht.