Frametime Analyse - Der *Richtige* Weg zu Testen. (Krasser Unterschied 970<-> 980!!)

[GeorgR.]

Frametime Analyse - Der *Richtige* Weg zu Testen. (Krasser Unterschied 970<-> 980!!)

Ich habe diesbzgl. auf Overclock.net was geposted und auch auf dem Geforce Forum gibt es mindestens zwei Postings diesbezügl, aber wundersamerweise finden diese Posts keine Beachtung.... M.M. nach ist das gefundene GRAVIEREND. (Und nein, hier handelt es sich nicht um den 900. Beiträg wegen . des sogenannten 3.5GB "Bugs", also keine Angst)

Ich habe um was es geht zu verdeutlichen eine Testprozedur "entwickelt", und diese ist folgendermassen:

* Lade Unigine Benchmark 4.0 mit Ultra/Extreme Einstellungen, im Window Mode bspws. 1200x800
* Lade MSI Afterburner and aktiviere den "frametimes" graph und stelle Afterburner Monitoring auf 250ms.

(Also Du hast jetzt Heaven Benchmark in einem Window und kannst dann die frametimes in einem anderen beobachten).

* Nach dem Start von Heaven, drücke 9x in Heaven [RETURN] um zu der zweiten Szene mit dem Drachen zu kommen.
Jetzt drückst Du [SPACE] und hältst Heaven in dieser Szene an.

In Heaven, klick jetzt auf "free" Camera.

Was Du jetzt machst, während Du deine frametimes beobachtest umkreist Du die Statue (mit Maus und Tasten [D] oder [A]) und schaust immer auf den Drachen während Du rundherumgehst.

Anhang anzeigen 321680

Wie Du auf meinem Bild siehst, die normalen frametimes mit meiner Rechner Konfig (i7 auf 4400, 16GB DDR-2000, GTX 970 @1500) belaufen sich hier normalerweise auf 10ms....aber was auffällt sind MASSIVE Spikes die in Intervallen bis auf 50ms hochgehen:

DAS IST KLASSISCHER MIKRO STUTTER

Natürlich siehst Du hiervon bei den FPS (!) nix, aber wenn die Karte teilw. 5x so lange braucht um zu rendern finde ich das gravierend!

Aus irgendeinem Grund hat meine Beobachtung auf overclock.net wenig Resonanz und nur EINER hat den Test mit einer GTX 980 gemacht, und ich bin geschockt, der Mann hat überhaupt keine Spikes sondern smooth 7ms durch die Bank während er um die Statue herumgeht. (Wichtig! Du musst rumgehen mit dem Drachen immer im Blickfeld, also nicht statisch).

Es ist interessant zu erwähnen dass Videospeicher in der Szene nur ca 800MB belegt, also weit von der magischen 3.5GB Grenze der GTX 970 entfernt.

Fernerhin ist interessant dass die frametime Spikes auch bei STOCK, nicht übertaktetem System auftauchen. (Habe CMOS Reset gemacht und dies getested nachdem ein User eine unsinnige Behauptung aufstellte dass Haswell "keinen Speichertakt über 1600 mag" <--- blanker Unsinn. In der Tat sind die Spikes bei nicht-übertakteten System natürlich noch höher.

Heruntersetzen der Einstellungen in Heaven, also Tesselation aus, AA aus, Qualität usw. hat AUCH keinen Einfluss.

Es bleibt hier zu klären WAS genau diese enormen Spikes (STUTTERS) verursacht und weitere Tests ob die 980 dieses Problem nicht hat!

Diese Post soll AUCH verdeutlichen dass FPS alleine wirklich totaler Müll sind zum Test und zur Analyse von Grafikkarten. GPU Tester müssen wirklich umdenken und frametimes mehr Beachtung schenken, im Prinzip sind FPS alleine wertlos wie das 3.5GB Debakel ja schon aufgezeigt hat.

Meine Testkonfig: i7@4400, 16GB Crucial DDR-2000, 10-11-10-32, Windows 8.1 x64, die aktuellen 350.12 "GTA" Nvidia Treiber.

Edit: Das "Problem" trifft übrigens nicht in Valley Benchmark zu Tage, und andere Benchies/Demos habe ich noch nicht getested.

*** Und für alle die die jetzt vielleicht nur "Bahnhof" verstehen.... Frametimes einfach ausgedrückt heisst wie lange der Rechner/die Karte braucht um ein Bild aufzubauene. Bei bestimmten FPS, wenn die konstant sind, kann man gew. frametimes erwarten, also bei 60 FPS 17ms, bei mehr FPS kleinere frametimes usw. Wenn es also Spikes gibt, 50ms...oder bei einiges Leuten noch höher, heisst das der Rechner/PC/Game/App etc. kann in diesem kleinen Zeitraum ein Bild nicht genügens schnell aufbauen, also auf gt. Deutsch RUCKLER. Und beim blossen Beobachten der FPS sieht man da gar nix da diese ja ok aussehen, die FPS Anzeige zeigt Dir nicht dass bei einigen/vielen Frames es ruckelt bis zum Abwinken und die frametimes weitaus höher sind als sie für diese FPS eigentlich (für ein flüssiges Ablaufen) sein sollten.

 

[Josedan03]

OK interessant und was sollen wir jetzt machen, den Fehler finden ?

Einen hab ich schon: fernerhin = ferner

 

[HisN]

Sieht das auf einem 2. Monitor auch so aus, wenn die Anwendung im Vollbild-Modus läuft? Nicht dass Deine Tastatur-Eingaben oder das Fehlen vom Vollbild-Modus dieses Verhalten erzeugen.

 

[GeorgR.]

OK interessant und was sollen wir jetzt machen, den Fehler finden ?

Einen hab ich schon: fernerhin = ferner

Ob diese frametimes ein "Fehler" sind sei ja erstmal dahingestellt. Ich behaupte mal dass mein System, also HW und SW getested und "fehlerfrei" sind, dass das Beobachtete spezifisch zur GTX 970 ist. Also ich bin hier nicht auf einer Problemlösungssuche, glaube nicht dass es das ist was wir hier sehen.

 

[RAZ0RLIGHT]

jaja ich sag ja die Karte ist Müll aber die ganzen Fanboys wollen es nicht wahrhaben

vielen vielen dank für den Test!

 

[Nosmass]

Mir sind letztes Jahr beim Vergleich zwischen Amd und Nvidia phenome aufgefallen die deiner Beschreibung ähnlich sind, würde mich jetzt mal interessieren ob das damit in Zusammenhang gebracht werden kann.


Gesendet von meinem HTC One mit der Hardwareluxx App

 

[GeorgR.]

Sieht das auf einem 2. Monitor auch so aus, wenn die Anwendung im Vollbild-Modus läuft? Nicht dass Deine Tastatur-Eingaben oder das Fehlen vom Vollbild-Modus dieses Verhalten erzeugen.

Momentan habe ich nur eine Person als Referenz die den Test so wie ich auf einer GTX980 gemacht hat, 7ms linie gerade durch die Bank. Fullscreen usw. ist natürlich interessant und Maus/Tasten Input habe ich auch schon in Erwägung gezogen, UND...es kann sehr wohl sein es ist ein Problem dass nur in Heaven auftritt. Aber warum hat der 980 User das Problem nicht? Kann eine GTX 970 demnach zumindest in dieser Szene keine konstanten Rendertimes halten und hat sogar bei nur 800MB Videospeicher massive "Stutterprobleme" die eine andere Karte nicht hat? Wie sieht's bei AMD aus? Oder ist es WIRKLICH etwas mit meinem System das diese Spikes verursacht?

 

[RAZ0RLIGHT]

hab noch keine Tests gemacht aber speziell in GTA 5 fallen die Microruckler extrem auf (egal wie viel Speicher ich nutze)

 

[Josedan03]

Ob diese frametimes ein "Fehler" sind sei ja erstmal dahingestellt. Ich behaupte mal dass mein System, also HW und SW getested und "fehlerfrei" sind, dass das Beobachtete spezifisch zur GTX 970 ist. Also ich bin hier nicht auf einer Problemlösungssuche, glaube nicht dass es das ist was wir hier sehen.

Achso ok, dann verteufeln wir die gtx970 jetzt einfach mal weiter, wirds Zeit mal wieder auf AMD zu wechseln, seit der nvidia GTX 970 im Rechner fühl ich mich iwi nur noch schlecht, obwohl Sie gut läuft an und für sich aber egal, bin gespannt hier auf weitere Analysen zum Thema

 

[GeorgR.]

Mir sind letztes Jahr beim Vergleich zwischen Amd und Nvidia phenome aufgefallen die deiner Beschreibung ähnlich sind, würde mich jetzt mal interessieren ob das damit in Zusammenhang gebracht werden kann.


Gesendet von meinem HTC One mit der Hardwareluxx App

Das Problem hier ist dass die meisten Berichte wenn Leute von Rucklern reden oft subjektiv sind..bzw. ich diese Berichte oft nicht nachvollziehen kann.
Harte Nummern wie hier in Aferburner lügen halt mal nicht. Karte X braucht 7ms für einen Frame hier....und Karte Y teilweise 55ms?? Da stimmt doch was nicht.

- - - Updated - - -

Nix "verteufeln"... Lass einfach die ZAHLEN sprechen! Macht mehr Tests zum Vergleich, evtl. trifft das Problem bei anderen ja gar nicht zu.

 

[derneuemann]

Das kann durchaus auch an vielen anderen Bauteilen deines Rechners liegen, auf der anderen Seite aber sehr interessant, was dabei raus kommt, wenn andere den Test auch noch machen. Mache ich vielleicht gleich auch mal, wenn ich Zeit finde.

 

[Nosmass]

Bei meinen damaligen Tests hatte ich subjektiv den Eindruck das trotz hoher Fps das Bild nicht wirklich flüssig zu sein scheint, wie eine Art mikroruckeln. Im prinzip wäre mir das gar nicht aufgefallen wenn ich nicht mit einer anderen Karte verglichen hätte. Werde das in jedem Fall mal mit dem Afterburner testen und schauen ob es da einen Zusammenhang gibt den man anhand von Zahlen ablesen kann.

Gesendet von meinem HTC One mit der Hardwareluxx App

 

[fdsonne]

Momentan habe ich nur eine Person als Referenz die den Test so wie ich auf einer GTX980 gemacht hat, 7ms linie gerade durch die Bank. Fullscreen usw. ist natürlich interessant und Maus/Tasten Input habe ich auch schon in Erwägung gezogen, UND...es kann sehr wohl sein es ist ein Problem dass nur in Heaven auftritt. Aber warum hat der 980 User das Problem nicht? Kann eine GTX 970 demnach zumindest in dieser Szene keine konstanten Rendertimes halten und hat sogar bei nur 800MB Videospeicher massive "Stutterprobleme" die eine andere Karte nicht hat? Wie sieht's bei AMD aus? Oder ist es WIRKLICH etwas mit meinem System das diese Spikes verursacht?

Lasst doch mal den Afterburner mit ausgeklinktem Diagrammfenster im Hintergrund laufen (dann kannst du das Diagrammfenster auf volle Monitorgröße aufziehen) -> und nutze den Bench als Vollbild -> die Frametime Linie wird ja im Diagrammfenster aufgezeichnet.
Allerdings ist der Heaven Bench durchaus anfällig und nicht wirklich extrem stabil in den Frametimes... Das fällt auch bei anderen Karten auf (GK110 und GF100) bspw. Gibt auch ein paar Spieletitel, die das ähnlich handhaben -> die Stalker Reihe bspw. und auch Metro, wo mir das ein Stück weit auffiehl.

Übrigens, Frametimeaussetzer können auch vom Windows kommen -> dreh mal testhalber den Heaven Task auf Priorität High bzw. Echtzeit.

Auch interessant wäre der Gegentest mit Fraps -> um mal eine andere "Meinung" zu sehen. Könnte ggf. auch einfach ein Afterburner Problem sein, vor allem, da du ja den Messintervall runterdrehst?


EDIT: was mir dazu noch einfällt -> der Afterburner wie auch Fraps und Co. als Software Tools greifen die Frametimes und andere Werte "nur" an einer bestimmten Stelle im Prozess ab, das Ergebnis MUSS nicht zwingend der realtität entsprechen. Soll heißen, das in echt sichtbare kann sogar noch massiv schlechter oder deutlich besser sein. -> hier wären FCAT Messungen mit den realen Bildausgaben interessant.
Vielleicht schreibst du mal die Jungs von PCPer an, die sind ja ziemlich versessen auf FCAT Messungen -> ggf. sehen wir dann auch zeitnah von dehnen einen unabhängigen Test und eine FCAT Messung, die wirklich realen Werten entspricht, wie sie die Karte hinten am Port raus lässt...

 

[GeorgR.]

Ich werde auf jeden Fall mal mehr Tests machen. u.a. mit dem exakten Treiber welche die Person mit der GTX980 benutzte, 344.91
Und dann auch versch. Einstellungen in den Treibern und auch Fullscreen.

 

[HisN]

GTX Titan X
Win 8.1
350.12
Fullscreen
Treiber Vanilla

Der Spike ist übrigens reproduzierbar. Immer wenn ich den Drachen genau mittig habe beim Strafing seitwärts vor dem Drachen.

 

[gemm]

Welcher Spike ? Frametime ? Ich sehe den Spike vor lauter Spikes nicht...

 

[GeorgR.]

Titan X...na das ist ja mal interessant.

Hier frage ich mich wirklich ob es eine Treibergeschichte ist. Die eine Person welche behauptete das "Problem" ? nicht zu haben verwendete einen Uralt Treiber von MS Update. Den will ich aber jetzt auch nicht installieren. Er meinte er will den Test mal auch mit 350.12 machen und dann Ergebnisse posten.

Edit: Bei dir ja hoch bis zu fast 100ms. Jesus. Warum heisst es bei Dir 1796MB Memoryauslastung, welche Auflösung fährst Du denn? Evtl. ist das ein erster Hinweis...

 

[Narbennarr]

Ein Vergleich ohne Vergleich? Sorry du kannst nicht sagen Karte A hat das und Karte B nicht, wenn du selbst nur eine Karte hast.
Ich wette man kann die Spikes in Heaven reproduzieren mit nahezu jeder Karte! Gerade an dem Drachen gibts auch im Benchmark mit JEDER Karte einen fast unsichtbaren Grafikfehler, ich wette an dem liegt es

 

[GeorgR.]

Ein Vergleich ohne Vergleich? Sorry du kannst nicht sagen Karte A hat das und Karte B nicht, wenn du selbst nur eine Karte hast.
Ich wette man kann die Spikes in Heaven reproduzieren mit nahezu jeder Karte! Gerade an dem Drachen gibts auch im Benchmark mit JEDER Karte einen fast unsichtbaren Grafikfehler, ich wette an dem liegt es

Deswegen ja der Thread, zum Datenfinden was andere haben.

 

[Narbennarr]

Du behauptest aber schon im Titel es gibt den Unterschied zwischen 980 und 970.
Außerdem sollten wir doch besser bei nem eindeutigen Preset bleiben also Extreme (evtl im Vollbild) und bei bei "Windowsmode evtl mir 1200x800.

Ein richtiger Test sollte einfach strikter sein!

Zumindest auf diverse Seiten/Zeitschriften zweigt die GTX unter 3.5GB keine anderen Frametimes (außer höherer durschnitt, da weniger FPS). Ich teste trotzdem mal

- - - Updated - - -

Edit: Meine Frametimes sind ander Stelle in jedem Fall unregelmäßig, schwanken zwischen 10 und 50ms im Wechsel

Edit: Da ich gerade den Rechner meine Bruder hier habe (R9 290), auch da extrem schwankende Raten zwischen 20 und 70ms immer im Wechsel, die Szene wirkt auch da rucklig

Das sind zwar nicht die Spikes von 100 oder gar 250ms, aber ich denke das Heaven da einfach sehr ungünstig ist. Man sollte das vlt an einem anderen Beispiel und in jedem Fall OHNE manuelle Tasteneingaben testen!

 

[HisN]

Edit: Bei dir ja hoch bis zu fast 100ms. Jesus. Warum heisst es bei Dir 1796MB Memoryauslastung, welche Auflösung fährst Du denn? Evtl. ist das ein erster Hinweis...

Ist UHD

 

[Narbennarr]

Also bei google findet mal einige Probleme zu Frametime Problemen in Heaven, soll durch alt+tab besser werden.
Von daher sollte man sicht vlt was anderes suchen^^

 

[GeorgR.]

Ich bin mit bewusst das dies ein Spezialfall sein könnte, ich habe ja auch schon vorher in games wie BF4 usw. sporadisch geguckt und keine Auffälligkeiten gesehen, und in "Valley Benchmark" sehe ich auch nix besonderes. Momentan haben wir ja tatsächlich nur eine Referenz/Behauptung wo EINE Person behauptet das Problem nicht zu haben, muss mal auf mehr Daten warten

 

[jaydee2k4]

Ja und von meinem Onkel dem Schwager sei Tante hat gesagt seine GeForce GTX 9708878 GTI hat da auch keine Spikes.
Bei dem Threadtitel mit der reisserischen Überschrift wird mir glatt schlecht wen ich lesen muss auf was für ner fundierten Faktenbasis das ganze beruht... OMG

 

[DragonTear]

Ja und von meinem Onkel dem Schwager sei Tante hat gesagt seine GeForce GTX 9708878 GTI hat da auch keine Spikes.
Bei dem Threadtitel mit der reisserischen Überschrift wird mir glatt schlecht wen ich lesen muss auf was für ner fundierten Faktenbasis das ganze beruht... OMG

Hallo?
Es geht in diesem Thread eben genau darum, mehr Leute zu finden die Daten beisteuern können. Ist doch klar dass eine privatperson nicht so die große Bandbreite an Versuchsrechnern hat.
Und wenn du generell, dem Wort eines Users nicht glaubst, dann solltest du es ganz sein lassen... zwingt dich niemand die Infos hier zu berücksichtigen

 

[GeorgR.]

Ja und von meinem Onkel dem Schwager sei Tante hat gesagt seine GeForce GTX 9708878 GTI hat da auch keine Spikes.
Bei dem Threadtitel mit der reisserischen Überschrift wird mir glatt schlecht wen ich lesen muss auf was für ner fundierten Faktenbasis das ganze beruht... OMG

Dies hier ist immerhin eine bessere Faktenbasis als 100.000 Posts in diversen Foren wo Leute von Rucklern reden, weil solche Posts sehr oft eher subjektiv sind. Oft ist etwas für eine Person nicht flüssig wo jemand anders kein Problem erkennen kann. Wie soll ich Person X's Problem in Spiel Y nachvollziehen wenn ich Spiel Y nicht mal kenne?

Guck..ich präsentiere hier immerhin ZAHLEN....und noch einen Weg so dass auch jeder das nachvollziehen kann. Genau darum geht's ja...nicht "der Bruder meines Onkel hat gesagt"...sondern Fakten Soll sich herausstellen dass an der Sache nix dran ist...gut..dann mach ich den Thread zu und die Sache ist gegessen. Punkt ist...JEDER mit einer GTX 970 oder 980 oder AMD kann den Test machen und kost' auch nix

 

[HisN]

Jupp, das hat von den Laberköppen irgendwie noch keiner geschafft^^
Und dabei isses so einfach.
10 Leute machen es ... alle haben es: Das Programm/die Methodik
10 Leute machen es ... nur die NV-Fraktion hat es: Der Hersteller
10 Leute machen es, nur die NV-Fraktion mit der 9er-Graka hat es: Maxwell ist schuld.

Aber solange hier alle nur labern, gehts natürlich nicht voran.

 

[Federmaus]

Wenn man sowas testen will brauch man eine Szene die eigenständig immer genau geich abläuft. Allein dadurch dass der Test von Hand mit USB-Eingabegeräten durchgeführt wird reicht schon um ihn als nicht aussagekräftig zu bezeichnen. Außerdem würde ich soweit gehen und sagen, wenn überhaupt minimal-Konfig - deaktivierter Soundchip, Karte oder was auch immer man benutzt. Keine USB-Devices, 1 SSD vorzugsweise kein CD/DVD/Blu-Ray-Laufwerk, jeder kleine Interrupt der durchs System geht macht die ganze Arbeit zu nichte, oder besser gesagt - er kann.

Daher wäre ein minimalistischer 3D-Parkour der automatisch abläuft und am besten auch intern die Frametime's auswertet der einzig richtige Weg um hier überhaupt ein kleines bisschen Aussagekraft reinzubringen.

 

[DragonTear]

@Federmaus
Was soll ein Minimal-Test denn genau zeigen? Das ist dann auch wieder von der Praxis entfernt, und nur die sollte eine Rolle spielen. Daher würde ich eher versuchen eben so viele normale Systeme wie möglich zu testen. Dann kann man immerhin aussagen ob es tatsächlicch öfters mit dieser Grafikkarte zu Probllemen kommt, als mit einer anderen

 

[Federmaus]

Der Minimaltest schließt andere Faktoren aus - und von der Praxis entfernt ist einzig und allein diese Testmethodik wo am Ende niemand weiß ob jetzt die GPU Schuld ist oder 'n siffiger 3rd-Party-Driver der das System mit Interrupts zukleistert.

Außer hier hat jemand Lust XPerf Stackwalks o.Ä. von Hand zu analysieren um zu schauen ob überhaupt die GPU für den Spike verantwortlich war.