Frametime Analyse - Der *Richtige* Weg zu Testen. (Krasser Unterschied 970<-> 980!!)

[k3im]

Habs mal mit meiner 7970 gemacht



Sagt mir alles nichts.

 

[GeorgR.]

Habs mal mit meiner 7970 gemacht



Sagt mir alles nichts.

Du hast auch Spikes (guck bei den frametimes), aber sehr klein, im Prinzip zu vernachlässigen. INTERESSANT.

Ich habe übrigens gefunden dass die "Spikes" wohl jede ganze "Runde" beim rumgehen auftauchen, bzw. in anderen Scenen in Heaven auch vorkommen wenn man auf "walk" stellt und einfach mal so rumgeht in der Benchmark. Ich VERMUTE die treten immer dann auf wenn neue Information in den Framebuffer kopiert wird.

Es kann ja alles sein dass dies eher ein Engineproblem von Heaven ist und ÜBERHAUPT KEINS von Hardware oder OS. Aber dann interessierts doch warum (angeblich) einige das Problem nicht haben und andere doch. Übrigens bisher noch keinen gefunden der ausser der einen Person das "Problem" NICHT hat. Also die Spikes sind bei R290X und wirklich bei jeder Karte scheinbar. Es sei denn noch andere mit irgendwelchen Karten kommen hinzu und haben dieses Problem nicht. Bei dir..FAST nicht. Deswegen interessant.

- - - Updated - - -

Der Minimaltest schließt andere Faktoren aus - und von der Praxis entfernt ist einzig und allein diese Testmethodik wo am Ende niemand weiß ob jetzt die GPU Schuld ist oder 'n siffiger 3rd-Party-Driver der das System mit Interrupts zukleistert.

Außer hier hat jemand Lust XPerf Stackwalks o.Ä. von Hand zu analysieren um zu schauen ob überhaupt die GPU für den Spike verantwortlich war.

Du hast natürlich vollkommen recht. Vielleicht finde ich ja eine Szene in 3dmark oder ähnlicher Benchmark die man loopen kann. Mit ist bewusst dass da noch ne Menge Faktoren einspielen und die müsste man erstmal eliminieren, Input zum Beispiel.

 

[fdsonne]

Ich habe übrigens gefunden dass die "Spikes" wohl jede ganze "Runde" beim rumgehen auftauchen, bzw. in anderen Scenen in Heaven auch vorkommen wenn man auf "walk" stellt und einfach mal so rumgeht in der Benchmark. Ich VERMUTE die treten immer dann auf wenn neue Information in den Framebuffer kopiert wird.

Das hat nix mit einer vollen Runde zu tun. Diese Ausschläge kommen an verschiedensten Stellen. Und die Stellen sind immer identisch, du musst dich nicht um den Drachen bewegen, da reicht schon simples hin und her mit A + D, wenn du eine Sichtposition gefunden hast, welche diese Ausschläge aufzeigt.

Was ich dazu bis dato getestet hab, es ist egal ob Vollbild oder Window, es ist egal welche Auflösung, es ist egal ob AA oder nicht, es ist egal ob Tesselation an ist oder nicht und auch wie stark, es ist egal ob volumetrischer Rauch, HBAO oder der Reflektionsschalter gesetzt sind -> die Ausschläge sind zu sehen und die Stellen sind IMMER! identisch. Auch ists egal ob mit SLI oder ohne.

Bei mir ist das übrigens sowohl mit dem GK110 SLI als auch mit einer 290er als SGPU, welche ich getestet habe...


Was ebenso auffällig ist, ist der Frametime Ausschlag zu sehen, dann geht die GPU Last im gleichen Moment runter -> oder besser, die GPU Last geht runter und deswegen kommt der Ausschlag -> was viel eher Sinn ergeben würde. Stellt sich allerdings die Frage, warum geht die GPU Load an der Stelle runter?

 

[GeorgR.]

Hallo fdsonne,

zum "boosten", also Takt/Volt runter oder hochschalten wie es GPU Boost macht habe ich auch schon ne Menge Tests gemacht, dieses schon vorher.

Ich habe generell gefunden dass Boost/Runtertakten ANSICH überhaupt kein Problem darstellt, hier es keine Zacken bei den frametimes gibt. Dies weil einige Leute behaupten/behaupteten sie hätten Performanceprobleme WEGEN des Boostens. Ist absolut nicht der Fall.

WENN, in diesem Fall Stocker zeitgleich mit dem Boost oder Runterschalten auftreten dann ist der Taktwechsel nur ein Resultat (von was in der Benchmark gerendert wird), NICHT aber Ursache für Stocker.

** Unigine Heaven hat ja so oder so sporadisch diese Aussetzer wo die Power % runter geht, Szenenwechsel usw., aber ich glaube nicht dass das die selben Stocker sind welche wir sehen wenn man um den Drachen rumgeht?

*** Mit "voller Runde" meine ich dass ich die Stocker bei der Drachenszene immer sehe wenn ich hinter dem Drachen bin, glaube immer an der selben Position und dann weitergehe. Also die sind definitiv nicht zufällig. Deswegen meine Vermutung es hat irgendwie mit Datenhandling zu tun dass bei einer best. Position bspws. Daten in den FB geholt werden, ein Zugriff für Texturen stattfindet oder sonstwas. Aber schon eigenartig dass jegliche Einstellungen hier keine Veränderung hebeiführen. Wie Du richtig sagst, mann kann auf "low quality" fahren, niedrige Auflösung, AA und Tess aus und es ruckt immer noch.

****

Hier noch eine allgemeine Bemerkung: Sehe ich das ganze "Problem" hier doch als interessant an weil es eventuell Hinweise geben kann welche Operationen/Funktionen in einer Game Engine in Peformanceprobleme resultieren könnten, wenn wir denn rauskriegen WAS diese Ruckler genau verursacht. (Es sei denn Heaven macht was ganz spezielles, unoptimiertes das keine Game Engine so macht). Und natürlich zur Verdeutlichung wie wertlos es ist nur auf FPS zu gucken.

 

[Reaver1988]

*** Mit "voller Runde" meine ich dass ich die Stocker bei der Drachenszene immer sehe wenn ich hinter dem Drachen bin, glaube immer an der selben Position und dann weitergehe. Also die sind definitiv nicht zufällig. Deswegen meine Vermutung es hat irgendwie mit Datenhandling zu tun dass bei einer best. Position bspws. Daten in den FB geholt werden, ein Zugriff für Texturen stattfindet oder sonstwas.

Meine Vermutung: Etwas ungünstig platziert bzw. Programmiert. Ich glaube du versuchst dir mehr einzureden, als da wirklich vorhanden ist. Es kann doch genau so gut einfach an der Software liegen. Rausfinden wirst du das nicht, da der Quellcode meines Wissens nach nicht offen ist. Auch könnte es etwas im Treiber sein (Schnittstelle, die ungünstige Parameter bzw. Verarbeitungen hat).

Teste doch mal was anderes. Einen GTA5 Bench oder so und vergleiche dann mehrere verschiedene Grafikkarten.

 

[GeorgR.]

Guck doch mal da ins Englische (sorry) forum:

An Interesting Experiment For All GTX 970/GTX 980 Owners (Stutters) - Page 2

Derjenige der das Problem NICHT hat (guck mal die graphen an, die sind gerade wie ein Strich, der Hammer)
Er hat "5960x rig ddr4 at 2800 cpu is 4.2 for now", also ein absolutes high-end system!

Hat's was mit der CPU zu tun???

* Verdeutliche Dir mal....jemand der 7ms (!) durch die Bank, gerade wie ein Strich hat, und dann Leute mit i7@4400 (ist ja sicherlich auch nicht low-end was ich hier habe)...mit Zacken teilw. 55ms....das ist SIGNIFIKANT, um es gelinde zu sagen.

Das heisst nix anderes das hier auf einem i7 und GTX 970 es braucht fast 8x länger zum rendern in gew. Situationen...das gibt's doch nich.

Edit: Also, ich mache es nicht zu einem "Problem", ich habe in der Tat in Spielen usw. nix zu meckern. Es ist eher eine Sache aus Interesse....auch um diese "Rucklergeschichten" die man ja immer wieder hört mal zu objektivieren, mit Zahlen.

 

[HisN]

Nein, mein Screenshot da oben ist auch mit einer 5960X, die schneller getaktet ist entstanden. Der Unterschied ist wohl das er ein SLI fährt.
Eventuell hat er ja nur vorm Drachen gestanden und sich nicht bewegt^^

http://www.hardwareluxx.de/communit...terschied-970-980-a-1070684.html#post23435047

Eventuell hat der Kerl da nur vergessen vsync abzuschalten.
Hat er sein Preset angegeben? Also die Einstellungen mit denen er den Bench und seinen Treiber fährt?

 

[GeorgR.]

Ja SLI fährt er nich, habe ihn schon mehrmals gefragt ob er sich bewegt, ja, tut er.

 

[fdsonne]

Hallo fdsonne,

zum "boosten", also Takt/Volt runter oder hochschalten wie es GPU Boost macht habe ich auch schon ne Menge Tests gemacht, dieses schon vorher.

Ich habe generell gefunden dass Boost/Runtertakten ANSICH überhaupt kein Problem darstellt, hier es keine Zacken bei den frametimes gibt. Dies weil einige Leute behaupten/behaupteten sie hätten Performanceprobleme WEGEN des Boostens. Ist absolut nicht der Fall.

WENN, in diesem Fall Stocker zeitgleich mit dem Boost oder Runterschalten auftreten dann ist der Taktwechsel nur ein Resultat (von was in der Benchmark gerendert wird), NICHT aber Ursache für Stocker.

Ich sehe keine Taktschwankungen bei mir -> nur den kurzen Einbruch der GPU Last Anzeige und entsprechend im gleichen Step eben den Ausschlag der Frametimes -> was auch völlig logisch ist, wenn aus welchen Gründen auch immer, die GPU Last auf ein minimum zusammensackt, somit die Berechnung nicht ausgeführt wird, dass dabei die Frametimes ausschlagen.

Wie schon gesagt, der Heaven Bench ist ein beschissener Vergleich. Er gilt als allgemein anfällig für Ausschläge und zeigt diese auch einfach 1:1 auf dem Schirm. Die gängige Spielepraxis sieht da eher völlig anders aus... Ich sehe, selbst bei über 100 FPS dort im Bench diese Ruckler direkt auf dem Schirm, was ich beim Spielen von realen Titeln in ähnlichen FPS höhen faktisch nicht behaupten kann...

An Interesting Experiment For All GTX 970/GTX 980 Owners (Stutters) - Page 2

Derjenige der das Problem NICHT hat (guck mal die graphen an, die sind gerade wie ein Strich, der Hammer)
Er hat "5960x rig ddr4 at 2800 cpu is 4.2 for now", also ein absolutes high-end system!

An dem Bild von ihm wundert mich eher, warum hat er nur um die 88 FPS in Heaven, während das Diagramm auf der rechten Seite über 100 FPS anzeigt?
Und auch das Frametime Diagramm ist nicht 1:1 mit den Werten in Heaven. 88 FPS wären über 11ms -> da steht aber 9... Da passt was ganz gewaltig nicht.

Ja SLI fährt er nich, habe ihn schon mehrmals gefragt ob er sich bewegt, ja, tut er.

Ich habe diese Aussetzer mit wie ohne SLI beim GK110 -> daran liegt es also faktisch nicht!
VSync wäre allerdings eine Option... Wart mal, ich probier das mal...

EDIT: VSync ist wurscht -> Schlägt trotzdem aus!

 

[HisN]

Ja SLI fährt er nich, habe ihn schon mehrmals gefragt ob er sich bewegt, ja, tut er.

I see, die 2. Karte arbeitet nicht.

 

[StarGeneral]

Habs auch mal laufen lassen - ebenfalls starke Ausschläge in den Frametimes. 720p, Ultra Detail, Tesselation max., System aus der Signatur (CF im Fenstermodus nicht aktiv):

 

[k3im]

Sicher das du das richtig gemacht hast? Deine Spikes sehen so aus wie bei mir wenn ich beim drehen um den Drachen mit dem Mauszeiger aus dem Unigine Fenster rutsche. Unregelmäßig halt.

 

[GeorgR.]

Er hat auch nen video gemacht jetzt

https://www.youtube.com/watch?v=mgHtaIYs5M0

 

[fdsonne]

mhhh puzig... Ich kann das nicht nachvollziehen. Bei mir ruckelt das, egal was ich mache an bestimmten Stellen.

 

[DragonTear]

Hmm, wäre wirklich interessant zu wissen welches Wunder da am Werk ist
Wie es scheint, ist die Nicht-Ruckler Gruppe ja offenbar deutlich in der Minderheit.

 

[fdsonne]

Auch Fraps sieht diese Ausschläge übrigens Also scheint es dahingehend kein Software Problem zu sein... Ebenso ist der Abfrageintervall der Hardware nicht zwingend fix. Selbst mit noch kürzeren Anfragen sind die Abfragen da wie auch mit längeren.


Es scheint zumindest noch der Fußboden, ggf. auch der Drache selbst, einfluss auf den kurzen Stocker zu haben. Hat man eine Stelle gefunden, wo der Ausschlag zu reproduzieren ist, dann ists auch fast egal, wohin man guckt. Ganz nah ran an den Fußboden/Drachen bspw. bringt den gleichen Ausschlag wie weiter weg, wo deutlich mehr Content dargestellt wird. Allerdings sind die Stellen immer identisch. Bei mir ist das vor dem Drachen (also Frontseite des Drachen) in einer Seitswärtzbewegung, hinter dem Drachen gibst noch ne Stelle, wo es sogar kurz doppelt hintereinander unterschiedlich hoch ausschlägt. -> Da die Drehbewegung um den Drachen das Sichtfeld permanent ändert durch die Mausdrehung, hab ich es jetzt immer so gehalten mir eher eine Blickposition zu suchen um dann ausschließlich mit A + D hin und her zu schieben...

-> nach all diesen Sachen würde ich dieses Problem zumindest bei Heaven suchen, nicht aber bei der Hardware...
Warum und wieso dieser eine einzige Fall das Problem nun nicht hat (sichtbar mit Videobeleg!) -> ich hab absolut keine Idee.

 

[Narbennarr]

Ich konnte das jetzt an vier Systeme ansehen 980, R9 290, 7970 und ner alten 540M. Bei allen habe ich Spikes! Wieso er das nicht hat erklärt sich mir nicht, aber ich behaupte das liegt am Heaven!

 

[HisN]

hab ich es jetzt immer so gehalten mir eher eine Blickposition zu suchen um dann ausschließlich mit A + D hin und her zu schieben...

Genau so hab ich das auch gemacht. Ist deutlich einfacher als die Drehbewegung, und kommt aufs gleiche raus.

 

[fdsonne]

Genau so hab ich das auch gemacht. Ist deutlich einfacher als die Drehbewegung, und kommt aufs gleiche raus.

Interessant dabei ist aber, dass nicht direkt die Position entscheidet. Mir viel dabei nämlich auf, dass diese Ruckler zwar immer an der gleichen Stelle auftreten, allerdings erst dann, wenn man sich weit genug von der Stelle wegbewegt. Direktes kleines Bewegen hin und her an der besagten Stelle führt nicht zu erneuten Ausschlägen, das macht es erst, wenn man sich weit genug davon entfernt hat und dann wieder zurück kommt...
Auch habe ich die Vermutung, dass es in irgend einer Weise was mit dem Weg zu tun hat, der um den runden Platz, aufdem der Drache steht, zu sehen ist... Denn auffallend ist für mich, dass die Ruckler dann auftreten, wenn der Weg ins Sichtfelt kommt.
Allerdings gibt es, wenn man von hinten den Drachen beguckt, auch irgendwo eine Stelle, da ist der Weg nicht zu sehen...
Meine Vermutung war erst, es liegt an der Tesselation -> allerdings kann man diese auch ausknipsen und die Ausschläge sind (an den selben Stellen) immernoch vorhanden...

 

[DSmon]

Ist es möglich, dass der "frametimes" Graph erst ab einer bestimmten Generation zur Verfügung steht?
Ich wollte das eben mal mit einer 480 GTX testen und kann unter "Aktivierung von Hardware Überwachungskurven" nichts dergleichen auswählen.

"GPU Temp, PCB Temp, GPU Auslastung, FB Nutzung, VID Nutzung, BUS Nutzung, GPU Spannung, Lüfterv, Lüftertachometer, Prozessortakt, Shaderv, Speicherv, Speicherauslastung, Ausnutzungslimit, CPUx usage, RAM usage, Pagefile usage"

 

[Naennon]

Ich konnte das jetzt an vier Systeme ansehen 980, R9 290, 7970 und ner alten 540M. Bei allen habe ich Spikes! Wieso er das nicht hat erklärt sich mir nicht, aber ich behaupte das liegt am Heaven!

also verschiedene Hersteller > liegts an Heaven (Texturstreaming)

 

[k3im]

Ich konnte das jetzt an vier Systeme ansehen 980, R9 290, 7970 und ner alten 540M. Bei allen habe ich Spikes! Wieso er das nicht hat erklärt sich mir nicht, aber ich behaupte das liegt am Heaven!

Screenshots her! Sind ja nur 3 klicks. Behauptungen sind so ne Sache.

Genau so hab ich das auch gemacht. Ist deutlich einfacher als die Drehbewegung, und kommt aufs gleiche raus.

Für eine Vergleichbarkeit wäre die gleiche Methodik sicher hilfreicher.

 

[HisN]

Wenn ich den Spike schon beim Strafing habe, verschwindet der beim Kreise drehen nicht^^

 

[3V!L]

Ich hab mir auch mal die Mühle gemacht...

 

[StillPad]

Interessantes Thema,

was mich als Unwissenden aber belastet: Was genau ist dieses "Frametime"?
Was genau wird dort errechnet und wie passiert das?

Sobald man weiß was dieser Graph genau ist, kann man anfangen herraus zu finden was diese Spikes verursacht.

Vielleicht kommts ja durch den PCIe 3.0 Port der beim Kerl mit der 980 besser angebunden ist als mit den normal User Boards.
Da mir aber schon die Infos fehlen was genau dieser Graph sein soll, artet das in reines Rätsel raten aus.

 

[HisN]

Die Zeit, die ein Frame angezeigt wird, bzw. bis der nächste Frame angezeigt wird.

 

[StillPad]

Die Zeit, die ein Frame angezeigt wird, bzw. bis der nächste Frame angezeigt wird.

Danke

Also wenn der 980er Besitzer 7ms dort haben soll, müsste der doch theoretisch 142,85 FPS haben durchgehend.

In dem Video sehe ich aber von 115-150FPS alles im Benchmark. Dem zufolge kann es doch keine konstant 7ms in der Frametime geben