NVIDIA interpoliert per AI Frames in Slow-Motion-Aufnahmen

[HWL News Bot]

Für die Bildoptimierung hat NVIDIA bereits mehrfach Techniken vorgestellt, bei denen fehlende Inhalt oder Details per Machine-Learning ermittelt und in das Bild integriert werden können. Für Ray-Tracing-Anwendungen ist ein sogenanntes Denoising bereits seit dem Frühjahr 2017 im Einsatz – und wird für ein Ray-Tracing mit RTX in Echtzeit ausgeführt. Damit reduziert NVIDIA den Rechenaufwand für die Hardware. Die noch ausstehenden Bereiche der Berechnung werden durch ein Rauschen dargestellt. Da der Renderer aber nicht weiß,...

... weiterlesen

 

[Hyrasch]

Sehr geil!
Falls in Zukunft solche Techniken in Software für zu Hause erhältlich wären )

 

[NasaGTR]

Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?

Inputlag.

 

[gogoAustria]

Ich frage mich sowieso warum man keine Technik zur Zwischenbildberechnung bei Spielen entwickelt wodurch die Framerate verdoppelt wird !?
Jeder Fernseher mit Zwischenbildberechnung kann das mit simpler Bildelektronik und sogar von 30 FPS auf 120 FPS also wo liegt das Problem ?

Eben, du sagst es, jeder Monitor könnte das auch, mit entsprechender Elektronik.

Hast du es aber schon mal am TV probiert? Mal abgesehen vom katastrophalen Inputlag (der aber größtenteils vermeidbar wäre), sieht das Bild verwaschen und unscharf aus in schnellen Bewegungen.
Probiers doch mal aus bei einem Spiel.

Das was Nvidia hier macht ist was ganz anderes, und kostet vermutlich weit mehr Rechenleistung, als die Differenz von 60 zu 120FPS.
Hier wird quasi aus vergangenen Bildern erdacht, wie das nächste Bild ausschauen könnte. (Weil es in der Vergangenheit ähnliche Bildabfolgen gab, aus denen die Infos gezogen werden können).
Dieser ständige Abgleich ist mit enormer Rechenleistung verbunden. Mal abgesehen von der "Datenbank" dies dazu braucht, um die AI zu füttern.

Der TV hingegen errechnet einfach nur Zwischenbilder aus den vorhandenen Pixeln, in dem er Zwischenbilder aus Farb-Mittelwerten erzeugt. Maximal werden noch Kontrastkanten und ähnliches berücksichtigt, um kein extrem verwaschenes Bild zu bekommen.

 

[Andregee]

Zwischenbilder aus Farbmittelwerten? Was soll das konkret bedeuten. Man nutzt dafür Vektoren. Befindet sich z. B ein Ball im ersten Bild auf X1 und Y2 und im zweiten Bild X1 und Y6 dann wird im generierten Zwischenbild der Ball auf X1 Y4 angezeigt. Die Oculus Rift nutzt ein ähnliches Verfahren namens Asynchronous Space Warp. Nur wird das nächste Bild direkt extrapoliert anstatt es aus dem aktuellen und folgenden als Zwischenbild zu interpolieten. Dann reichen auch 45 fps aus um 90 fps im HMD angezeigt zu bekommen. Fehlerfrei ist das jedoch nicht aber deutlich angenehmer als eine schwankende Fps Rate unter 90

Gesendet von meinem HTC One_M8 mit Tapatalk

 

[Mo3Jo3]

Ist hier vor ein paar Monaten nicht noch dir Frage aufgekommen, was man mit AI Hardware überhaupt alltagstaugliches machen könne?

 

[NasaGTR]

Ja, mit 60FPS als Basis kann man voll aufdrehen also 120FPS sind kein Problem bei schnellen Bewegungen und Philips schafft es mit "nur" 50ms Input Lag also gut spielbar.
Das Alles mit simpler Bildelektronik im TV die vermutlich keine 50€ kostet also wenn man da etwas stärkere Hardware nutzt kann man es bestimmt noch etwas verbessern.
Wenn man bedenkt welche Rechenleistung "echte" extra 60FPS in UHD/4K kosten dann könnte man sogar von einer Verschwendung von Ressourcen und Energie sprechen.

Das zweite Hauptproblem nach Inputlag die Verschwommenheit hast du jetzt etwas untergehen lassen.
Den Inputlag kannst du mit Rechenleistung besiegen, gegen die Verschwommenheit kommst du nicht an.

 

[Andregee]

Welche Verschwommenheit? Im TV Sektor nutzt man die Framesinterpolation um die Sample Hold bedingte Bewegungsunschärfe zu verringern. Fazit.: Die Bewegtbildschärfe steigt durch Die Interpolation an

Gesendet von meinem SM-G920F mit Tapatalk