Werbung
Für die Bildoptimierung hat NVIDIA bereits mehrfach Techniken vorgestellt, bei denen fehlende Inhalt oder Details per Machine-Learning ermittelt und in das Bild integriert werden können. Für Ray-Tracing-Anwendungen ist ein sogenanntes Denoising bereits seit dem Frühjahr 2017 im Einsatz – und wird für ein Ray-Tracing mit RTX in Echtzeit ausgeführt. Damit reduziert NVIDIA den Rechenaufwand für die Hardware. Die noch ausstehenden Bereiche der Berechnung werden durch ein Rauschen dargestellt. Da der Renderer aber nicht weiß, welche Objekte einer Szene am wichtigsten sind, berechnet er die Rays einfach in einer für ihn logischen Reihenfolge. Um die Wartezeit auf das fertige Bild zu reduzieren und das Rauschen schneller entfernen zu können, errechnen Deep-Learning-Algorithmen die wichtigen Bereiche des Bildes und berechnen diese schneller.
Für Slow-Motion-Aufnahmen gibt es mehrere Herausforderungen. Erstens muss die Kamera die gewünschten FPS auch liefern können. Bei kurzen Belichtungszeiten müssen Sensor und Optik möglichst lichtstark sein bzw. die Szene muss stark ausgeleuchtet werden. Zuletzt müssen die Daten, die vom Sensor aufgenommen werden, auch schnell gespeichert werden. All dies sind keine trivialen Aufgaben.
Eine Forschergruppe bei NVIDIA hat nun eine Technik entwickelt, bei der ein Deep-Learning-Algorithmus ein Video mit 30 FPS in eine Slow-Motion-Aufnahme mit 240 FPS verwandelt. Der Algorithmus vergleicht dazu zwei aufeinanderfolgende Frames und berechnet die Bewegung der Objekte. Aus dieser Erkenntnis wird ein Zwischenbild interpoliert.
Datenschutzhinweis für Youtube
An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.
Ihr Hardwareluxx-Team
Youtube Videos ab jetzt direkt anzeigen
Der Algorithmus muss zunächst aber antrainiert werden. So kann eine Flüssigkeit in Zeitlupe erst simuliert werden, wenn das System mit entsprechenden Slow-Motion-Aufnahmen trainiert wurde. Gleiches gilt für die schnelle Durchfahrt eines Autos durch eine Wasserpfütze. Auch dies muss dem Algorithmus zunächst mit einer reellen Slow-Motion-Aufnahmen gezeigt werden, bevor dieser weiß, was bei einer Simulation zu tun ist.
Das Team von NVIDIA hat ein PyTorch Deep-Learning-Netzwerk mit 11.000 Videos verschiedener Slow-Motion-Aufnahmen trainiert. Damit sollen die wichtigsten Aufgabenfelder für solche Aufnahmen abgedeckt sein.
Denkbar wäre der Einsatz eines solchen Algorithmus in Smartphones. Diese können in einigen Fällen bereits mit 960 FPS aufnehmen, dann aber muss die notwendige Lichtstärke vorhanden sein und auch die Auflösung wird reduziert. All dies ist mit dem Algorithmus nicht mehr notwendig. Die notwendigen Berechnungen könnten in der Cloud ausgeführt werden, das aufgenommene Video wird dazu hochgeladen.
Allerdings kann der Algorithmus nicht beliebig viele Frames interpolieren. Aus 30 240 FPS zu machen sei noch möglich, darüber hinaus kommt die Technik aber an ihre Grenzen. Aufnahmen mit 120 oder 240 FPS lassen sich aber um den gleichen Faktor "verlangsamen".