Werbung
Alte Filmaufnahmen haben durchaus ihren Charme und können je nach Genre dazu beitragen, dass bestimmte Filme und Serien nur in der jeweiligen Optik funktionieren. Doch in Zeiten immer hochauflösender Inhalte fallen so manche Filmsequenzen optisch weiter zurück.
Die Ankunft eines Dampfzuges in La Ciotat ist eine der ikonischsten Aufnahmen der Filmgeschichte. Die 1896 von Auguste und Louis Lumière gemachten Aufnahmen stellten zur damaligen Zeit das technisch Machbare für Filmaufnahmen dar. Damals war es das Ziel, das industrielle Zeitalter mit all seinen Möglichkeiten wie dem Transport und der Reise via Dampflok filmisch festzuhalten.
Doch die niedrige Auflösung, das Rauschen und die Fehler im Filmmaterial mögen ihren Charme haben, sind aber aus qualitativen Gesichtspunkten heute nicht mehr als aktuell anzusehen. In der Folge ist der Film im Original zu sehen:
Datenschutzhinweis für Youtube
An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.
Ihr Hardwareluxx-Team
Youtube Videos ab jetzt direkt anzeigen
Denis Shiryaev hat eine Software namens AI Gigapixel verwendet, um den kurzen Filmausschnitt darauf anzuwenden. AI Gigapixel wurde schon mehrfach für ähnliche Projekte verwendet. Unter anderem haben wir über ein Remaster der TV-Serie Star Trek DS9 berichtet.
Datenschutzhinweis für Youtube
An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.
Ihr Hardwareluxx-Team
Youtube Videos ab jetzt direkt anzeigen
Das Upscaling der einzelnen Frames bietet ein Endergebnis von 4K bei 60 FPS (siehe oben). Es wurden also einerseits Details hinzugefügt, die so im Original zwangsläufig nicht mehr sichtbar waren, zum anderen wurden auch ganze Frames künstlich erzeugt. AI Gigapixel verwendet zur Bilderzeugung verschiedene, vortrainierte Deep- und -Machine-Learning-Netzwerke. Dazu wird das Netzwerk mit tausenden Fotos trainiert. Diese sollten in der Optik in etwa dem entsprechen, mit dem sie später verglichen werden. So lernt das Netzwerk hinzu, erkennt Unterschiede und kann selbst Details hinzufügen, die im Originalmaterial gar nicht vorhanden sind.
Die Methodik ist dem Deep Learning Super Sampling von NVIDIA nicht ganz unähnlich. Nach anfänglichen Schwierigkeiten der Technik hat NVIDIA hier inzwischen eine Bildqualität erreicht, die der nativen Auflösung entsprechen kann. Für DLSS wird ebenfalls ein neuronales Netzwerk trainiert, in diesem Fall jedoch mit gerenderten Frames von verschiedenen Spielen. Eingangsdaten sind zum einen das von der eigenen Grafikkarte gerenderte Bild (in einer niedrigeren Auflösung als die Zielauflösung) sowie vordefinierte Idealzustände eines gerenderten Bildes. Diese liegen in einem 64x Supersampling (64xAA) vor und wurden auf einem SATURN V getauften Supercomputer bei NVIDIA berechnet. Aus der Differenz des durch die eigenen Grafikkarten gerenderten Bildes und dem Idealzustand für das Spiel wird die Ausgabe erstellt. Dieses Inferencing findet auf den Tensor-Kernen der Turing-Architektur statt.
In einem nächsten Schritt kann Schwarz-Weiß-Filmmaterial um Farben ergänzt werden. Wie dies aussehen könnte, zeigt ArsTechnica mittels einer App namens Colorize. Da auch dieses Netzwerk den Idealzustand aus zahlreichen Trainingsdaten kennt, wird dem Schwarz-Weiß-Frame die passende Farbe hinzugefügt.
Einmal mehr zeigt ein solches Projekt, welche Möglichkeiten in den ML-Anwendungen liegen. Ob und wie sie dann angewendet werden, steht auf einem anderen Blatt.