Die Zukunft von DLSS

NVIDIA sieht im KI-Rendering den einzig gangbaren Weg

Die von NVIDIA gemeinsam mit der Turing-Architektur eingeführte AI-Upscaling-Technik DLSS (Deep Learning Super Sampling) hat inzwischen sicherlich einen technischen Stand erreicht, der es in den meisten Fällen erlaubt, die KI-Unterstützung im Frame-Upsampling bzw. in der Frame-Generierung auch zu empfehlen. Sicherlich gibt es auch in der aktuellen Version 3.5 in Cyberpunk 2077 ein paar kleinere Fehler, grundsätzlich aber sind die Vorteile der Technik größer und die wenigen Nachteile treten in den Hintergrund.

In einem Roundtable sprachen Alex Battaglia von Digital Foundry, Bryan Catanzaro, Vizepräsident der Forschungsabteilung für Applied Deep Learning Research bei NVIDIA, Jakub Knapik Art Director bei CD Projekt RED, GeForce-Evangelist Jacob Freeman und Pedro Valadas des PCMR-Sub-Reddit über den aktuellen Stand der Technik, welche Vorteile eine Technik wie DLSS bietet und wie sie sich weiterentwickeln könnte.

Einst stand für DLSS 1.0 die Vision im Raum, ein auf 4K hochskaliertes Bild zu liefern, welches besser sein würde, als ein nativ in 4K gerendertes Bild. Diesen Zustand erreichte NVIDIA aber erst mit der Version 2.2 von DLSS. Mit DLSS 3 kam eine Technik namens Frame Generation hinzu, die komplette Frames erzeugt und dazu einen gewissen Input von der Engine benötigt. Mit DLSS 3.5 hat NVIDIA dann die Ray Reconstruction hinzugefügt. Die Technik ersetzt Denoise, die bisher in Bereichen eingesetzt werden, wo die Raytracing-Effekte an ihr Limit kommen bzw. ein Kompromiss aus notwendiger Darstellungsqualität und aktuell verfügbarer Rechenleistung eingegangen wird.

Bildvergleich

Spiele wie Quake RTX, Portal RTX, Minecraft RTX und der Overdrive Mode von Cyberpunk 2077 sind nur möglich, weil DLSS die aktuell fehlenden Ressourcen für ein vollständiges Pathtracing ersetzt. Als DLAA bietet NVIDIA die Möglichkeit, ein besseres Anti-Aliasing anzuwenden und so hat sich die KI-Technik immer weiter in die Darstellung von Spielen verbreitet.

Diesen Weg will NVIDIA offenbar auch weiter verfolgen, denn die klassische Rendering-Technik sieht man bei NVIDIA am Limit. Grund dafür sei, dass das Mooresche Gesetz nicht mehr gelte bzw. am Ende sei. Die Rechenleistung ließe sich nicht mehr in dem Maße steigern, wie es notwendig sei, um immer aufwendigere Raytracing-Effekte in Echtzeit zu berechnen.

Statt immer mehr Rechenleistung auf das Rendering von Frames zu verwenden, sieht man die KI-Unterstützung in immer weiteren Bereichen als essentiell. So könnten KI-unterstütze Kompressionsverfahren für mehr Details in Texturen sorgen. Generative KI-Systeme erstellen schon heute komplette Bilder, die von der Realität kaum mehr zu unterscheiden sind. Chat-Systeme unterhalten sich mit Menschen und bieten nahezu unendliche Einsatzmöglichkeiten. In Spielen könnten so NPCs komplett von der AI generiert und gesteuert agieren.

Ausgehend von DLSS im Performance-Preset ist es bereits heute möglich, dass nur noch 1/8 der dargestellten Pixel auf dem Monitor gerendert werden. Die restlichen 7/8 werden mittels DLSS realisiert. Ray Reconstruction bildet nun einen Teilbereich des Frames noch einmal gesondert ab und so könnte die Zukunft für immer mehr Techniken aussehen. Wie und in welcher Forms sich DLSS weiterentwickelt, wird die Zeit zeigen. Die Arbeit an Ray Reconstruction in DLSS 3.5 begann Mitte 2020. Die Roadmap für DLSS dürfte bei NVIDIA prall gefüllt sein.