Werbung
Mit DLSS 3 führt NVIDIA einen völlig neue Methode ein, die eine logische Weiterentwicklung dessen ist, wie sich Deep Learning Super Sampling (DLSS) bisher bereits entwickelt hat.
Anstatt einen Frame in niedriger Auflösung zu berechnen und dann auf die Ausgangsauflösung hochzuskalieren (inklusive der AI-Rekonstruktion), generiert DLSS 3 mittels der Optical Multi Frame Generation komplette Frames neu. Um dies realisieren zu können, benötigt es einer Hardwarebeschleunigung der beteiligten Berechnungen. Dazu werden die Tensor Cores und Optical Flow Beschleuniger der RT Cores verwendet.
Um einen Frame generieren zu können, sind vier Inputs notwendig: Der aktuelle und vorherige Frame, ein sogenanntes Optical Flow Field welches von den entsprechenden Beschleunigern erzeugt wird und einige Daten der Spieleengine wie Bewegungsvektoren und Tiefeninformationen.
Optical Flow Beschleuniger analysieren zwei aufeinanderfolgende Frames und berechnen daraus das Optical Flow Field. Das "Flussfeld" erfasst die Richtung und Geschwindigkeit, mit der sich die Pixel von Frame eins zu Frame zwei bewegen. Der Optical Flow Beschleuniger ist in der Lage, Informationen auf Pixelebene zu erfassen, wie z. B. Partikel, Reflexionen, Schatten und Beleuchtung, die in den Vektorinformationen der Spiele-Engine nicht enthalten sind.
Während der Optical Flow Beschleuniger Effekte auf Pixelebene verfolgt, nutzt DLSS 3 auch Bewegungsvektoren der Spiele-Engine, um die Bewegung der Geometrie in der Szene genau zu verfolgen. Im obigen Beispiel verfolgen die Bewegungsvektoren des Spiels genau die Bewegung der Straße, die sich unter dem Motorradfahrer vorbeibewegt, aber nicht seinen Schatten. Die Generierung von Frames nur mit Bewegungsvektoren der Engine würde zu Darstellungsfehlern führen. Entsprechend erfolgt eine eigene Analyse über die Optical Flow Beschleuniger.
Für jedes Pixel entscheidet ein AI-Netzwerk der DLSS Frame Generation, wie die Informationen aus den Bewegungsvektoren des Spiels, dem Optical Flow Field und den aufeinanderfolgenden Spielframes verwendet werden sollen, um eigene Frames zu erstellen. Durch die Verwendung der Bewegungsvektoren der Engine und des Optical Flow Field zur Verfolgung der Bewegung ist das Frame-Generation-Netzwerk in der Lage, sowohl die Geometrie als auch die Effekte genau zu rekonstruieren.
DLSS 3 ist eine mehrschichtige DLSS-Umsetzung. Zunächst wird Frame eins mittels DLSS Super Resolution mit einem Viertel der Ausgabeauflösung berechnet (z.B. in 1.920 x 1.080 anstatt 3.840 x 2.160 Pixeln). Der zweite Frame wird per DLSS Frame Generation erstellt. Frame drei wieder mittels DLSS Super Resolution und Frame vier wiederum per per DLSS Frame Generation. Über die Shadereinheiten berechnet werden also nur 1/8 der letztendlich dargestellten Pixel.
Zudem arbeitet DLSS 3 mit NVIDIA Reflex zusammen. GPU und CPU werden somit synchronisiert, sodass immer die niedrigste Systemlatenz erreicht werden kann. Somit soll DLSS 3 auch die Latenzen halbieren.
DLSS 3 hat durch seine generierten Frames auch den Vorteil, dass die Leistung in Spielen am CPU-Limit deutlich gesteigert werden kann – die Abhängigkeit zwischen CPU und GPU ist in der klassischen Form nicht vorhanden. In solchen Fällen erwartet NVIDIA um den Faktor zwei gesteigerte FPS – jeder zweite Frame wird generiert. Im Rahmen der Benchmarks schauen wir uns das Leistungsplus durch DLSS 3 an.
DLSS funktioniert aufgrund der Abhängigkeit von den Optical Flow Beschleunigern der Ada-Lovelace-Architektur nur auf Karten der GeForce-RTX-40-Serie. DLSS Super Resolution hingegen funktioniert natürlich auch weiterhin auf den GeForce-RTX-30 und GeForce-RTX-20-Karten. Reflex als Technologie ist auch auf älteren Karten möglich. Hier geht NVIDIA zurück bis zu GeForce-GTX-900-Serie.
DLSS 3 soll in den kommenden Monaten für dutzende Spiele zur Verfügung stehen.