Werbung
In Kooperation mit Zotac
Mit DLSS 3 führt NVIDIA einen völlig neue Methode ein, die eine logische Weiterentwicklung dessen ist, wie sich Deep Learning Super Sampling (DLSS) bisher bereits entwickelt hat.
Anstatt einen Frame in niedriger Auflösung zu berechnen und dann auf die Ausgangsauflösung hochzuskalieren (inklusive der AI-Rekonstruktion), generiert DLSS 3 mittels der Optical Multi Frame Generation komplette Frames neu. Um dies realisieren zu können, benötigt es einer Hardwarebeschleunigung der beteiligten Berechnungen. Dazu werden die Tensor Cores und Optical Flow Beschleuniger der RT Cores verwendet.
Um einen Frame generieren zu können, sind vier Inputs notwendig: Der aktuelle und vorherige Frame, ein sogenanntes Optical Flow Field welches von den entsprechenden Beschleunigern erzeugt wird und einige Daten der Spieleengine wie Bewegungsvektoren und Tiefeninformationen.
Während der Optical Flow Beschleuniger Effekte auf Pixelebene verfolgt, nutzt DLSS 3 auch Bewegungsvektoren der Spiele-Engine, um die Bewegung der Geometrie in der Szene genau zu verfolgen. Im obigen Beispiel verfolgen die Bewegungsvektoren des Spiels genau die Bewegung der Straße, die sich unter dem Motorradfahrer vorbei bewegt, aber nicht seinen Schatten. Die Generierung von Frames nur mit Bewegungsvektoren der Engine würde zu Darstellungsfehlern führen. Entsprechend erfolgt eine eigene Analyse über die Optical Flow Beschleuniger.
Für jedes Pixel entscheidet ein AI-Netzwerk der DLSS Frame Generation, wie die Informationen aus den Bewegungsvektoren des Spiels, dem Optical Flow Field und den aufeinanderfolgenden Spielframes verwendet werden sollen, um eigene Frames zu erstellen. Durch die Verwendung der Bewegungsvektoren der Engine und des Optical Flow Field zur Verfolgung der Bewegung ist das Frame-Generation-Netzwerk in der Lage, sowohl die Geometrie als auch die Effekte genau zu rekonstruieren.
DLSS 3 ist eine mehrschichtige DLSS-Umsetzung. Zunächst wird Frame eins mittels DLSS Super Resolution mit einem Viertel der Ausgabeauflösung berechnet (z.B. in 1.920 x 1.080 anstatt 3.840 x 2.160 Pixeln). Der zweite Frame wird per DLSS Frame Generation erstellt. Frame drei wieder mittels DLSS Super Resolution und Frame vier wiederum per per DLSS Frame Generation. Über die Shadereinheiten berechnet werden also nur 1/8 der letztendlich dargestellten Pixel.
Zudem arbeitet DLSS 3 mit NVIDIA Reflex zusammen. GPU und CPU werden somit synchronisiert, sodass immer die niedrigste Systemlatenz erreicht werden kann. Somit soll DLSS 3 auch die Latenzen halbieren.
DLSS 3 hat durch seine generierten Frames auch den Vorteil, dass die Leistung in Spielen am CPU-Limit deutlich gesteigert werden kann – die Abhängigkeit zwischen CPU und GPU ist in der klassischen Form nicht vorhanden. In solchen Fällen erwartet NVIDIA um den Faktor zwei gesteigerte FPS – jeder zweite Frame wird generiert.
DLSS funktioniert aufgrund der Abhängigkeit von den Optical Flow Beschleunigern der Ada-Lovelace-Architektur nur auf Karten der GeForce-RTX-40-Serie. DLSS Super Resolution hingegen funktioniert natürlich auch weiterhin auf den GeForce-RTX-30 und GeForce-RTX-20-Karten. Reflex als Technologie ist auch auf älteren Karten möglich. Hier geht NVIDIA zurück bis zu GeForce-GTX-900-Serie.
DLSS 3.5: Ray Reconstruction
Mit DLSS 3.5 geht NVIDIA einen weiteren Schritt und löst die aufwendigen und oftmals fehlerhaften Denoiser oder Entrauscher ab. DLSS 3.5 soll auch hier per KI die Lücken an Informationen, bzw. Pixel füllen. Diese sind notwendig, da die Leistung auch der schnellsten GeForce-RTX-Karte (GeForce RTX 4090) noch nicht ausreicht, um jeden dargestellten Pixel auch per Raytracing berechnen zu lassen. DLSS selbst führt mit seiner niedrigeren Rendering-Auflösung zudem dazu, dass weniger Pixel zur Verfügung stehen, die dann per Denoiser berechnet werden.
Die Denosier verwenden verschiedene Verfahren, um die fehlenden Informationen zu ergänzen. Es gibt eine temporale Zusammenführung von Informationen aus früheren Frames oder aber spatiale Interpolation, welche Informationen der benachbarten Pixel mit einbezieht. Aber all diese Verfahren müssen aufwendig manuell optimiert werden, um das bestmögliche Ergebnis zu erzielen und selbst dann gelingt dies bei Weitem noch nicht immer.
An einigen Beispielen erläutert NVIDIA dies anhand temporaler Artefakte, fehlerhafter Beleuchtungsberechnung und niedriger Bildqualität durch die fehlenden Informationen.
Mit DLSS 3.5 wird die Ray Reconstruction, die Rekonstruktion von Raytracing-Strahlen angewendet. Für eine 4K-Ausgabe werden gesampelte Rays in hoher Frequenz berechnet, die dazu verwendet werden, dass ein in 1080p berechneter Frame über ausreichend Informationen verfügt. Hinzu kommen Vektor-Informationen des Spiels selbst. Per Rekonstruktion der Raytracing-Strahlen sowie ein Upscaling auf die gewünschte Ausgabe-Auflösung und die Verwendung temporaler Daten des vorherigen Frames wird daraus ein höher aufgelöster Frame erzeugt – wie dies bei DLSS immer der Fall ist. Nur sind eben auch die Raytracing-Effekte teilweise per KI-Unterstützung höher aufgelöst, bzw. konnten auf vollständigere Daten zurückgreifen.
Das von NVIDIA verwendete neuronale Netzwerk für die Rekonstruktion von Raytracing-Strahlen ist auf verschiedene Effekte trainiert. Entwickler müssen keinen Denoiser besser optimieren – dies übernimmt DLSS 3.5 automatisch.
In einem Beispiel zeigt NVIDIA die verbesserte Darstellung auf (siehe Screenshot oben). Anstatt dass die Schattenkante verschwindet, wird sie mit DLSS 3.5 korrekt dargestellt.
Anders als Frame Generation wird die Rekonstruktion von Raytracing-Strahlen nicht nur von Grafikkarten der GeForce-RTX-40-Serie unterstützt, sondern von allen Karten der drei bisherigen RTX-Generationen. Frame Generation bleibt daher weiterhin der Ada-Lovelace-Generation vorbehalten.
Cyberpunk 2077 Phantom Liberty und Alan Wake 2 sind die ersten beiden Spiele, die DLSS 3.5 bereits unterstützen. Perspektivisch werden 2024 noch viele weitere Titel erwartet.
In Kooperation mit Zotac