NVIDIA DLSS 2.0

Ein AI-Upscaling wie von Anfang an geplant

Neben der Vorstellung bzw. Teilnahme an DirectX 12 Ultimate hat NVIDIA im Rahmen der Game Developers Conference eine Neuerung zum Deep Learning Super Sampling verkünden. Als DLSS 2.0 hat man den bisherigen Ansatz für das Training und Inferencing weitestgehend verworfen und startet von Vorne. Das Ergebnis: Eine Bildqualität für ein Upscaling, die Tatsächlich besser als je zuvor aussieht. Wir haben uns die Details angeschaut.

Zusammen mit den GeForce-Karten auf Basis der Turing-Architektur stellte man auch das DLSS vor. Der Fokus in dieser Generation lag aber sicherlich zunächst auf den Raytracing-Effekten und so rückte das DLSS etwas in den Hintergrund.

Anfänglich gab es zudem noch große Defizite in der Bildqualität, die vor allem in Battlefield V auffällig waren. Auch in Metro: Exodus und oder Shadow of the Tomb Raider waren noch Probleme in der Darstellungsqualität erkennbar, was auch Titel wie Anthem betraf. Oft machte es mehr Sinn einen klassischen Upscaling-Filter zu verwenden, anstatt auf DLSS zu setzen. Die höheren FPS durch das DLSS waren aber ein großer Pluspunkt – vor allem dann, wenn durch die RTX-Effekten die Leistung kein flüssiges Spielen mehr zulassen wollte.

NVIDIA hat nach eigenen Angaben in den vergangenen Wochen und Monaten zahlreiche Verbesserungen in DLSS einfließen lassen. Im Grunde hat man den bisherigen Ansatz komplett über den Haufen geworfen und von Neuem begonnen.

Zur Übersicht zunächst einmal eine Übersicht der bisherigen Artikel zum Thema DLSS: 

• DLSS in Final Fantasy XV
• DLSS in Battlefield V
• DLSS in Metro: Exodus
• DLSS in Shadow of the Tomb Raider
• DLSS in Anthem
• DLSS in Control
• DLSS in Deliver us the Moon
• DLSS in Wolfenstein: Youngblood

Eines vorweg: DLSS 2.0 ist nicht das DLSS 2X, welches NVIDIA im Sommer 2018 vorstellte. Aber NVIDIA befindet sich auf dem Weg dorthin.

Für DLSS 2.0 hat NVIDIA die Systematik von DLSS, in allen Bereich die zur Anwendung kommen, verändert. Dies beginnt beim Trainings-Netzwerk, welches nun nicht mehr pro Spiel ausgelegt sein muss. Auch dies hatten man von Anfang an versprochen, doch es war noch viel manueller Aufwand notwendig, um das DLSS so zur Funktion zu bringen, wie dies bis hierher der Fall war. DLSS 2.0 soll nun universell einsetzbar sein, was es NVIDIA in Zusammenarbeit mit den Spieleentwicklern einfacher machen soll, DLSS umzusetzen.

DLSS 2.0 soll zudem flexibler werden. Bei allen älteren Umsetzungen in den Spielen war DLSS nur bei bestimmten, vom Spieleentwickler festgelegten Auflösungen, verfügbar. Wer einen Monitor mit einer weniger üblichen Auflösung hatte, musste entweder auf DLSS verzichten oder das Spiel in einer nicht nativen Auflösung ausführen. Auch war das DLSS im Zusammenspiel mit der Auflösung häufig an die Hardware gebunden. So war für eine GeForce RTX 2080 Ti in 1080p als Ausgangsauflösung nicht immer die Anwendung von DLSS möglich. Die entsprechenden Optionen wurden in den Einstellungen schlichtweg nicht angeboten. Mit all dem ist nun Schluss, denn DLSS 2.0 soll über alle Auflösungen und Hardwarekombinationen ohne Einschränkungen funktionieren.

Control war als "DLSS 1.9" bereits ein großer Schritt in Richtung einer neuen Umsetzung und für NVIDIA sozusagen ein Testballon. So kommt hier bereits ein temporales Feedback zum Einsatz. Dieses wird als Feedback-Schleife genutzt, um die Bildqualität zu verbessern. Vor allem kleine Objekte, die sich in Bewegung befinden, stellten für das DLSS bisher noch Probleme dar. Das temporale Feedback soll dies deutlich verbessern. Ein Convolutional Autoencoder bekommt mehr Input-Daten, unter anderem ein 4K Anti-Aliased Output (zusätzlich zum 16K Anti-Aliased Ground Thruth), was sowohl die Leistung als auch die Bildqualität verbessern soll.

DLSS 2.0 läuft wieder auf den Tensor Cores

Für das DLSS 1.9 in Control (der einzige Titel, der diese Umsetzung verwendet hat), lief das DLSS rein auf den Shadern. Die Tensor Cores waren hier nicht in Verwendung. Doch mit DLSS 1.9 wurden schon einige Verbesserungen versucht. Unter anderem gab es schon ein temporales Feedback.

Auch hinsichtlich der Leistung gab es bereits Verbesserungen. Zuvor konnte man grob sagen: Ein DLSS für 4K als Ausgangsauflösung, renderte intern auf 1440p, die FPS lagen in etwa auf Niveau eines 1800p-Renderings – also irgendwo zwischen 1440p und 4K. Mit DLSS 1.9 in Control kann man grob davon sprechen, dass ein DLSS für 4K als Ausgangsauflösung, intern gerendert in 1440p, auch die Leistung von 1440p aufwies. Zugleich wurde die Bildqualität deutlich verbessert, was unter anderem Folge des temporalen Feedbacks ist. Dies soll nun auch für DLSS 2.0 der Fall sein.

Ebenfalls vor DLSS 1.9 galt: Wenn die Hardware ein natives Rendering in der gewünschten Ausgangsauflösung nicht zulässt, war das DLSS eine Option, ein Schärfefilter über die FreeStyle Tools aber oftmals die bessere Alternative. Mit DLSS 1.9 und nun auch DLSS 2.0 wird das DLSS auch für Fans einer möglichst hohen Bildqualität sinnvoll einsetzbar.

Wir haben DLSS 2.0 schon in Aktion gesehen, ohne davon im Detail zu wissen. Erst kürzlich schauten wir uns Deliver us the Moon und Wolfenstein: Youngblood an. Hier zeigte sich auch schon die höhere Flexibilität und in den Einstellungen für das DLSS, denn es besteht die Wahl zwischen Performance, Balanced und Quality.

Die nächsten Titel, die DLSS 2.0 einsetzen werden, sind Mechwarrior 5 und Control mit dem neuesten Update, welches im Verlaufe der aktuellen Woche zusammen mit einem DLC erscheinen wird. Das DLSS Software Development Kit für DLSS 2.0 ist nicht zu älteren Titeln abwärtskompatibel. Wer die neue Umsetzung von DLSS verwenden möchte, muss dies auf Basis des neuen SDKs tun. Mit DLSS 2.0 sind dann auch die Tensor Cores wieder in Verwendung und ermöglichen mit ihrer höheren Leistung auch die entsprechenden Verbesserungen in der Leistung.

Erster Vergleich der Bildqualität

NVIDIA liefert auch gleich ein paar Vergleichsbilder zur DLSS 2.0. Auch wir werden einige Tests zu Mechwarrior 5 und Control machen. Diese werden im Verlaufe der aktuellen Woche zusammen mit einigen Messungen der Leistung folgen.

Ein erster Screenshot zeigt Mechwarrior 5 in 1440p mit einer GeForce RTX 2060. In den feinen Details zeigt der hereingezoomte Bild mit DLSS mehr Details, als dies ohne das DLSS der Fall ist. NVIDIA proklamiert nun ein Niveau der Darstellungsqualität für DLSS, welches höher als das native Rendering sein soll. Neben der verbesserten, zumindest aber ebenbürtigen Bildqualität steigen auch die FPS an. Von 71 geht es auf 95 FPS – eine Steigerung von 34 %.

In Control zeigt sich ein ähnliches Bild. Hier wurde 1080p als Ausgangsauflösung gewählt. Die Details des Schildes sind mit DLSS 2.0 im Quality Mode deutlich besser lesbar und weniger unscharf. Ähnliches haben wir schon in Deliver us the Moon und Wolfenstein: Youngblood festgestellt. Auch hier verweist NVIDIA auf die gestiegene Leistung. An dieser Stelle sehen wir ähnliche Zahlen wie auch schon im initialen Test von DLSS in Control.

DLSS 2.0 soll im Quality Mode nicht hardwarehungriger sein, als vorherige Umsetzungen von DLSS. Auch dies will NVIDIA belegen, wir werden uns auch das anschauen. Die Bildqualität soll dabei als Verbesserung innerhalb von DLSS eben deutlich besser sein.

Haare, dünne Linien in Bewegung – ein DLSS funktionierte bisher mit bestimmten Objekten besonders schlecht. Ein Gitter, hinter dem sich ein Rotor dreht, war zum Beispiel in Control das Worst-Case-Szenario. Durch das temporale Feedback soll es hier deutlich Verbesserungen geben. Auch dies werden wir uns anschauen.

DLSS 2.0 ist für NVIDIA ein großer Schritt. Vor allem aber nähern wir uns einem Zustand an, den DLSS von Beginn an haben sollte. Wie umfangreich die Änderungen sind, zeigt sich daran, dass das alte Konzept komplett umgeworfen wurde. Dies sorgt aber auch dafür, dass bisherige Umsetzungen von DLSS nicht mit der Version 2.0 funktionieren werden. Die vier erwähnten Titel sollen aber nur die ersten von vielen sein, die auf das DLSS 2.0 setzen sollen. Die Unreal Engine 4 wird DLSS 2.0 im Engine-Editor bereits unterstützen. Weitere Engine-Entwicklungsumgebungen werden sicherlich in Kürze folgen.

Wie angekündigt werden wir uns Mechwarrior 5 und das Control-DLC in dieser Woche genauer anschauen und dann eigene Ergebnisse vorzuzeigen haben.