DLSS 3.5, Pathtracing und Ray Reconstruction

NVIDIAs Technologien in Cyberpunk 2077 und Alan Wake 2

Advertorial / Anzeige:

In den vergangenen Jahren hat NVIDIA mit einer gewissen Weitsicht zahlreiche Techniken vorangetrieben, die sich als Raytracing in Grafik-Effekten und DLSS als führende KI-Upscaling-Technik zusammenfassen lassen, die aber im Detail weit mehr zu bieten haben, als bloße Effekthascherei. Mit Cyberpunk 2077 in der Version 2.0 und dem DLC Phantom Liberty sowie Alan Wake 2 zeigt NVIDIA in Zusammenarbeit mit den Entwicklerstudios, was aktuell im Bereich der Spielegrafik möglich ist. Wir wollen einen Blick auf die Details der einzelnen Technologien werfen.

Mit der Turing-Architektur bzw. der GeForce-RTX-20-Serie brachte NVIDIA im Jahr 2018 einen Stein ins Rollen, der sich über die nächsten Jahre bis heute auf die Weiterentwicklung im Bereich der 3D-Grafik auswirken sollte. Konnte man die Ambitionen damals als deutlich zu hoch gegriffen ansehen, verzichtet heutzutage kaum noch ein Spiel auf die realistischere Berechnung mittels Raytracing und die KI-Upscaling-Technologien haben den Status von einfachen Hilfsmitteln für mehr FPS ebenfalls längst abgelegt.

Die Hardware-Möglichkeiten der drei GeForce-RTX-Generationen sind natürlich ebenfalls nicht auf der Stelle getreten und so konnte es vor allem im Umfang der Effekte eine deutliche Weiterentwicklung geben. Aus einfachen Reflexionen sind Berechnungen mehrfacher Spiegelungen geworden. Einen großen Sprung hat die Berechnung einer möglichst realistischen Beleuchtungssituation über eine direkte und indirekte Berechnung derselbigen mittels Raytracing gemacht.

Immer aufwendigere Effekte müssen aber nicht zwangsläufig bedeuten, dass Spieler um eine flüssige Bildrate kämpfen müssen. DLSS hat in Version 3 die Frame Generation erhalten unter idealen Bedingungen werden nur noch 1/8 der dargestellten Pixel durch die Rendering-Pipeline geführt – der Rest wird über das Upscaling sowie die Frame Generation realisiert.

Mit DLSS 3.5 und den Ray Reconstrucions übernimmt die KI nun auch noch die Aufgabe der Entrauscher (Denoiser), was einerseits zu einem höheren Realismus in der Darstellung führt, aber auch den hohen Aufwand für die Justage der Entrauscher eliminiert.

Dieser Artikel ist in Zusammenarbeit mit Notebooksbilliger.de entstanden, wo ihr Gaming-Notebooks, Gaming-PCs und die entsprechenden Einzelkomponenten wie die Grafikkarten der GeForce-RTX-40-Serie von NVIDIA findet.

Raytracing und DLSS 3.5 in Alan Wake 2

Nicht nur spielerisch, sondern auch in Sachen Technik ist Alan Wake 2 ein echtes Hightlight 2023. Im Hinblick auf die Raytracing- und Pathtracing-Effekte sowie DLSS schöpft Alan Wake 2 aus dem Vollen. Wie immer kann man sich darüber streiten, welchen Einfluss die grafische Darstellung auf den Spieleinhalt bzw. das Erleben dessen hat, Alan Wake 2 ist als düsterer Survival-Horror-Shooter aber sicherlich eine Paradebeispiel dafür, dass eine möglichst realistische Darstellung von Beleuchtung und Schatten einen maßgeblichen Einfluss auf das Spielgeschehen hat. Entsprechend haben wir uns ein paar Szenen herausgesucht, in denen wir die Effekte genauer beleuchten.

Den Anfang machen wir mit ein paar einfachen Ein/Aus-Vergleichen, in denen wir die Darstellung ohne jegliche Raytracing-Effekte und eine solche mit der Unterstützung von Raytracing gegenüberstellen:

Bildvergleich

Bildvergleich

Im Grunde werden über diese beiden Screenshots bereits alle maßgeblich verantwortlichen Effekte und Unterstützungen wie die Ray Reconstructions abgedeckt. Reflexionen auf spiegelnden, halbtransparenten Oberflächen sowie die direkte und indirekte Berechnung der Beleuchtung sind zusehen. Während gerade die Reflexionen aber sehr prominent erkennbar sind, trägt die Berechnung der Beleuchtung eher unterschwellig dazu bei, dass man sich als Spieler in die jeweiligen Situation in Alan Wake hineinversetzt fühlt – sei es wie hier bei Dämmerlicht oder aber wenn man sich nur mittels einer Taschenlampe durch ein verfallenes Haus bewegt.

Die einzelnen Details und Effekte schauen wir uns nun genauer an:

Reflexionen

Die Berechnung der Reflexionen war von Beginn an ein Paradebeispiel und die wohl offensichtlichste Verwendung des Raytracings für grafische Effekte. In Alan Wake 2 sind die Reflexionen in Form direkter Spiegelungen, aber auch für eine indirekte Beleuchtung zu finden. Als direkte Reflexionen sind sie sicherlich am einfachsten zu erkennen, wie folgende Beispiele zeigen:

Bildvergleich

Bildvergleich

Ohne die Raytracing-Technik werden die Reflexionen entweder gar nicht oder nicht korrekt dargestellt. In Spiegeln kommt es zu Grafikfehlern, die sich über eine Screenspace-Reflection-Technik gar nicht vermeiden lassen. An der Stelle könnte der Entwickler nur vollständig auf eine Darstellung von Reflexionen verzichten. Mittels Raytracing aber werden in reflektierenden Oberflächen sichtbare Objekte physikalisch korrekt dargestellt. Selbst einen zweiten Bounce, also eine Darstellung einer Reflexion in einer Reflexion ist möglich.

Direkte Beleuchtung

Die Wichtigkeit einer korrekten Darstellung der Beleuchtung haben wir bereits herausgestellt und gehen nun anhand einige Beispiele ins Detail.

Bildvergleich

Shadow Maps vs. Raytracing lautet der Vergleich, wenn der Spieler die direkte Beleuchtung im Grafikmenü aktiviert. Shadow Maps sind der klassische Ansatz für die Darstellung von Schatten, häufig fehlt es diesen aber an einer gewissen Dynamik, die sich durch den Abstand der Lichtquelle zum Objekt und wiederum der Oberfläche, auf der der Schatten dargestellt werden soll, ergibt. Schaut man sich den obigen Screenshot-Vergleich an, dann werden die Schatten auf der Rückenlehne der Sitzbank sowie der Gardine an der Wand nur rudimentär dargestellt. Erst mit der Berechnung mittels Raytracing kommt die typische Schärfe bzw. Unschärfe hinzu, die sich in Abhängigkeit des Abstands zwischen dem Objekt welches den Schatten wirft und der Oberfläche, auf die der Schatten projiziert wird, ergibt.

Die vielen Gegenstände auf dem Tisch werfen ohne ein Raytracing gar keinen Schatten und scheinen daher auch keinerlei Kontakt zum Tisch zu haben. Mit dem Raytracing kommen dann die Kontaktschatten hinzu, welche für den notwendigen Realismus sorgen.

Bildvergleich

Kernschatten, Halbschatten – zwischen diesen Unterschieden kann eine Shadow Map ebenfalls nicht unterscheiden, eine Berechnung mittels Raytracing hingegen schon. Das an der Wand befestigte Stromkabel im obigen Screenshot-Vergleich zeigt den Unterschied recht deutlich. Die Shadow Map stellt den Schatten über die gesamte Oberfläche als unscharfen Halbschatten dar. Mittels Raytracing wird in geringem Abstand des Schattenwurfs noch ein scharfer und dunkler Kernschatten dargestellt, der dann allmählich verschwindet und es findet eine reine Darstellung des Halbschattens statt, dessen Intensität ebenfalls mit zunehmendem Abstand nachlässt.

Gerade dann, wenn mehrere Objekte mit einem unterschiedlichen Abstand zur Lichtquelle und zur Projektionsfläche dargestellt werden sollen, bietet die Berechnung der dazugehörigen Schatten bzw. der direkten Beleuchtung per Raytracing deutliche Vorteile.

Indirekte Beleuchtung

Die indirekte Beleuchtung ist das, was die Stimmung einer Szene ausmachen kann und ebenfalls für den Realismus einer gesamtem Beleuchtungssituation sorgt.

Bildvergleich

Trifft ein Lichtstrahl auf eine Oberfläche mit einer gewissen Reflektionsfähigkeit, dann wird dieser mit der Farbe der jeweiligen Oberfläche reflektiert. Am Beispiel der türkisfarbenen Schale mit der Kaffeemilch lässt sich dies gut darstellen, denn rund um die Schale und auch in der Schale selbst, wird alles in ein türkisfarbenes Licht getaucht.

Bildvergleich

Ein weiteres Beispiel stellt die Rückenlehne der Bank dar, die ohne ein Raytracing keinerlei Farbe in den Raum bzw. die direkte Umgebung projiziert, mit eingeschalteter indirekten Beleuchtung mittels Raytracing hingegen schon.

Path Traced Global Illumination

Während sich die direkte und indirekte Beleuchtung um den Nahbereich kümmert, setzt Alan Wake 2 für die Beleuchtung eines kompletten Raumes auf Path Traced Global Illumination.

Bildvergleich

Die Auswirkungen der Berechnung mittels Path Traced Global Illumination sind allerdings nicht ganz einfach darzustellen, da sie sich allumfassender auf eine Szene auswirken. Das Licht scheint wie im obigen Screenshot-Vergleich durch ein Fenster in den Raum, es gibt eine Reflektion an der gegenüberliegenden Wand, der eigene Charakter wirft einen Schatten und Objekte werden heller oder dunkler dargestellt, je nachdem ob sie durch das einfallende Licht beleuchtet oder verschattet werden.

Ray Reconstruction

Mit DLSS 3.5 ersetzt NVIDIA  die sonst eingesetzten Denoiser um fehlende Informationen zu ergänzen. Denn selbst wenn die Raytracing-Effekte verwendet werden, so reicht die Rechenleistung der Grafikkarten noch nicht aus, um beispielsweise eine Reflexion in voller Auflösung zu berechnen. Stattdessen wird diese mit der Hälfte oder einem Viertel der Auflösung gerendert, wobei natürlich einige Details verloren gehen.

Doch die Denoiser haben einige Nachteile und müssen beispielsweise händisch optimiert werden und machen zudem auch noch Fehler, was einen Effekt auf die Darstellungsqualität hat. So haben sie meist große Probleme mit der temporalen Stabilität. 

In Alan Wake 2 kann die Ray Reconstruction deaktiviert bzw. aktiviert werden und so können wir auch die Unterschiede deutlich machen.

Bildvergleich

Auf der Wasseroberfläche ist links ein deutliches Rauschen zu vernehmen. Hier kann der Entrauscher nicht den gewünschten Umfang an Details herstellen und so kommt es zur Darstellung des Rauschens. Rechts übernimmt dies die Ray Reconstrution und stellt alle Details so dar, wie man sie auch erwarten würde.

Ein weiteres Detail ist an der Kontaktstellen zwischen der Wasseroberfläche und dem vorderen Fischerbot zu erkennen. Der Entrauscher zeigt an dieser Stelle eine helle Linie, die so in dieser Form in der Realität nicht vorzufinden ist. Mit der Ray Reconstruction wird auch dieser Übergang korrekt dargestellt.

Bildvergleich

Aber auch kleine Details wie die Falten in der FBI-Jacke sind mit den Ray Reconstructions deutlicher und vor allem realistischer in ihrer Darstellung. Dies gilt in dieser Szene auch für die Schatten der Objekte auf der Palette sowie der des kleinen Vordaches über der Tür. Die Ray Reconstructions greifen überall dort, wo die Berechnung mittels der Raytracing-Effekte aufgrund fehlender Informationen an ihre Grenzen kommt und die sonst eingesetzten Entrauscher ebenfalls versagen würden.

Benchmarks zu Alan Wake 2

All diese Grafikpracht verlangt natürlich auch nach einer entsprechend schnellen Grafikkarte. Auf die drei typischen Ausgabeauflösungen von 1.920 x 1.080, 2.560 x 1.440 und 3.840 x 2.160 Pixel haben wir die Leistung dreier ebenso typischer Leistungsklassen der aktuellen GeForce-RTX-40-Generation hin untersucht.

Verwendete Hardware:

• Intel Core i9-14900K
• ASUS ROG Maximus Z790 Apex
• 32 GB an DDR5-7200
• GeForce 546.01

Eine GeForce RTX 4060 ist demnach kaum in der Lage, in 1080p mit allen Details im Schnitt die 30 FPS zu halten, geschweige denn die 1%-Percentile auf spielbarem Niveau zu realisieren, aber bereits mit DLSS auf Qualität und mit Frame Generation kommen wir auf deutlich mehr als 60 FPS. Mit den weiteren DLSS-Presets und einer geringeren Rendering-Auflösung sowie einer geringfügig niedrigeren Bildqualität können die FPS weiter gesteigert werden.

Für 1440p haben wir das gleiche Verhalten mit einer GeForce RTX 4070 untersucht, kommen hier aber vom Stand weg schon auf höhere FPS. Mit DLSS 3.5 und Frame Generation landen wir im Qualität-Preset bereits bei mehr als 90 FPS. Besitzer eines Monitors mit hoher Bildwiederholrate werden sich über das zusätzliche Leistungsplus freuen und können entsprechend höhere Bildwiederholraten in Abstimmung mit der Grafikkarte (G-Sync) erhalten.

Das Rendering in UHD mit allen den Effekten ist eine ungleich höhere Herausforderung für die Hardware, welche von der GeForce RTX 4080 mit Unterstützung von DLSS und Frame Generation aber problemlos gemeistert wird.

Um die Leistungsspanne aufzuzeigen, welche NVIDIA in der GeForce-RTX-40-Serie zu bieten hat, haben wir alle Karten mit DLSS-Unterstützung in der UHD-Auflösung durch den gleichen Benchmark geschickt:

Während eine GeForce RTX 4060 und GeForce RTX 4060 Ti sicherlich nicht für ein 4K-Gaming vorgesehen ist und den Karten dabei auch der Grafikspeicher ausgeht, zeigt sich, dass ab einer GeForce RTX 4070 durchaus spielbare FPS erreicht werden und das auf der niedrigen Stufe der DLSS-Unterstützung.

Noch interessant ist sicherlich, welchen Einfluss die Ray-Reconstruction-Funktion auf die Leistung hat. Die Bildqualität verbessert sich merklich, aber wie schaut es bei der Leistung aus:

Wir sehen einen messbaren Einfluss in Alan Wake 2, aber keinen der sich besonders positiv oder negativ auf die FPS auswirkt. Die Ray Reconstruction kann man also ruhigen Gewissens aktivieren und die verbesserte Bildqualität mitnehmen.

Für Alan Wake 2 muss man sich immer wieder vor Augen führen, welche Darstellungsqualität der Titel zu bieten hat. Die Texturen und geometrischen Details eines jeden Objekts sind über jeden Zweifel erhaben. Bereits heute wird man sagen können, dass Alan Wake 2 aus technischer Sicht eines der besten Spiele ist, welches bisher erschienen ist. Die Raytracing-Effekte bringen über die verschiedenen Ebenen der Umsetzung den notwendigen Realismus in die Darstellung. Das Pathtracing vollendet die Optik im Hinblick auf die Beleuchtung und die Ray Reconstruction bringt die Darstellung der Details und eine gewisse Fehlerbehebung auf eine völlig neue Ebene. DLSS 3 mit Frame Generation ermöglicht es dann auch ohne Abstriche in dieser Bildqualität in den verschiedenen Leistungsklassen auf mehr als ausreichende FPS zu kommen.

Übrigens: Alan Wake 2 gibt es aktuell beim Kauf einer qualifizierten NVIDIA-Hardware kostenlos dazu.

Raytracing und DLSS 3.5 in Cyberpunk 2077: Phantom Liberty

Cyberpunk 2077: Phantom Liberty bzw. das Update auf die Version 2.0 war der erste Titel, der DLSS 3.5 mit Ray Reconstruction unterstützte. Aus technischer Sicht bot Cyberpunk 2077 vom Start weg die neuesten Grafik-Technologien und bekam unter anderen vor einigen Monaten ein Pathtracing-Update.

Die Ray Reconstructions sollen technische Limits umgehen, die sich in den bisherigen Umsetzung der Raytracing-Effekte im Zusammenspiel mit den Entrauschern ergeben. Schauen wir uns also einmal an, wo DLSS 3.5 mit Ray Reconstruction seine Vorteile in Cyberpunk 2077: Phantom Liberty hat.

Bildvergleich

Im ersten Vergleich legen wir den Fokus auf die Reflexion in der Pfütze. Für die Raytracing-Berechnung dieser verzichtet NVIDIA auf die volle Auflösung und muss in der Bewegung zudem auf die Arbeit eines Denoisers vertrauen, der aber nur dafür sorgt, dass die eigentliche Reflexion verschwommen dargestellt wird. Mit DLSS 3.5 mit Ray Reconstruction ist die Reflexion in jedem Frame gestochen scharf.

Bildvergleich

Im zweiten Vergleich sind zwei Punkte erkennbar. Auch wieder die fehlenden Details der Reflexion in der Schaufensterscheibe, die mit Ray Reconstruction deutlich detailreicher ist. Aber die Rekonstruktion funktioniert auch in weiten Bereichen der indirekten Beleuchtung, wie dies über den gesamten Frame sichtbar ist.

Bildvergleich

Beim letzten Vergleich aus Cyberpunk 2077 schauen wir auf die Beleuchtung der zwei weißen Kisten auf der rechten Seite des Bildes. Zwar wird die indirekte Beleuchtung auch ohne Ray Reconstruction zunächst korrekt berechnet, aber eben nicht mit der eigentlich benötigen Anzahl an Strahlen, um am Ende auch vollständig physikalisch korrekt zu sein.

Entscheidender ist hier aber die temporale Stabilität in der Darstellung des Feuers im Grill. Da dies aber nur in einem Video zu erkennen ist, haben wir einige Szene auch auf Video gebannt:

Benchmarks zu Cyberpunk 2077: Phantom Liberty

Auch hier zunächst ein Blick auf die drei GeForce-RTX-Modelle in den Auflösungen von 1.920 x 1.080, 2.560 x 1.440 und 3.840 x 2.160 Pixel.

Verwendete Hardware:

• Intel Core i9-13900K
• ASUS ROG Maximus Z790 Apex
• 32 GB an DDR5-7200
• GeForce 537.34

Der Overdrive-Mode stellt für jede Grafikkarte eine große Herausforderung dar. Eine GeForce RTX 4060 ist ohne DLSS damit selbst in 1080p überfordert. Mit DLSS 3 und Frame Generation springen wir bereits mit der Qualitäts-Einstellung auf mehr als 60 FPS. Für einen etwas höher aufgelösten Monitor kann eine GeForce RTX 4060 auch noch ausreichend sein, ansonsten lohnt der Wechsel auf eine GeForce RTX 4070, die in 1440p mit DLSS 3 und Frame Generation ebenfalls auf mehr als ausreichend hohe FPS kommt. Selbst Monitore mit 144 Hz lassen sich hier noch mit ausreichenden Frames pro Sekunde füttern.

Noch einmal ungleich höher sind die Anforderungen in 4K. Der Overdrive Mode ist dann auch für eine GeForce RTX 4080 nicht zu bewältigen, aber wir können natürlich wieder auf die Unterstützung von DLSS 3 und Frame Generation zurückgreifen, was uns gleich wieder auf mehr als 80 FPS katapultiert. Mit der Auswahl eines anderen DLSS-Presets kommen wir dann auch schnell auf mehr als 100 Bilder pro Sekunde.

Die komplette GeForce-RTX-40-Serie bietet in Cyberpunk 2077 im Overdrive Mode mit DLSS Qualität die folgende Leistungsspanne:

Über die gesamte Modellreihe der GeForce-RTX-40-Serie bietet NVIDIA eine breite Leistungsspanne – von der GeForce RTX 4060 bis zur GeForce RTX 4090 sprechen wir von einem Leistungsfaktor von sieben.

Der Einfluss der Ray Reconstruction wirkt sich wie folgt aus:

Die GeForce RTX 4080 gewinnt durch die Nutzung der Ray Reconstruction fast 7 % an Leistung. Auf einen ähnlichen Wert kommen wir auch mit der GeForce RTX 3080. Nur bei der GeForce RTX 2080 Ti fällt der Unterschied mit gerade einmal 1,5 % deutlich geringer aus.

Festzuhalten aber bleibt, dass die Aktivierung von DLSS 3.5 keinesfalls bedeutet, dass Leistungseinbußen hingenommen werden müssen – ganz im Gegenteil.

NVIDIA sieht im KI-Rendering den einzig gangbaren Weg

In der Nutzung der KI-Technik geht NVIDIA Schritt für Schritt weiter. DLSS in seiner ursprünglichen Version stellte nur den Anfang dar. Inzwischen werden komplette Frames per KI generiert und können somit in verschiedenen Szenarien für deutlich mehr FPS sorgen. Die Ray Reconstruction in DLSS 3.5 ist der nächste Schritt, in dem eine Limitierung in der Darstellung (Reduzierung der Komplexität in den Reflexionen und der weiteren Raytracing-Effekte) durch eine KI-Unterstützung weitestgehend aufgehoben wird.

Die Screenshot-Vergleiche zeigen recht deutlich, welche Unterschiede es zwischen DLSS 3 mit Denoiser und DLSS 3.5 mit Ray Reconstruction gibt. Die Details in den Raytracing-Effekten werden deutlich verbessert. Vor allem bei Objekten in Bewegung kommen die Denoiser an ihre Grenzen, was mit Ray Reconstruction nicht mehr der Fall ist.

Von den Ray Reconstructions können zudem alle Besitzer einer GeForce-RTX-Grafikkarte profitieren – aller drei Generationen (Turing, Ampere und Ada Lovelace). DLSS 3 und Frame Generation hingegen bleiben der GeForce-RTX-40-Serie vorbehalten.

Einst stand für DLSS 1.0 die Vision im Raum, ein auf 4K hochskaliertes Bild zu liefern, welches besser sein würde, als ein nativ in 4K gerendertes Bild. Diesen Zustand hat NVIDIA längst erreicht. Mit DLSS 3 kam die Frame Generation hinzu, die komplette Frames erzeugt. Im Hintergrund wird DLSS stetig weiter verbessert. Das KI-Netzwerk kann immer wieder weiter trainiert und verbessert werden.

Diesen Weg will NVIDIA offenbar auch weiter verfolgen, denn die klassische Rendering-Technik sieht man bei NVIDIA am Limit. Die Rechenleistung der GPUs lässt sich nicht mehr in dem Maße steigern, wie es notwendig wäre, um immer aufwendigere Raytracing-Effekte in Echtzeit zu berechnen. Dementsprechend suchte NVIDIA nach einer alternativen Lösung, die man in Form der KI-Unterstützung eindrucksvoll gefunden hat.

Advertorial / Anzeige: