Multi Frame Generation ist beeindruckend

Die GeForce RTX 5090 Founders Edition im Test - Soundertests: DLSS 4 und Multi Frame Generation

Die Blackwell-GPUs bieten zweifellos eine höhere Rechenleistung als ihre Vorgänger. Einen Großteil dieses Leistungszuwachses verdankt NVIDIA jedoch dem neuen DLSS 4 mit Multi Frame Generation. Anstatt wie bisher nur jeden zweiten Frame vollständig zu generieren, ermöglicht der MFG-4X-Modus die Erstellung von drei erzeugten Frames nach einem gerenderten Frame.

Ermöglicht wird dies unter anderem durch Verbesserungen im Optical Flow Accelerator. Das neue KI-Modell arbeitet zudem um 40 % schneller und benötigt bis zu 30 % weniger Grafikspeicher, was einer Einsparung von bis zu 400 MB entspricht. Teile des zuvor genutzten Optical Flow Field wurden durch ein KI-Modell ersetzt, sodass keine zusätzliche Hardware mehr erforderlich ist. Insgesamt kommen fünf KI-Modelle in den Bereichen Super Resolution, Ray Reconstruction und Multi Frame Generation zum Einsatz.

An dieser Stelle muss man sich vor Augen führen, dass im Zusammenspiel von DLSS Super Resolution, Ray Reconstruction sowie dem Multi Frame Generation nur noch einer von 16 Pixeln gerendert wird, während die übrigen 15 allesamt durch eine KI berechnet werden.

Neue Modelle für DLSS und Ray Reconstruction

Mit DLSS 4 und der GeForce-RTX-50-Serie leitet NVIDIA einen bedeutenden Wechsel im zugrunde liegenden KI-Modell ein. Während bisher ein Convolutional Neural Network (CNN) verwendet wurde, reichen dessen Fähigkeiten für Super Resolution, Ray Reconstruction und Multi Frame Generation nicht mehr aus. Deshalb setzt NVIDIA nun auf ein Transformer-Modell.

Dieses neue Modell basiert auf einem spezialisierten Vision Transformer, der die relative Bedeutung jedes Pixels nicht nur innerhalb eines Frames, sondern auch über mehrere Frames hinweg analysieren kann. Der Vision Transformer nutzt dabei doppelt so viele Parameter wie das vorherige CNN, was zu einer deutlich verbesserten Leistungsfähigkeit führt.

Neben der Frame Generation profitieren auch Ray Reconstruction und DLSS von diesem neuen Ansatz. Interessanterweise können die neuen KI-Modelle nicht nur auf den GeForce-RTX-50-Karten ausgeführt werden, sondern auch auf den GPUs der vorherigen Generationen. Transformer-Modelle für DLSS 3 und DLSS 4 mit (Multi) Frame Generation arbeiten schneller und benötigen weniger Grafikspeicher. Allerdings steigt der Rechenaufwand, was dazu führen kann, dass CNN in bestimmten Szenarien effizienter ist, als das neue Transformer-Modell.

DLSS 4 und Multi Frame Generation in vier Spielen getestet

Im Rahmen des Tests der GeForce RTX 5090 konnten wir DLSS 4 und Multi Frame Generation in vier Spielen testen. Die waren Cyberpunk 2077, Hogwarts Legacy, Alan Wake 2 und Star Wars: Outlaws. Uns standen dazu jeweils spezielle Beta-Versionen zur Verfügung. In Cyberpunk 2077, Alan Wake 2 und Star Wars: Outlaws konnten wir hier zudem zwischen dem alten CNN- sowie dem neuen Transformer-Modell hin und her wechseln.

Da wir hier fleißig wechseln können, können wir natürlich auch entsprechende Vergleiche in der Leistung sowie Darstellungsqualität erstellen.

Benchmarks: Transformer vs CNN

Beginnen wollen wir mit einem Benchmark-Vergleich in der Anwendung von DLSS mit dem neuen Transformer- und dem alten CNN-Modell:

Grundsätzlich gilt, dass das Ausführen des neuen Transformer-Modells etwas aufwendiger ist, aber auch für eine bessere Bildqualität sorgen soll. Dies schauen wir uns gleich noch an. Offenbar kommen die Karten der GeForce-RTX-50- und GeForce-RTX-40-Serie mit dem neuen Transformer-Modell aber besser klar, als dies den zwei Karten der GeForce-RTX-30-Serie gelingt. Während die Unterschiede in den FPS bei den Karten der GeForce-RTX-50- und GeForce-RTX-40-Serie also eher gering sind, sprechen wir für die Ampere-Generation von etwas größeren Abständen.

Bildvergleich

Bildvergleich

Bildvergleich

Bildvergleich

Das neue Transformer-Modell zeigt in den Details eine verbesserte Darstellung. Dazu muss man aber schon sehr genau hinschauen. Auf einem 4K-Frame sind die Unterschiede kaum zu erkennen. Man muss hier schon sehr ins Details gehen, was uns in Anbetracht der knappen Zeit leider nicht weiter möglich war. In einem von NVIDIA veröffentlichten Video sind einige Beispiele zu finden.

Dabei sollte einem klar sein, dass wir bestenfalls von kleinen Unterschieden sprechen. In einem flüssigen Gameplay bei 60 FPS wird man viele dieser Details allenfalls unterbewusst wahrnehmen. Aber eine Verbesserung ist eben eine Verbesserung und solche Optimierungen in den KI-Algorithmen waren in der Entwicklung von DLSS bereits eine entscheidende Komponente und sie werden es weiterhin bleiben.

DLSS 4 mit dem neuen Transformer-Modell soll ab dem 30. Januar, dem Tag der Marktverfügbarkeit der GeForce RTX 5090 und 5080, in 75 Spielen zur Verfügung stehen. In den kommenden Wochen und Monaten dürften zahlreiche hinzukommen. Aktuell unterstützen mehr als 400 Titel ein Upscaling via DLSS.

Benchmarks mit Multi Frame Generation

Neben einem neuen KI-Modell für DLSS stellt Multi Frame Generation aber sicherlich die größte Neuerung der Blackwell-Generation dar. NVIDIA hat die Frame-Generation-Technik konsequent weiterentwickelt. Zur bisherigen Umsetzung von Frame Generation mit einem Wechsel aus seinem gerenderten und einem generierten Frame kommen nun die Modi MFG X3 und MFG X4 hinzu. Bei MFG X3 wird ein Frame gerendert, zwei werden per KI ersetzt. Analog sind es bei MFG X4 ein gerenderte Frame und drei generierte.

Durch die zusätzlich generierten Frames steigen die FPS natürlich deutlich an. Dies alles ist aber auch abhängig davon, von welcher Ausgangslage wir sprechen. Spiele wie Cyberpunk 2077, Alan Wake 2 oder Star Wars: Outlaws erreichen in den höchsten Qualitätseinstellungen in 4K kaum bis keine spielbaren Frameraten – auch nicht mit einer GeForce RTX 5090. Mittels DLSS und Frame Generation war dies einer GeForce RTX 4090 bereits möglich, auf deutlich mehr als 100 FPS kommt die GeForce RTX 5090 aber nur mit Unterstützung des Multi Frame Rendering.

Und die Latenzen?

Für kompetitive Spieler ist Reflex mittlerweile ein unverzichtbares Werkzeug. Die Technologie reduziert die Verzögerung zwischen Eingaben wie Mausklicks und der entsprechenden Bildschirmreaktion – ein entscheidender Faktor in wettkampforientierten Spielen. Durch die Optimierung der Kommunikation zwischen CPU und GPU werden Engpässe minimiert, was schnellere Reaktionszeiten ermöglicht. In unterstützten Spielen arbeitet Reflex, indem es die Render-Warteschlange verkürzt und so die Frames schneller zum Monitor bringt.

Reflex zeigt seine Stärken auch in Kombination mit der Frame-Generation-Technologie. Zwar führt der Prozess der Frame-Generierung durch die zusätzliche KI-Interpolation zu einer erhöhten Latenz, doch NVIDIA Reflex gleicht dies aus. Es senkt die Gesamtsystemlatenz und sorgt damit für eine flüssigere und reaktionsschnellere Spielerfahrung.

Zusätzlich zur FPS-Steigerung ein paar Messungen zur Latenz:

Ohne Reflex bewegen sich die Latenzen im Bereich von 80 bis 120 ms, allerdings muss man an dieser Stelle auch die FPS mit einbeziehen. Der jeweils obere Balken stellt die FPS dar, darunter findet ihr die Latenz.

Für Alan Wake 2 liegt diese bei etwa 80 ms, geht mit Reflex auf 50 ms zurück und pendelt sich für Frame Generation bei 60 ms ein. Cyberpunk 2077 kommt ohne Reflex auf deutlich über 100 ms, mit DLSS und Frame Generation liegen wir dann bei 35 bis 45 ms. Auch bei Star Wars Outlaws reduziert Reflex die Latenz mit Frame Generation unter den Wert ohne Reflex.

Mit Reflex 2 wird NVIDIA noch einen Schritt weiter gehen. Frame Warp schätzt ab, in welche Richtung sich die Kamera bewegen wird. Ein Inpainting füllt die Lücken an den Rändern des Frames die entstehen, da dieser zukünftige Frame ja noch gar nicht berechnet wurde. Die entsprechenden Informationen über den Frame werden ergänzt. Dazu werden Daten des vorherigen Frames, sowie Farbwerte und Daten zur Tiefe innerhalb der 3D-Szene verwendet. 

Reflex 2 wird vorerst nur auf den GeForce-50-Karten laufen, soll später aber auch für die älteren Karten umgesetzt werden. Eine direkte Integration in die Spiele ist auch hier notwendig, damit Reflex 2 funktioniert und auch keine Anti-Cheat-Software getriggert wird. The Finals und Valorant werden die ersten Spiele sein, die Reflex 2 unterstützen werden.