NVIDIA Streamline

Framework vereinfacht Integration von Upscaling-Technologien

Zur GDC in der vergangenen Woche stellte NVIDIA mit Streamline ein Open-Source-Framework vor, welches es Entwicklern einfacher machen soll, möglichst viele Upscaling-Technologien in ihre Spiele zu integrierten. Über die Engine und die Treiber gibt es ein Upscaling schon einige Jahre. Mit DLSS (Deep Learning Super Sampling) hat diese Methode jedoch erneut Fahrt aufgenommen und wurde seitens AMD mit FSR (FidelityFX Super Resolution) entsprechend gekontert.

Doch inzwischen kann man als Spieler leicht die Übersicht verlieren, welche Upscaling-Technik nun wann genau die bessere ist und welche Abhängigkeiten es zueinander gibt. Alleine NVIDIA bietet mit DLSS, DLAA (Deep Learning Anti-Aliasing) und NIS (NVIDIA Image Scaling) gleich drei Techniken an. Bei AMD gibt es neben dem FSR noch das RSR (Radeon Super Resolution) und bald soll eine verbesserte Variante FSR 2.0 verfügbar sein, die dann auch temporale Daten mit einbeziehen und die Bildqualität deutlich verbessern soll.

Intel kündigt für Sommer die Verfügbarkeit von XeSS (Xe Super Sampling) an und somit hätten wir dann auch noch einen dritten Anbieter mit eigener Upscaling-Technik.

Aber nicht nur die Spieler werden vor eine Wahl gestellt, vor allem die Entwickler der Spiele müssen für eine Integration dieser Techniken die meist ohnehin knappen Ressourcen aufwenden. Kommt eine Engine zum Einsatz, die per Plugin bereits eine einfache Integration zulässt, reduziert dies zwar den Aufwand, getestet werden muss eine solche Technik dann aber dennoch.

Hier will NVIDIA mit Streamline nun eine einfache Lösung anbieten. Streamline ist ein Cross-IHV Framework und zudem auch noch als Open-Source verfügbar. Streamline klemmt sich zwischen die Spiele/Engine- und Render-API und macht über die jeweiligen Plugins die verschiedenen Techniken zugänglich. Zu den Plugins von NVIDIA gehören natürlich das DLSS, DLAA und NIS, aber auch schon der NVIDIA Real-time Denoisers (NRD). Intel hat sein XeSS ebenfalls bereits hinzugefügt, so dass Entwickler, die Streamline verwenden, schon recht einfach eben die Plugins von NVIDIA und Intel verwenden können.

Das auf Github veröffentlichte Repository hält alle notwendigen Informationen und Ressourcen bereit, die es auch anderen Herstellern ermöglichen, für ihre Techniken ein Plugin zu bauen. Hauptadressat ist hier natürlich AMD mit FSR, FSR 2.0 und RSR. Streamline bietet als Schnittstelle die notwendigen Daten an, damit ein Upscaling über die verschiedenen Methoden funktionieren kann. Dazu gehören Informationen wie Bewegungsvektoren (für ein temporales Upscaling), Tiefeninformationen und vieles mehr. Aktuell liegt das Streamline-Framework in der Version 1.0.1 vor.

Streamline kann aktuell bereits für Spiele verwendet werden, die DirectX 11 und DirectX 12 als Render-API verwenden. Die Vulkan-Unterstützung befindet sich in der Beta-Phase. NVIDIA dürfte die Integration von DLSS und den weiteren eigenen Techniken als vorrangiges Ziel hinter dem Angebot des Streamline-Frameworks haben. Für Intel stellt dies eine Möglichkeit dar, sein XeSS unterzubringen, denn es dürfte für jeden Anbieter schwierig sein, möglichst viele Entwickler von den Vorteilen der eigenen Technik zu überzeugen. Diesen Anspruch haben alle Anbieter gleichermaßen und es dürfte für die Entwickler nahezu unmöglich sein, alles gleichermaßen abdecken zu können.

Übersicht der Upscaling-Technologien

Bei der Vielzahl an vorhandenen Techniken wollen wir einmal für etwas mehr Übersicht sorgen:

*Siehe Erläuterungen im nachfolgenden Text

Es benötigt aber noch einiger Erläuterungen der Tabelle, denn ganz so einfach wie sich dies auf den ersten Blick darstellt, ist es nicht. DLSS und DLAA sind Techniken, die mit Deep-Learning-Algorithmen arbeiten, aber nur bei DLSS handelt es sich um eine Upscaling-Technik. DLAA hingegen ist ein Anti-Aliasing, also eine Kantenglättung, die in nativer Auflösung arbeitet und Machine Learning im Rahmen der Rekonstruktion verwendet. DLSS und DLAA setzen die Tensor Cores voraus und arbeiten daher nur auf GeForce-RTX-Karten.

NIS ist eine Art Schärfefilter, der ebenfalls keine Upscaling-Technik darstellt und auch keinerlei KI-Rekonstruktion anwendet. Daher ist NIS auch über den Treiber mit jeglicher NVIDIA-Hardware kompatibel. Theoretisch wäre es auch möglich, ein NIS mit AMD-Karten anzuwenden, dazu müsste es aber in den Treiber oder in ein Spiel integriert werden. Es ist nicht sehr wahrscheinlich, dass ein Konkurrent von NVIDIA dies tun wird.

FSR ist ein spatialer Upscaler, der ebenfalls ohne KI-Rekonstruktion auskommt. Grundsätzlich gäbe es hier keine, bzw. kaum Hardwarevoraussetzungen, laut AMD funktioniert FSR auf Karten der Radeon-RX-500-Serie und schneller sowie mit NVIDIA-GPUs wie der GeForce-GTX-10- und GeForce-RTX-20-Serie und schneller. FSR muss vom Spieleentwickler integriert werden und steht dann allen Nutzern dieser Karten zur Verfügung.

FSR 2.0 bringt Verbesserungen in Form der Integration temporaler Elemente mit sich. Hier findet noch immer keine KI-Komponente Anwendung. Daher dürfte sich auch an den Hardwarevoraussetzungen wenig tun. Bisher hat sich AMD dazu noch nicht konkret geäußert, nennt in der Ankündigung jedoch empfohlene Hardware für bestimmte Ausgabeauflösungen – darunter auch Hardware von NVIDIA. RSR ist eine treiberinterne Upsaling-Technik, die nur spatiale Daten verwendet und zudem auch Eingabewerte des Spiels verzichten muss. Für ein FSR können bestimmte Elemente wie das HUD vom Upsaling ausgenommen werden und bleiben in der Größe so, wie sie zur idealen Darstellung vorgesehen sind. Dies ist mit RSR nicht der Fall.

XeSS verwendet ebenfalls spatiale und temporale Daten. Hier kommt auch wieder eine KI-Komponente hinzu, die Intel auf den eigenen XMX-Einheiten der Arc-Grafikkarten beschleunigen möchte. Auf nicht Intel-Hardware kommt eine DP4a-Beschleunigung zum Einsatz, die INT8-Berechnungen verwendet. Darüber werden auch die aktuellen Grafikkarten mit AMD- und NVIDIA-GPU in der Lage sein, das XeSS auszuführen. XeSS soll auf den XMX-Einheiten aber noch einmal schneller sein, als dies auf der Konkurrenz-Hardware der Fall ist.

Wir hoffen euch somit eine kleine Übersicht geben zu können. Die Vor- und Nachteile der verschiedenen Techniken, vor allem im Hinblick auf die Darstellungsqualität, aber auch im Leistungsplus, stehen noch einmal auf einem ganz anderen Blatt. Diesem Thema müssen wir uns in aller Ausführlichkeit widmen, sobald alle drei Techniken auf einem Stand sind – sprich DLSS, FSR 2.0 und XeSS zur Verfügung stehen.