NVIDIA RTX-AI-PC

Der Game-Changer für dein KI-Erlebnis

Advertorial/Anzeige

Um das Thema KI wird kaum ein PC-Nutzer im Jahre 2025 mehr herumkommen – egal ob als Spieler, Streamer, Content-Creator für das Hobby, im semiprofessionellen Umfeld oder auch im beruflichen Alltag. NVIDIA bietet mit seinen GeForce-Grafikkarten für Desktop-Systeme und in Notebooks sowie mit den dazu passenden GeForce-Game-Ready- und Studio-Treibern die für den jeweiligen Anwendungsbereich angepassten Treiber. Dabei schließt sich die Nutzung des Studio-Treibers für den Gelegenheitsspieler ebenso wenig aus, wie die Ausführung lokaler Large Language Models mit dem GeForce-Treiber auf einer GeForce-Karte.

Während die CPU-Hersteller sich zuletzt auf die NPUs (Neural Processing Units) konzentrierten und sich dabei auf die Effizienz konzentrierten, haben viele GeForce-Nutzer bereits seit geraumer Zeit einen KI-PC neben sich stehen. Die GeForce-Grafikkarten bieten in Kombination aus ihren Shadereinheiten und den Tensor Cores eine oftmals vielfach höhere KI-Rechenleistung.

KI-gestützte Gameplay-Erlebnisse sind sicherlich gerade für Spieler der wichtigste Aspekt. Aber auch für die Heimkino-Umgebung, beschleunigte Content-Erstellung, KI in der Entwicklung und vieles mehr gibt es einige interessante Anwendungsbereiche, auf die wir etwas genauer eingehen wollen.

KI für DLSS und Frame Generation

Das Upscaling mittels DLSS (Deep Learning Super Sampling) bietet eine FPS-Steigerung bei gleichzeitig besserer Darstellungsqualität. Kompromisse in dieser Hinsicht müssen nicht mehr eingegangen werden. DLSS 4 nutzt die Tensor-Recheneinheiten der fünften Generation und den Optical-Flow-Beschleuniger auf Grafikkarten der GeForce-RTX-50-Serie, um mithilfe von KI zusätzliche Frames zu erstellen und die Bildqualität zu verbessern.

NVIDIA nutzt dazu einen eigenen Supercomputer, der ein neuronales Netzwerk trainiert. Diese KI wird zur Ausgabe von Bildern mit höherer Auflösung verwendet, die aus Eingaben in niedrigerer Auflösung entstehen. Die neuesten Modelle werden über die Game-Ready-Treiber von NVIDIA bereitgestellt. Die Tensor Cores nutzen die zur Verfügung stehenden TFLOPs an dedizierter KI-Rechenleistung, um das DLSS-AI-Netz in Echtzeit auszuführen. Da DLSS Frames mit geringerer Auflösung verwendet, ergibt sich daraus ein Leistungsplus. Für die Bilderzeugung (Frame Generation) werden Bewegungsdaten und ein Feedback aus früheren Bildern verwendet, um Bilder in nativer Qualität zu rekonstruieren. Die Kombination aus Upscaling und Frame Generation zeigt sich dann in deutlich gesteigerten FPS.

Mit DLSS 4 und der GeForce-RTX-50-Serie ist NVIDIA zuletzt sogar noch einen Schritt weiter gegangen. Für DLSS 3 kamen bisher ein sogenanntes Convolutional Neural Network (CNN) zum Einsatz. Inzwischen ist ein solches Netzwerk aber nicht mehr in der Lage, die Anforderungen für Super Resolution, Ray Reconstruction und Multi Frame Generation zu erfüllen, und so ist NVIDIA auf ein Transformer Model gewechselt. Dieses neue Modell verwendet einen auf die Bilddarstellung spezialisierten Vision Transformer, der es ermöglicht, die relative Bedeutung jedes Pixels über den gesamten Frame und über mehrere Frames hinweg zu bewerten. Das Vision Transformer Model verwendet die doppelte Anzahl an Parametern im Vergleich zum CNN. Damit erreicht NVIDIA eine höhere Detailgenauigkeit in den Frames.

Ebenfalls mit der GeForce-RTX-50-Serie eingeführt wird eine neue Technik namens Multi Frame Generation (kurz MFG). Nicht mehr nur jeder zweite Frame wird per Frame Generation komplett erzeugt, sondern im MFG 4X Mode wird ein Frame gerendert und auf diesen folgen drei erzeugte Frames. Damit erreicht NVIDIA natürlich ein deutliches Leistungsplus ohne Kompromisse bei der Darstellungsqualität.

DLSS 4 mit Multi Frame Generation soll vom ersten Tag an von 75 Spielen unterstützt werden.

• Weitere Informationen zu DLSS 4 und Multi Frame Generation

KI für Ray Reconstruction

Die Raytracing-Effekte haben das Gaming in den vergangenen Jahren im Hinblick auf die Darstellung von Reflexionen und Berechnung der globalen Beleuchtung einen riesigen Schritt nach vorne gebracht. Allerdings sind die entsprechenden Berechnungen auch extrem rechenaufwendig. Mit DLSS 3 und neuer ist NVIDIA dieses Problem angegangen, denn häufig muss der Umfang in den Berechnungen reduziert werden, damit die Hardware die aufwendigen Berechnungen noch schafft.

Ray Reconstruction bzw. DLSS-Strahlenrekonstruktion heißt die neueste Technik in diesem Bereich. Per Strahlenrekonstruktion werden zusätzliche Pixel für Szenen mit intensivem Raytracing generiert. DLSS ersetzt dabei manuell abgestimmte Denoizer (Entrausch-Algorithmen) durch ein von einem NVIDIA Supercomputer trainiertes KI-Netzwerk, das zwischen den berechneten Strahlen die fehlenden Pixel erzeugt – ähnlich wie dies mit Frame Generation für komplette Frames geschieht.

Auch für die Ray Reconstruction wechselt NVIDIA vom bisher verwendeten Convolutional Neural Network auf ein optimiertes Transformer Modell, welches deutlich bessere Ergebnisse liefert.

• Weitere Informationen zu DLSS 4 und Ray Reconstruction

NVIDIA Reflex 2 mit Frame Warp

Für ein wettbewerbsfähiges Gaming und um der höheren Latenz durch die Frameerzeugung entgegen zu wirken, wurde Reflex entwickelt. Reflex optimiert und misst die Systemlatenz, und sorgt damit für eine schnellere Zielerfassung, kürzere Reaktionszeiten und die beste Zielgenauigkeit für wettkampforientierte Spiele.

Reflex 2 führt Frame Warp ein, womit sich die Latenz in Bezug auf die letzte Mauseingabe des Spiels noch weiter reduzieren sollen. Mit Frame Warp werden auf Grundlage der letzten Mauseingaben die nächsten Frames bereits aktualisiert, bevor sie an das Display gesendet werden.

Ein KI-unterstütztes Inpainting füllt die Lücken an den Rändern der Frames, da diese ja noch nicht gerendert wurden bzw. die dazu notwendigen Informationen in der Render-Pipeline fehlen.

• Weitere Informationen zu Reflex 2 und Frame Warp

DLAA

Sind die FPS bereits ausreichend, es besteht aber der Wunsch nach einer verbesserten Kantenglättung, dann bietet DLAA eine höhere Bildqualität. DLAA verwendet dabei die Super Resolution-Technologie, die auch für DLSS zum Einsatz kommt und rekonstruiert damit ein Bild in nativer Auflösung, um die Bildqualität zu maximieren.

Das Upscaling lässt sich aber nicht nur für Spiele einsetzen, sondern kann als RTX Video Super Resolution auch für Videos angewendet werden. Ein denkbarer Anwendungsbereich wäre es, ein Video, das nur in zu geringer Auflösung vorliegt, zu optimieren. Aber es ist auch möglich, ein Stream-Abo, welches nur 1080p anbietet, entsprechend aufzuwerten.

RTX Video Super Resolution verwendet dabei ein ähnliches KI-Modell wie bei den Spielen und die Tensor Cores, um die Qualität von Videos zu verbessern, die in einem Chrome- oder Edge-Browser angesehen werden. Neben der einfachen Hochskalierung werden auch die blockartigen Komprimierungsartefakte entfernt. Aus einem 1080p-Video in mäßiger Qualität kann so ein qualitativ hochwertiges 4K-Video werden.

Die Funktionsweise von RTX Video Super Resolution unterscheidet sich dabei im Detail zu DLSS. So gibt es unterschiedliche Trainings- und Dateneingaben und DLSS nutzt einen völlig anderen Algorithmus. RTX Video Super Resolution leitet Frames mit höherer Auflösung basierend auf dem Eingangs-/Videoframe mit niedrigerer Auflösung ab. Dies funktioniert nur bei Videoinhalten.

Bei Nutzung des Chrome- oder Edge-Browsers kann RTX Video Super Resolution über das NVIDIA Control Panel unter "Videobildeinstellungen anpassen" aktiviert werden.

KI geht über das Gaming hinaus

Aber nicht nur Spieler sollen vom Einsatz der KI profitieren. NVIDIA bietet inzwischen ein extrem breites Feld an Anwendungen, die zum Einsatz kommen können. Mit ChatRTX beispielsweise ist die lokale Ausführung eines Large Language Model (LLM) mit dem lokalen Zugriff auf eigene Daten wie Dokumente, Notizen, Bilder oder andere möglich. Dies hat vor allem den Vorteil, dass im Zweifel sensible Daten nicht hochgeladen werden müssen und der Nutzer die Kontrolle darüber behält, wer Zugriff auf die eigenen Daten bekommt.

Durch die Nutzung von RAG (Retrieval Augmented Generation) ist die Erweiterung des Kenntnisstands eines LLMs möglich. Mittels RAG wird das LLM somit genauer und letztendlich auch vertrauenswürdiger. Wissenslücken des LLMs werden über externe Ressourcen geschlossen, die genau auf den eigenen Anwendungsbereich abgestimmt sind.

Um die durch die GeForce-RTX-Grafikkarten zur Verfügung stehenden Hardware-Ressourcen bestmöglich nutzen zu können, integriert NVIDIA alle aktuellen Entwicklungen in diesem Bereich in das Softwarepaket TensorRT-LLM. TensorRT-LLM besteht aus dem TensorRT Deep Learning Compiler, welcher optimierte Kernel sowie Pre– und Post-Processing-Schritte bereitstellt.

ChatRTX verfügt über ein automatisches Spracherkennungssystem, das mithilfe von KI gesprochene Sprache verarbeitet und Textantworten mit Unterstützung für mehrere Sprachen bietet. Weitere Informationen zu ChatRTX sowie den Download findet ihr direkt bei NVIDIA.

KI im Office- und Kreativ-Alltag

Darüber hinaus unterstützten die NVIDIA-Technologien bei Videokonferenzen, Sprach-Chats und Livestreams mit KI-gestützter Rauschentfernung, Hintergrundaustausch und vielen weiteren Funktionen von NVIDIA Broadcast.

Ein viel größeres Feld umfasst die RTX-Beschleunigung im Kreativumfeld. Mit Hilfe der NVIDIA Canvas-App werden simple Pinselstriche durch KI in realistische Landschaftsbilder verwandelt. In einem nächsten Schritt lassen sich in 3D-Kreativanwendungen für das Echtzeit-Rendering im Viewport die Darstellung beschleunigen, indem DLSS-unterstütztes Hochskalieren angewendet wird. Auch im Videobearbeitungsprozess bietet die KI eine Unterstützung für Effekte und mehr.

Auf einer Übersichtsseite bei NVIDIA findet ihr eine Übersicht der Anwendungen in den Bereichen 3D und Rendern, Videobearbeitung, Bildbearbeitung, Grafikdesign, Broadcasting und Architektur Visualisierung, die von der NVIDIA-GPU-Beschleunigung profitieren.

KI in der Entwicklung

Noch einen Schritt weiter geht es mit der KI-Unterstützung in der direkten Entwicklung. NVIDIA bietet hier einen NGC-Katalog mit hunderten von vortrainierten Modellen für Computer Vision, Sprache und mehr an. Diese können unverändert verwenden oder mit den eigenen Daten angepasst werden.

Passend dazu gibt es das RTX AI-Toolkit, eine End-to-End-Suite von Werkzeugen und SDKs sowie KI-Modelle für Windows-Anwendungen.

NVIDIA ACE

Mit ACE hat NVIDIA eine Technologie vorgestellt, welche es ermöglicht, einen digitalen Menschen mit generativer KI zum Leben zu erwecken. Genutzt werden kann die digitale Repräsentation eines Menschen in vielerlei Anwendungsbereichen. Dabei muss aber zunächst sichergestellt werden, dass das Erscheinungsbild und die Verarbeitung der Daten mit darauffolgender Reaktion auch dem entspricht, was der menschliche Nutzer erwarten würde.

So bietet der NVIDIA Tokkio für die Anwendung im Kundenservice einen Referenz-Workflow für einen digitale Assistenten, der KI-gestützte Kundenservicefunktionen für das Gesundheitswesen, die IT-Branche, den Einzelhandel und andere Bereiche bereitstellt. In allen Aspekten werden dabei moderne generative KI-Modelle für Sprache, die Darstellung des digitalen Assistenten und dessen Animationen eingesetzt. Omniverse RTX-Rendering und Retrieval Augmented Generation (RAG) werden kombiniert, um dem Kunden spezifische und aktuelle Informationen zur Verfügung zu stellen.

Im Gaming-Segment kann ACE eine einfache Möglichkeit sein, die digitale Spielewelt zu erweitern. So bietet der Unreal Render 5 Renderer Microservice-NPCs, die mit natürlicher Sprache interagieren. Auch hier kommen KI-Modelle für Sprache, Sprachausgabe und Animationen in Echtzeit zum Einsatz, um digitalen Charaktere in der Unreal Engine 5 zu erstellen, die weit über das hinaus gehen, was bisher an NPC-Mechanik im Einsatz ist.

Weitere Bereiche für den Einsatz der ACE-Technologie sind Telepräsenz mit der KI-Unterstützung in der Interpretation von Sprache zu Text, der Übersetzung von Sprache sowie Audio2Face-2D in der Darstellung der digitalen Gesprächspartner.

Darüber hinaus lässt sich ACE im Zusammenspiel mit NVIDIA MEGA und den digitalen Zwillingen einsetzen. Komplexe Industrieanlagen lassen sich in der Kombination mit der Robotersimulation Isaac Sim und der Interaktion mit den menschlichen Mitarbeitern vor dem Aufbau derselbigen simulieren und aufeinander abstimmen.

NVIDIA NIM-Microservices und Blueprints

Um in Zukunft in allen Bereichen noch breiter aufgestellt zu sein, bietet NVIDIA mit den NIM-Microservices und Blueprints die neuesten generativen Modelle für die verschiedensten Anwendungsbereiche an. Diese können dann möglichst einfach auf den eigenen RTX-AI-PC eingesetzt werden.

NIM-Microservices finden bereits im Datacenter großflächig Verwendung und bieten eine schnelle und effiziente Möglichkeit, die diversen KI-Workloads mit den für die NVIDIA-Hardware optimierten Modellen auszuführen. Nun bietet NVIDIA die NIM-Mikroservices auch für die GeForce-RTX-GPUs an, sodass Anwendungen wie ChatRTX, AnythingLLM, ComfyUI und LM Studio ohne weiteres Zutun mit der bestmöglichen Leistung und Effizienz arbeiten. Kombiniert werden können die NIM-Microservices mit Blueprints, um schnell KI-gesteuerte Workflows einzurichten, anzupassen und bereitzustellen. Damit lassen sich Aufgaben automatisieren und neue Funktionen freischalten.

RTX-AI-PC: Gekommen, um zu bleiben

Spiele, Videobearbeitung, 3D-Rendering, Grafikdesign, Videokonferenzen und vieles mehr – eine KI-Unterstützung wird in nimmer mehr Bereiche unseres PC-Alltags einfließen. Diese möglichst effizient und einfach nutzen zu können, ist eine Herausforderung, der sich NVIDIA bereits vor Jahren angenommen hat. Inzwischen bietet NVIDIA beispielsweise in Spielen, aber auch im professionellen Alltag eines Content Creators mehrschichtige Lösungen, die auf eine KI zurückgreifen. Die ersten Schritte sind gemacht, viele weitere werden folgen und eine stetige Verbesserung der Modelle sorgt für bessere Ergebnisse, von denen wir alle profitieren.

Advertorial/Anzeige