Werbung
Vor einem Jahr zur Computex 2023 zeigte NVIDIA erstmals seine AI-unterstützte Plattform Avatar Cloud Engine, kurz ACE. Dabei handelt es sich um eine Plattform, die nicht nur Charaktere und ganze 3D-Welten per AI genieren, sondern gesamte Spielszenen interaktiv und intuitiv zum Leben erwecken kann.
Hierfür werden verschiedene Cloud-APIs für eine Spracherkennung, eine Text-to-Speech-Umwandlung oder Audio2Face genutzt, um Gespräche mit nicht spielbaren Charakteren nicht skripten oder gar aufwendig vertonen zu müssen. In einer ersten Version konnte man sich durch vorausgewählte Fragen und Antwortmöglichen klicken, um sich in einem asiatischen Ramenladen mit dem Besitzer unterhalten zu können. Das Thema war damals noch vorgegeben und die Wesenszüge entsprechend vorbereitet. Zur Gamescom wenige Monate später ging man bereits einen Schritt weiter und ließ den Charakter mit aufwendigerer Mimik und Gestik entsprechend auf alle Fragen reagieren.
Seit der CES im Januar kann man sich mit dem NPCs per Sprache unterhalten, wobei diese lokal auf dem PC von Sprache zu Text übersetzt wird, in einem LLM in der Cloud verarbeitet und eine entsprechende Reaktion erstellt wird, die wiederum als Stimmausgabe und meinem 3D-Modell inklusive lippensynchroner Ausgabe gerendert wird. Außerdem implementierte NVDIA einen zweiten NPC für Gruppen-Unterhaltungen.
Für NVIDIA schreitet die Entwicklung an ACE rasant weiter. Zur Computex 2024 erweitert man ACE und weitere Szenen und Charaktere.
Ein Assistent hilft beim Zocken
Doch damit nicht genug: Im Rahmen der gerade in Taipeh anlaufenden Computex 2024 stellte NVIDIA am Abend den G-Assist vor. Dieser soll Spielern vor allem in komplexen Titeln wie ein Sprachassistent unter die Arme greifen, um ihm wichtige Hilfestellungen zu geben. So soll G-Assist beispielsweise in Ark Survival Ascended die beste Waffe für die Anfangsphase des Spiels empfehlen oder aber beim umfangreichen Skill-System helfen können.
Der G-Assist läuft als separate Anwendung im Hintergrund und soll sich auf die vielen Wiki-Seiten, YouTube-Videos und Komplettlösungen, die man zahlreich im Internet finden kann, stützen, um zu seinen Informationen zu gelangen. Alleine auf Steam gibt es über zwei Millionen Guides. Dem Spieler will man so die Recherche abnehmen und ihn schließlich schneller zu seinem gewünschten Ziel bringen.
Die Anwendung kann von den Spiele-Entwicklern aber auch direkt eingebunden und vorab mit den richtigen Tricks und Kniffs trainiert werden können. Der G-Assist soll den Spieler aber nicht nur inhaltlich weiterhelfen können, sondern auch technisch. Auf Wunsch kann er die aktuelle Framerate ausgeben, die Latenz tracken oder die Grafiksettings für eine bessere Performance optimieren. Sogar Overclocking oder eine Effizienzsteigerung für das mobile Zocken am Notebook – beispielsweise durch die Limitierung der Framerate – soll man über NVIDIAs G-Assist vornehmen können.
ComfyUI und RTX Video
Die ComfyUI wird ebenfalls umfangreicher. So lassen sich eigene Fotos in professionelle Bewerbungsfotos umgestalten oder Sticker daraus entwerfen. Mit den richtigen Prompts soll man sich selbst in einen Superhelden verwandeln können. RTX Video wird in DaVinci integriert und macht dort ein AI-geschütztes Upscaling oder eine Bildverbesserung direkt im Schnittprogramm möglich.
Update: Besuch um NVIDIA-Showroom
Auch zu den Software-Themen konnten wir uns im Showroom bei NVIDIA selbst einen Eindruck der verschiedenen Funktionen von ACE und dem Assistenten machen. Vor allem der G-Assist präsentierte sich dabei mit einigen interessanten Funktionen.
Per Sprache kann die aktuelle Systemkonfiguration abgefragt werden. Auch ist es möglich zum Beispiel die FPS der vergangenen 60 Sekunde abzufragen oder dem System zu sagen, dass es mit einem FPS-Limit von 60 FPS laufen soll. Viele Hardware-Aspekte lassen sich so nicht über manuelle Einstellungen steuern, sondern eben per Sprach- oder Texteingabe.
Wirklich interessant wird es aber in der Integration des Spiels. So konnten wir den Assistenten fragen, welche Waffe man sich wohl am besten als nächsten in Ark Survival organisiert oder welche Materialien gebraucht werden, um den nächsten Craft-Gegenstand herzustellen. Fehlten dazu die Materialien, konnte erfragt werden, wo man diese wohl am besten findet. G-Assistent sieht und erkennt den Inhalt des Bildschirms und kann diese verarbeiten.
Klar ist aber auch, dass nicht jeder die spielebezogene Hilfestellung gut finden wird. Die Hürde nach Hilfe oder der Lösung für ein Rätsel zu fragen, sinkt mit einem solchen Assistenten noch einmal deutlich. Aber das Konzept könnte auch aufgehen und einen echten Mehrwert für Spieler liefern. Die zunehmende Integration von Generative AI sorgt aber auch dafür, dass Spiele oder in dem Falle Spieler immer abhängiger von einer bestehenden Internetverbindung werden.
Neuerungen gibt es aber auch in anderen Bereichen. So hat NVIDIA die zweite Beta der NVIDIA-App freigegeben, die einige Verbesserungen enthält. So ist nun ein AV1-Encoding in 4K@120 direkt aus der App bzw. Shadowplay heraus möglich. Außerdem wird die App um ein automatischen Overclocking ergänzt. Die Funktionsweise unterscheidet sich aber nicht von der in der GeForce Experience. Nach ein paar Selbsttests liegen im Falle eine GeForce RTX 4090 vielleicht etwas mehr als 100 MHz GPU-Takt und 200 MHz Speichertakt an. Große Sprünge sollte man hier also weiterhin nicht erwarten.