NVIDIA ACE

Neue Techdemo zeigt NPC-Interaktion mit GenAI-Technik

Zusammen mit einigen Software-Partner arbeitet NVIDIA bereits seit mehr als einem Jahr an einer KI-unterstützten NPC-Interaktion. Zur Computex im Juni gab es die erste Demo, in der es vor allem um eine möglichst interaktive Kommunikation mit den NPCs ging. Im Januar zeigte NVIDIA auf der CES eine weiterentwickelte Version.

Bei NVIDIA ACE handelt es sich um eine AI-unterstützte Plattform für Game-Designer, die NeMo- und Omniverse-Komponenten enthält. Dabei geht es nicht nur darum Charaktere oder 3D-Elemente zu generieren, sondern darum die Welt oder Szene per AI zum Leben zu erwecken. Künftig sollen NPCs nicht nur über eine Eingabe einer Auswahlmöglichkeit mit dem Spieler interagieren, sondern mit dessen Stimme. Die Antwort, bzw. Interaktion des Spielers wird dann lokal auf dem PC von Sprache in Text übersetzt, in einem LLM in der Cloud verarbeitet, eine entsprechende Reaktion erstellt, die dann wiederum an den PC geschickt wird, wo sie dann als Stimmausgabe und auch im 3D-Modell in Form von lippensynchroner Ausgabe sowie gesprochenem Wort wieder an den Spieler ausgegeben wird. Ziel ist eine lebensechte Interaktion mit den Charakteren des Spiels.

Zur GDC zeigt NVIDIA nun in Zusammenarbeit mit Ubisoft und dem Middleware-Anbieter Inworld AI eine neue Techdemo, in der ein kompletter Hintergrund, eine Wissensbasis und ein Konversationsstil für jeden NPC erstellt wurde. Alle Parameter können auch angepasst werden und entsprechend fallen die Antworten und Reaktionen der Charaktere anders aus.

Die neue Techdemo namens Covert Protocol verwendet die Unreal Engine 5 und ist somit auch aus grafischer Sicht beeindruckend. Per SDK wurden die MetaHumen hinzugefügt. Weiterhin verwendet wurde Riva Automatic Speech Recognition (ASR) und Audio2Face (A2F) – beides ebenfalls Technologien von NVIDIA.

Bisher gibt es noch keine Informationen dazu, in welchen Spielen wir dieses Level an NPC-Interaktion sehen werden.