Werbung
NVIDIA nutzt die gamescom um mit Mecha Break ein erstes Spiel anzukündigen, welches die ACE-Technik (Avatar Cloud Engine) nutzt. Bei NVIDIA ACE handelt es sich um eine AI-unterstützte Plattform für Game-Designer, die NeMo- und Omniverse-Komponenten enthält. Dabei geht es nicht nur darum Charaktere oder 3D-Elemente per KI zu generieren, sondern auch darum, die Welt oder Szene zum Leben zu erwecken. In einem Beispiel werden dem NPC nur gewisse Wesenszüge und ein Thema vorgegeben, der Rest der Unterhaltung wird per Large Language Model (LLM) erzeugt.
Zur lokalen Ausführung trainiert NVIDIA seine eigenen Modelle, die dann etwas kleiner und spezialisiert sind sowie als SLM (Small Language Model) bezeichnet werden. NVIDIA verwendet hier das eigene Modell namens Nemotron-4 4B Instruct.
Mit Mecha Break wurde nun das erste Spiel angekündigt, welches ACE bzw. die Sprachkomponenten der Technik verwenden soll. In regelmäßigen Abständen zeigte NVIDIA zuletzt stetige Verbesserungen von ACE – zum Beispiel auf der CES oder später in diesem Jahr zur Computex.
Der Spieler interagiert per Spracherkennung mit dem Spiel (Riva ASR, Automated Speech Recognition). Aus Audio wird Text und dieser wird wiederum in das SLM übergeben. Die Antwort darauf geht wiederum mittels Riva TTS (Text to Speech) über ein Audio2Face-3D-Interface, welches dafür sorgt, dass die Charaktere weitestgehend lippensynchron und mit der entsprechenden Gestik wiederum mit dem Spieler kommunizieren.
Alle KI-Modelle, also Riva ASR und TTS sowie das SLM selbst und auch Audio2Face-3D laufen lokal auf der Grafikkarte in einem NIM Microservice. Bisher zeigte NVIDIA in den Demos meist Umsetzungen, die zumindest in Teilen auf eine bestehende Internetverbindung angewiesen sind, weil Beispielsweise das SLM nicht lokal vorlag, sondern eine ChatGPT-Schnittstelle genutzt wurde.
Bisher gibt es keinen Termin für Mecha Break. Auch zu den Systemanforderungen äußerte sich NVIDIA nicht. Als Mech-Shooter ist aber klar, dass die ACE-Technik nicht während des Gameplay selbst zum Einsatz kommt, sondern im Warteraum bzw. der Vorbereitungsphase. Wann ein erstes Spiel der Kategorie eines Cyberpunk 2077 mit ACE erscheinen wird, bei dem die Technik sicherlich einen größeren Einfluss hätte, ist nicht bekannt.