Spiele

NVIDIA will 3D-Welten durch AI erzeugen lassen

Der Begriff prozeduales Leveldesign ist vielen sicherlich von Spielen wie No Man's Sky und Star Citizen bekannt. Dahinter verbirgt sich die prozedurale Synthese oder prozedurale Generierung von Inhalten wie Texturen, 3D-Objekten und Musik in einem vom Entwickler gesteckten Rahmen, um nicht eine zu 100 % vordefinierte Welt anfertigen zu müssen. Im Falle der beiden Weltraum-Abenteuer ist es nur so möglich hundert oder gar tausenden Welten zugänglich zu machen.

Doch die Generierung einer 3D-Welt soll und kann sich durchaus an der Realität orientieren, ohne dabei in jedem Detail bereits vordefiniert (pre-backed) zu sein. Wissenschaftler des MIT und von NVIDIA haben ein wissenschaftliches Papier veröffentlicht, welches sich genau diesem Thema widmet.

Ziel des Projektes ist es, eine interaktive 3D-Welt aus realen Daten zu erstellen. Dazu wird ein Deep-Learning-Netzwerk mittels einiger Videos trainiert. Für eine virtuelle Umgebung essentielle Objekte wie Gebäude, Bäume, Fahrzeuge und vieles mehr sollen anhand der Videodaten in der 3D-Welt automatisch erstellt werden. Dies umfasst das 3D-Modell und auch die notwendigen Texturen. Später sollen sich diese Daten noch bearbeiten lassen, falls es notwendig sein sollte.

Am Ende soll eine vollständige 3D-Welt entstehen, die alle Objekte enthält, die auf den Videos zu sehen sind. Letztendlich sollen sich damit schnell und einfach virtuelle Abbilder realer Umgebungen erzeugen lassen. Beispiele wäre das virtuelle Los Angeles in GTA V oder das New York des aktuellen Spider-Man-Game, aber auch das Erstellen möglichst realistischer virtueller Nachbauten von Rennstrecken für Rennspiele. Neben der Spielebranche sieht NVIDIA das Einsatzgebiet der Technik aber auch im Automotiv-Bereich bzw. der Erstellung von 3D-Karten und für Anwendungen in der Architektur. Überall dort, wo die reale Umgebung in eine virtuelle Welt überführt werden soll, was bisher manuell geschieht, kann die Methode angewendet werden.

Das Training des Deep-Learning-Netwerks erfolgt auf leistungsstarken Systemen wie dem DGX-1 mit bis zu acht Tesla V100. Das Inferencing der 3D-Welt soll dann aber auf lokaler Hardware erfolgen. Die Volta- und Turing-Architektur besitzt die dazu notwendigen Tensor Cores, in denen das Inferencing in Echtzeit ausgeführt werden kann. Diese Methodik ist grundsätzlich mit der DLSS-Technik zu vergleichen. Auch hier wird ein bereits trainiertes Netzwerk über die Tensor Cores verarbeitet. Die von NVIDIA gezeigte Demo wurde auf einer Titan V auf Basis der Volta-Architektur ausgeführt. Das Training fand wie gesagt auf leistungsstärkerer Hardware statt.

Die Technik der Video-zu-Video-Synthese befindet sich in einem recht frühen Stadium. Derzeit ist man noch etwas davon entfernt damit vollständige 3D-Welten zu erstellen. Man wird aber sicherlich mit den erwähnten Branchen zusammenarbeiten, um eventuelle Einsatzgebiete auszuloten.