Werbung
Auf den Hype der generativen AI zur Erstellung von Bildern und in einer zweiten Welle von Texten sowie einer entsprechende Interaktion (Stichwort ChatGPT) kommt nun die dritte Dimension hinzu. Auf der CVPR (Computer Vision and Pattern Recognition Conference) stellte Blockade Labs zusammen mit Intel das Latent Diffusion Model for 3D (LDM3D) vor.
Das LDM3D wurde aus 10.000 Samples trainiert, die aus der LAION-400M-Datenbank stammen. Diese enthält über 400 Millionen Bild-Schrift-Paare. Trainiert wurde das Modell, wie kann es bei einer Zusammenarbeit mit Intel sein, auf einem System mit Xeon-Prozessoren und Gaudi-Beschleunigern.
Aus einer Texteingabe, dem sogenannten Prompt, erzeugt das Modell eine 360°-3D-Szenen. Im unten eingebetteten Video können einige Beispiele per YouTube in VR betrachtet werden.
Die Erstellung kompletter 3D-Welten wäre der nächste Schritt für ein prozedurales Leveldesign. Aufgrund der immer größeren Spielwelten ist es für einige Spiele längst nicht mehr möglich diese komplett manuell zu erstellen. Zumindest Teilaspekte werden heute daher bereits prozedural erstellt. Die Unreal Engine 5.2 wurde zuletzt mit einer sehr detailliert umgesetzten Funktion gezeigt.
Um die Forschung voranzutreiben stellt Intel das LDM3D-Modell über HuggingFace als Open-Source-Software zur Verfügung.
Datenschutzhinweis für Youtube
An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.
Ihr Hardwareluxx-Team
Youtube Videos ab jetzt direkt anzeigen