Werbung
Die Research-Abteilung von NVIDIA präsentierte auf der GTC24 neue Ergebnisse des Forschungsprojekts der Toronto AI Labs mit dem etwas sperrigen Namen Large-scale Amortized Text-To-Enhanced3D Synthesis (LATTE3D). Was sich dahinter verbirgt: 3D-Objekte werden komplett per KI erzeugt. Als Eingabe dient ein Text-Prompt – mehr nicht.
Die Besonderheit bei LATTE3D: Image-Diffusion-Modelle trainieren Text-to-3D-Modelle in einer Feedback-Schleife. Prompts für die Image-Diffusion-Modelle kommen von einem LLM. Das Modell trainiert sich also größtenteils selbst. Im Hintergrund muss es dazu aber zunächst zwei weitere Modelle geben, aus denen dann die fertig texturierten 3D-Modelle erstellt werden: Ein Textur-Modell und ein Geometrie-Modell.
Die beiden Modelle arbeiten im Text-to-3D-Inferencing zunächst mit gleicher Gewichtung. Ist das finale 3D-Modell gefunden, wird dies eingefroren und die Textur darauf angepasst. Das was früher Minuten gedauert hat, soll nun in unter einer Sekunde möglich sein. Vor Ort wurden Ausgaben demonstriert, die im Bereich von 400 ms lagen. Das Inferencing wurde dabei auf einer RTX A6000 ausgeführt. Trainiert wurden die Modelle mit A100 Tensor Core GPUs.
In einem Forschungspapier (PDF) beschreiben NVIDIA und die beteiligten Forscher ihre Arbeit ausführlicher. Auch die Projektseite ist eine gute Quelle für weitere Informationen. Ziel ist es einem 3D-Designer eine schnelle und flexible Alternativen zu Asset-Datenbanken zu liefern, deren Inhalte dann womöglich doch noch manuell angepasst werden. NVIDIA demonstrierte die Erstellung eines 3D-Objektes und den Import in das Omniverse, wo es dann in den eigenen Arbeitsprozess eingebunden werden kann.
LATTE3D wurde bisher mit etwa 100.000 Texteingaben trainiert. Bewegt man sich außerhalb eines bereits trainierten Themenfeldes, kann das Modell diese Objekte noch nicht erstellen.
Neben LATTE3D treibt NVIDIA aktuell hunderte Forschungsprojekte voran. Dazu gehört auch Grundlagenforschung um die Modell- und Netzwerkarchitekturen zur verschlanken und neue Trainings-Rezepte zu entwickeln – EDM2 ist nur ein Beispiel.
Datenschutzhinweis für Youtube
An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.
Ihr Hardwareluxx-Team
Youtube Videos ab jetzt direkt anzeigen