Neural Texture Compression

Neues Kompressionsverfahren soll für mehr Details sorgen

NVIDIA hat ein Papier beziehungsweise Forschungsergebnisse veröffentlicht, die ein neues Kompressionsverfahren beschreiben, welches besonders für Texturen und Materialoberfläche geeignet sein soll. Das dazugehörige PDF beschreibt ausführliche, welche Funktionsweise der Neural Texture Compression (NTC) verfolgt und welche Vor- und Nachteile zu erwarten sind. Auf der Siggraph 2023 vom 6. bis 10. August will NVIDIA die Technik in einer dann für Entwickler nutzbaren Form vorstellen.

Aktuell kommt für die Kompression großer Texturdaten die Block Compression (BC) zum Einsatz. Aber schon seit Jahren wird versucht die riesigen Texturen besser verarbeiten zu können, denn sie machen inzwischen einen Großteil der gesamten Daten eines Spiels aus und sollen in einer möglichst hohen Qualität vorliegen, die dem Fotorealismus nahe kommt. Neben einem möglichst hohen Detailsgrad und geringen Verlusten durch die Kompression spielt aber auch die Geschwindigkeit einer Rolle, in der eine Dekompression erfolgt. Daher verfügen GPUs auch über dedizierte Hardware, die BC beherrscht.

Eine Textur ist zwar in seiner grundsätzlichen Bedeutung nur ein 2D-Element, in der 3D-Grafik wird eine Textur aber mit verschiedenen Schichten beschrieben. Es gibt Die Base Layer für die Refraktionen und Reflexionen. Die darüberliegende Schichten sorgen für Lichtabsorption und die Simulation dessen, wie das Licht durch eine solche Schicht verlaufen würde und vieles mehr.

Für NTC hat NVIDIA nun zwei weitere Detailstufen zu den sonst üblichen 14 Texel hinzugefügt und verwendet dabei eine Komprimierung mit niedriger Bitrate und einer Bildqualität, die besser sein soll, als fortgeschrittene Bildkomprimierungstechniken wie AVIF und JPEG XL.

Der Kerngedanke dieses Ansatzes besteht darin, mehrere Materialtexturen und ihre Mipmaps zusammen zu komprimieren und sie mithilfe eines neuronalen Netzwerks zu dekomprimieren. Auch hier kommt also eine KI zum Einsatz.

Matrix-Operationen werden zur Dekompression und für das Inferencing des neuronalen Netzwerks verwendet. Für diese haben die letzten drei GPU-Architekturen von NVIDIA mit den Tensor Cores eine dedizierte Hardwarebeschleunigung erhalten – Volta war rein auf das Datacenter ausgelegt und enthielt die erste Generation dieser Tensor Cores. Die aktuell vierte Generation in der Ada-Lovelace-Architektur wurde noch einmal in vielen Aspekten effizienter.

Das Forschungspapier beschreibt die Methodik Quantisierung, Filterung und vielen technischen Aspekten der Neural Texture Compression ausführlich. Für den Nutzer wichtig sind die Ergebnisse im Vergleich zu den bisherigen Verfahren.

An mehreren Beispielen zeigt NVIDIA die Vorteile der Neural Texture Compression. Konkret eingehen wollen wir hier auf das gezeigte Straßenpflaster, dessen Textur mit 3,6 MB zwar etwas größer als die mittels BC komprimierte Textur mit 3,33 MB ist, die aber ein höherwertiges Filtering anwendet und zudem deutlich mehr Details präsentiert.

Mit einer GeForce RTX 4090m ausgeführt benötigt das System für die BC-Methode aber auch nur 0,49 ms, während es für NTC 1,15 ms sind. Durch den Einsatz des neuronalen Netzwerks sind hier weitere Arbeitsschritte notwendig, was schlicht Rechenzeit benötigt. In einer Rendering-Pipeline spielt jede Millisekunde aber eine wichtige Rolle und so wird NVIDIA aktuell vor allem daran arbeiten, die Neural Texture Compression in der Leistung zu verbessern. Weitere Optimierungen dürften die Verarbeitung im neuronalen Netzwerk betreffen und schlussendlich muss NVIDIA auch einen Weg finden, eine solche Technik in der Praxis in einer Toolchain zugänglich zu machen.

Im folgenden Video könnt ihr euch ein paar weitere Eindrücke der Neural Texture Compression machen:

Auf der GDC präsentierte Epic für die Unreal Engine 5 eine neue Textur-Technik bzw. ein neues Material-Framework, welches ebenfalls für mehr Details in Texturen sorgen soll.