Werbung
Für AI-Anwendungen ein zweiter wesentlicher Faktor neben der leistungsfähigen Hardware ist die Software. Durch eine entsprechende Optimierung dieser oder der zu verarbeitenden Daten selbst kann die Software eine große Rolle in der Leistung der Hardware spielen. Die Hardwarehersteller versuchen gerne eine möglichst breit aufgestellte Softwareplattform anbieten zu können, um möglichst viele Entwickler, die unterschiedlichste Applikations- und Daten-Plattformen, Modelle und dazugehörige Tools verwenden, unter einen Hut zu bringen.
NVIDIA stellt zur GTC24 NIM vor. NIM ist ein Microservice, der auf das Inferencing von AI-Modellen ausgelegt ist. NIM wird Bestandteil des NVIDIA-AI-Enterprise-5.0-Pakets sein, welches aktuell in Version 4.0 vorliegt.
Wer bereits NVIDIA AI Enterprise 4.0 verwendet, wird den neuen Funktionsumfang natürlich nach dem Update erhalten. Die Kosten für NVIDIA AI Enterprise bleiben bei 4.500 US-Dollar pro GPU und Jahr oder 1 US-Dollar pro GPU und Stunde für eine Cloudinstanz.
In NIM packt NVIDIA bestehende Modelle, seien es LLMs oder aber multimodale Modelle zusammen mit darauf optimierten Engines in einen Microservice, der wiederum auf die jeweils verwendete Hardware hin optimiert ist. Diese Spanne reicht vom Notebook mit RTX-GPU bis hin zum AI-Beschleuniger im Datacenter.
NVIDIA arbeitet dazu intern konstant daran, diese Container auf aktuellem Stand zu halten – sei es durch immer weiterführende Optimierungen des Modells oder der Hardware. Der Nutzer des Microservice soll sich so sicher sein, dass er immer die ideale Software für die jeweilige Hardware erhält. Die Datensätze sind untereinander kompatibel – egal ob darauf ein Inferencing auf einer mobilen RTX-GPU oder einem B100-Beschleuniger in der Cloud ausgeführt wird.
Mit NIM sollen Millionen AI-Entwickler und hunderte Millionen an NVIDIA-GPUs, die sich weltweit in den verschiedenen Ausführungen in der freien Wildbahn befinden, auf einen Nenner, eine gemeinsame Software-Plattform, bringen lassen.
Unter ai.nvidia.com können Entwickler erste Samples einsehen, API-Keys anfordern und NIM-Container herunterladen. Entsprechende APIs zu weiteren Services werden in NIM ebenfalls angeboten.
Weitere Neuerungen in NVIDIA AI Enterprise 5.0 sind eine Ende-zu-Ende-Plattform von NeMO – vom Training des Modells, über das Finetuning, das Hinzufügen von Guardrails (Beschränkungen) und vielem mehr.