Werbung
NVIDIA hat soeben Chat With RTX, eine Demo für das lokale Ausführen von KI-Anwendungen in einer frühen Beta freigegeben. Damit lässt sich ein Sprachmodell nicht nur lokal ausführen, sondern theoretisch auch mit eigenen Daten füttern. Man könnte hier von einer Art Technologie-Demo sprechen, denn Chat With RTX greift natürlich auf viele von NVIDIA entwickelte Hard- und Software-Techniken zurück.
Zu diesen gehört retrieval-augmented generation (RAG). RAG soll die Genauigkeit und Zuverlässigkeit von generativen KI-Modellen verbessern, in dem auch externe Quelle hinzugezogen werden können, um eine Art Faktencheck durchuführen. Zudem verwendet Chat With RTX TensorRT-LLM als API zwischen Hard- und Software. TensorRT-LLM verbessert die Leitung von LLMs auf GPUs mit Ampere-, Ada-Lovelace- und Hopper-Architektur. Schlussendlich kommen natürlich auch die Tensor-Kerne der eben genannten GPU-Architekturen zum Einsatz.
Die lokale Installation verlangt nach etwas freiem Speicherplatz. Genauer gesagt sind dies 69,1 GB für die gesamte Installation, die LLama2- und Mistral-Modelle verlangen nach 31 bzw. 17 GB. Alleine die Python-Umgebung kommt auf 6,5 GB.
Die Mindestvoraussetzungen auf Seiten der Grafikkarte sind eine Karte der GeForce-RTX-30 oder 40-Serie mit 16 oder mehr Grafikspeicher. Allerdings läuft Chat With RTX auch mit weniger als 12 GB an Grafikspeicher, wie vereinzelte Vorabtests bereits gezeigt haben. Mindestvoraussetzung ist zudem der GeForce 535.11 als Treiber.
Chat With RTX kann ab sofort direkt bei NVIDIA heruntergeladen werden.
Datenschutzhinweis für Youtube
An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen Sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.
Ihr Hardwareluxx-Team
Youtube Videos ab jetzt direkt anzeigen
Update:
Gestern präsentierte Google mit Gemma ein neues, leichtgewichtiges LLM mit wahlweise 2 und 7 Milliarden Parametern. Wer möchte kann Gemma über den NVIDIA AI Playground in den beiden Varianten Gemma 2B und Gemma 7B über den Browser ausprobieren. In Kürze will NVIDIA auch eine aktualisierte Version von Chat with RTX veröffentlichen, welche die Gemma-LLMs enthält.