Tenstorrent Dev Day: Blackhole mit neuen RISC-V-Kernen können bestellt werden

Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Wurden diese Karten irgendwo mal mit ML Modelle wie Ollama getestet?
 
Wurden diese Karten irgendwo mal mit ML Modelle wie Ollama getestet?
Upsteam Ollama / llama.cpp haben (noch) keinen direkten Support für die Tenstorrent Beschleuniger (siehe hier für WIP).

Im README der nativen TT-NN Bibliothek finden sich Benchmark-Ergebnisse der Wormhole Vorgängergeneration für einige LLMs, die auch von Ollama unterstützt werden.
 
Auf der Entwickler Seite wird etwas anderes gesagt...
Auf der Seite, die du verlinkt hast wird (soweit ich sagen kann) nichts gesagt, was meinen Aussagen widersprechen würde…
Dort wird beschrieben, wie man mit den Demo Python-Skripten und Pytorch / der tt_transformers Python-Bibliothek aus dem Repo LLMs aus der LLaMA3 Familie und ähnliche ausführen kann.

Zur Klarstellung:
  • Llama3.1-8B, etc. – Large Language Models (LLMs) von Meta (originale Implementierung in Python mit Pytorch)
  • llama.cpp – Inference Runtime in C++; kommt einer eigenen Tensor-Bibliothek (GGML) und Portierungen von u.a. den LLaMA Modellen
  • Ollama (danach hast du gefragt) – Framework zum verwalten und ausführen von LLMs auf der eigenen Hardware; benutzt llama.cpp als Backend

Wenn du also ein Modell wie Llama3.1-8B mit Ollama auf einem Beschleuniger ausführen möchtest muss Ollama / llama.cpp das Model unterstützen (tun sie) und llama.cpp die Hardware (tut es aktuell noch nicht, es arbeitet aber jemand in einem Downstream Fork daran).

Das heißt nicht, dass man das Llama3.1-8B Modell nicht auf der Hardware ausführen kann, deshalb habe ich ja oben geschrieben
Im README der nativen TT-NN Bibliothek finden sich Benchmark-Ergebnisse der Wormhole Vorgängergeneration für einige LLMs, die auch von Ollama unterstützt werden damit waren LLaMa, Mistral, Falcon, DeepSeek R1, etc. gemeint.
aber eben nicht mit Ollama.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh