Suchergebnisse

Da bin ich ja echt mal gespannt. Vor allem wie sich das Teil gegen Nvidia Digits schlägt...

llama3.2 ist etwas komisch. das 3b modell ist wesentlich schneller als 1b. leider ist 70b nicht schneller als 3b ;-)

etwas besser vergleichbar wird es wenn du die "temperatur" auf 0 setzt und am besten den "seed" auch. Dann sollte immer das gleiche raus kommen. (wie auch immer das per cmdline geht). Aber mit curl sollte das gehen, z.b.: curl http://localhost:11434/api/generate -d '{ "model": "llama3.1"...

benchen ist mit ollama recht einfach. ollama run <model> "<prompt>" --verbose verbose zeigt am ende eine zusammenfassung 1738663230 Da hätte ich eine M10 für dich... bis zu 64 User (habs aber noch nicht probiert). Incl. gedrucktem "Lüfterpaket".

Du kannst mal "https://ollama.com/library/llama3.2-vision" statt llava versuchen, das erkennt/beschreibt Bilder etwas besser...

ollama

Haha, 4090-performance ist weit weg. 1*4090 @ desktop: > ollama run llama3.3:70b "why is the sky blue ?" --verbose -> 1.67 tokens/s "ollama ps" says: 51%/49% CPU/GPU > ollama run llama3.2:3b "why is the sky blue ?" --verbose -> 200-225 tokens/s 10*P106-90 @ server: >...

ein paar esp32 hab ich hier noch liegen... hmmm... schon mal ganz grob, aber noch nicht im detail. kann der m4 seinen ganzen ram als vram nehmen, also wäre der m4 / 64gb fähig llama3.3:70b komplett auf gpu laufen zu lassen ? momentan sieht es so aus als könnte ich (wohl aber nicht mit ollama...

Ist reine Spielerei (bisher). Ich will einfach mal mehr VRAM haben um auch größere Modelle laufen zu lassen. Scheint aber nicht so zu saklieren wie ich gehofft habe... Bin gerade am Testen mit 10 GPUs ;-)

Ich muss mir langsam mal HA anschauen !

Hab ich mit auch schon überlegt, ne eigene Alexa... Eigentlich ganz einfach ;-) Ein Mikrofon zum streamen (udp ?) an Whisper.cpp (https://github.com/ggerganov/whisper.cpp). Und den Output dann umleiten an z.b. Ollama/llama:1b, dann mit Tools für dein HA System. Bis aufs Audio streamen hab ich da...

Was genau hast du vor ?!

Ja klar, die M10 wären jetzt erstmal zum testen wie sich das verhält, dazu hab ich ja auch fast alles hier jetzt. Juhu Weihnachtsurlaub. Die 6*16GB würden mich aber schon reizen ;-) Andererseits... Hmmm... man kann eine H100 für <$5/h auch mieten. Mist. Mal nachdenken... edit: Nachgedacht: Ach...

Ich habe gerade gewaltige Probleme mit 24GB VRAM, nichtmal llama3.1:8b läuft noch vernünftig mit großem Context... Je mehr ich gerade teste, desto mehr 4060 brauche ich ;-) Leider (naja, zum Glück !) hat das Board nur 6 Slots...

Hupsa, mea culpa, Ich blöd nicht AI blöd. Das war mein alter Thread ! Dieser wäre dann: Ich werde die wichtigsten Punkte aus dem Thread zusammenfassen: * Der Benutzer tcg plant einen neuen AI-Server aufzubauen, um seine KI-Projekte zu bearbeiten. * Er hat bereits einige Vorschläge gemacht...

Wie oben geschrieben, ich hätte gerne: llama3.3:70b-instruct-q6_K mit 64k context -> 89 GB. Das passt in 6*16 rein. Inclusive einem Embedding-Modell... Oder evtl. ein q8_0 mit weniger Context. Muss ich nochmal eines machen... Laut dem was man so hört/sieht/liest ist das auf Niveau eines...

Dafür hab ich ja die 4090 im Desktop ;-) Ich weiss nicht wie Stable Diffusion skaliert, kann ich ja mal dann mal testen. ("dann" ist eher nach Weihnachten). Von der Performance her ist die 4090 vergleichbar mit ~3,75 4060ti (AI TOPS von der Nvidia Seite). 6 davon sollten also ganz gut laufen...

Werden wir bald wissen... Ich teste das dann mal... Jetzt hoffe ich dass die RTX 5000 bald rauskommen, dann werden die 4060 hoffentlich günstiger.

Ich denke nicht... Soweit ich es verstanden habe bekommt jede GPU ihr eigenes Päckchen (die unterschiedlich sind). Sonst könnte man ja die richtig großen Modelle gar nicht laufen lassen. Ein llama3:405b/fp16 hat wuppige 812GB und wenn man den context hoch dreht eher 1.5TB ! Mein Ziel ist ein...

Board hab ich ja schon ;-) Und 2 M10 liegen hier noch rum... Eine M10 ist ja schon "4 in 1". Das sind dann fürs System 8 GPUs, aber halt schweinelahm... Das hatte ich ja schonmal getestet, Ollama verteilt auf die GPUs (und CPUs). Ich hab aber vor dem Kauf vor das nochmal zu testen !