Neuer AI-Server

[tcg]

ein paar esp32 hab ich hier noch liegen... hmmm...

Hast Du über einen Mac Mini m4 - ggf. als Cluster - nachgedacht?

schon mal ganz grob, aber noch nicht im detail.
kann der m4 seinen ganzen ram als vram nehmen, also wäre der m4 / 64gb fähig llama3.3:70b komplett auf gpu laufen zu lassen ?

momentan sieht es so aus als könnte ich (wohl aber nicht mit ollama sondern llama.cpp direkt) auf den 10 billigen gpus ~4090 performance aber mit 60gb vram hinbekommen.
eine einzelne P106-90 ist ca. 10%-12% 4090 laut ersten tests hier, also evtl noch schneller ;-)
bin noch am basteln, mal schauen wieviel zeit ich erübrigen kann.
dann hätte ich eine recht günstige und fast brauchbare lösung...
(der server hat 135€ gekostet, die gpus 210€, ok, wir sind im luxx, ich steck nochmal ram rein, server-ecc-ram ist günstig: 2*64gb ~100€)

er ist wohl deutlich lauter wie ein m4, ist halt nen server mit 3*1600W netzteilen für 10 gpus :-(
und er darf nur tagsüber laufen wenn die sonne genug aufs dach scheint, idle=120W ;-)

 

[tcg]

Haha, 4090-performance ist weit weg.

1*4090 @ desktop:
> ollama run llama3.3:70b "why is the sky blue ?" --verbose
-> 1.67 tokens/s
"ollama ps" says: 51%/49% CPU/GPU
> ollama run llama3.2:3b "why is the sky blue ?" --verbose
-> 200-225 tokens/s

10*P106-90 @ server:
> ./llama-cli -m Llama-3.3-70B-Instruct-Q4_K_M.gguf -p "why is the sky blue?" -ngl 1000
-> 1.45 tokens per second
> ./llama-cli -m llama-3.2-3b-instruct-q8_0.gguf -p "why is the sky blue?" -ngl 1000
-> ~20 tokens per second

Der Server braucht während dem Arbeiten <450w.

 

[Luckysh0t]

sieht auch sehr cool aus.
Für 80$ zwar teuer. Aber mit allem drum und dran doch recht bequem.
Hardware alleine alles zusammen kostet sicher 30-40$ und dann hat man probleme das alles korrekte zum laufen zu bekommen.

Ich denke auch, dass das schon ein recht faires Angebot ist, wenn man bedenkt, was bei den etablierten Herstellern so manche Sensoren kosten, die dann auch weniger können - freilich inklusive eigenem garantiert funktionierendem Ökosystem.
Aber die sind ja direkt für HA gebaut/programmiert, ich werde mir wohl einen zum Testen bestellen und dann ggf nach und nach alle meine Zigbee Hue Sensoren austauschen, auch wenn ich es an sich ganz gut finde, dass meine Beleuchtung auch autark von HA funktioniert.