-
-
tcg antwortete auf das Thema Neuer AI-Server.llama3.2 ist etwas komisch. das 3b modell ist wesentlich schneller als 1b. leider ist 70b nicht schneller als 3b ;-) -
tcg antwortete auf das Thema Neuer AI-Server.etwas besser vergleichbar wird es wenn du die "temperatur" auf 0 setzt und am besten den "seed" auch. Dann sollte immer das gleiche raus...
-
-
tcg antwortete auf das Thema Neuer AI-Server.benchen ist mit ollama recht einfach. ollama run <model> "<prompt>" --verbose verbose zeigt am ende eine zusammenfassung 1738663230 Da...
-
tcg antwortete auf das Thema Neuer AI-Server.Du kannst mal "https://ollama.com/library/llama3.2-vision" statt llava versuchen, das erkennt/beschreibt Bilder etwas besser...
-
-
tcg antwortete auf das Thema Neuer AI-Server.Haha, 4090-performance ist weit weg. 1*4090 @ desktop: > ollama run llama3.3:70b "why is the sky blue ?" --verbose -> 1.67...
-
tcg antwortete auf das Thema Neuer AI-Server.ein paar esp32 hab ich hier noch liegen... hmmm... schon mal ganz grob, aber noch nicht im detail. kann der m4 seinen ganzen ram als...
-
tcg antwortete auf das Thema Neuer AI-Server.Ist reine Spielerei (bisher). Ich will einfach mal mehr VRAM haben um auch größere Modelle laufen zu lassen. Scheint aber nicht so zu...
-
tcg antwortete auf das Thema Neuer AI-Server.Ich muss mir langsam mal HA anschauen !
-
tcg antwortete auf das Thema Neuer AI-Server.Hab ich mit auch schon überlegt, ne eigene Alexa... Eigentlich ganz einfach ;-) Ein Mikrofon zum streamen (udp ?) an Whisper.cpp...
-
tcg antwortete auf das Thema Neuer AI-Server.Was genau hast du vor ?!
-
tcg antwortete auf das Thema Neuer AI-Server.Ja klar, die M10 wären jetzt erstmal zum testen wie sich das verhält, dazu hab ich ja auch fast alles hier jetzt. Juhu Weihnachtsurlaub...
-
tcg antwortete auf das Thema Neuer AI-Server.Ich habe gerade gewaltige Probleme mit 24GB VRAM, nichtmal llama3.1:8b läuft noch vernünftig mit großem Context... Je mehr ich gerade...
-
tcg antwortete auf das Thema Neuer AI-Server.Hupsa, mea culpa, Ich blöd nicht AI blöd. Das war mein alter Thread ! Dieser wäre dann: Ich werde die wichtigsten Punkte aus dem...
-
tcg antwortete auf das Thema Neuer AI-Server.Wie oben geschrieben, ich hätte gerne: llama3.3:70b-instruct-q6_K mit 64k context -> 89 GB. Das passt in 6*16 rein. Inclusive einem...
-
-
Laden...
-
Laden...
