-
-
tcg antwortete auf das Thema Neuer AI-Server.Haha, 4090-performance ist weit weg. 1*4090 @ desktop: > ollama run llama3.3:70b "why is the sky blue ?" --verbose -> 1.67... -
tcg antwortete auf das Thema Neuer AI-Server.ein paar esp32 hab ich hier noch liegen... hmmm... schon mal ganz grob, aber noch nicht im detail. kann der m4 seinen ganzen ram als...
-
tcg antwortete auf das Thema Neuer AI-Server.Ist reine Spielerei (bisher). Ich will einfach mal mehr VRAM haben um auch größere Modelle laufen zu lassen. Scheint aber nicht so zu...
-
tcg antwortete auf das Thema Neuer AI-Server.Ich muss mir langsam mal HA anschauen !
-
tcg antwortete auf das Thema Neuer AI-Server.Hab ich mit auch schon überlegt, ne eigene Alexa... Eigentlich ganz einfach ;-) Ein Mikrofon zum streamen (udp ?) an Whisper.cpp...
-
tcg antwortete auf das Thema Neuer AI-Server.Was genau hast du vor ?!
-
tcg antwortete auf das Thema Neuer AI-Server.Ja klar, die M10 wären jetzt erstmal zum testen wie sich das verhält, dazu hab ich ja auch fast alles hier jetzt. Juhu Weihnachtsurlaub...
-
tcg antwortete auf das Thema Neuer AI-Server.Ich habe gerade gewaltige Probleme mit 24GB VRAM, nichtmal llama3.1:8b läuft noch vernünftig mit großem Context... Je mehr ich gerade...
-
tcg antwortete auf das Thema Neuer AI-Server.Hupsa, mea culpa, Ich blöd nicht AI blöd. Das war mein alter Thread ! Dieser wäre dann: Ich werde die wichtigsten Punkte aus dem...
-
tcg antwortete auf das Thema Neuer AI-Server.Wie oben geschrieben, ich hätte gerne: llama3.3:70b-instruct-q6_K mit 64k context -> 89 GB. Das passt in 6*16 rein. Inclusive einem...
-
tcg antwortete auf das Thema Neuer AI-Server.Dafür hab ich ja die 4090 im Desktop ;-) Ich weiss nicht wie Stable Diffusion skaliert, kann ich ja mal dann mal testen. ("dann" ist...
-
tcg antwortete auf das Thema Neuer AI-Server.Werden wir bald wissen... Ich teste das dann mal... Jetzt hoffe ich dass die RTX 5000 bald rauskommen, dann werden die 4060 hoffentlich...
-
tcg antwortete auf das Thema Neuer AI-Server.Ich denke nicht... Soweit ich es verstanden habe bekommt jede GPU ihr eigenes Päckchen (die unterschiedlich sind). Sonst könnte man ja...
-
tcg antwortete auf das Thema Neuer AI-Server.Board hab ich ja schon ;-) Und 2 M10 liegen hier noch rum... Eine M10 ist ja schon "4 in 1". Das sind dann fürs System 8 GPUs, aber halt...
-
tcg antwortete auf das Thema Neuer AI-Server.danke, ich schau mal... den kenn ich, aber nicht dieses video. edit: Netzteil sollte reichen, 1800W (80 Plus Platinum), ist ein...
-
-
Laden...
-
Laden...