Suchergebnisse

Mal kurz ein ganz anderes Thema: Wollen wir mal einen KI-Laberthread aufmachen ? Finden neue evtl. einfacher. Ich hab aber auch kein Problem das hier laufen zu lassen...

Gemma3:27b hat wohl ein Leak... Wie auch immer das bei LLMs geht...

hab den context erhöht, ja, aber das braucht vram, nicht gpu power... alles soweit original...

da ist die 4090 mit ~37 tps bei mir nicht so viel schneller ;-)

Wie schnell rennt das denn bei dir ? Das ist bei mir brutal langsam ! Auch das 1b ist seeehr langsam. geht hier nur das 27b... Seltsamerweise geht das recht gut ?!?

seh ich das richtig, kann man die stacken ??? also z.b. 2 davon für 4x4x4x4 ?

mit 24GB kommst du schonmal recht weit ...

schöne karte, wahrscheinlich auch angenehm schnell. wenn man es schaffen würde auch die performance aufzuaddieren... dann wären 3 * 4060/16gb genau so teuer aber deutlich besser. wenn halt ... es gibt wohl lösungen und möglichkeiten, aber das ist mir zu viel gebastel gerade. obwohl es sich bei...

mit einer 5070ti/16gb kommst du schon recht weit. damit gehen übliche 14b modelle schon mal. allerdings: wenn du context willst brauchst du wesentlich mehr ram hab ich gelernt :-( 2*16gb sollte, stand momentan, recht gut sein... mir gehen die 24gb aus wenn ich qwq:32b mit >15000 context laufen...

also chatgpt lokal benutzen und einfach mal spielen ;-) wie ich auch... ja, der gedanke passt soweit. ich hatte mir mal die 4060/16gb rausgesucht, und dann gleich ein paar davon. hab den plan nach vortest mit 10 gpus jetzt erstmal wieder verworfen. ich kann dir nen günstigen server anbieten...

Im Prinzip ja. Du kannst GPUs "stacken" (ich hab hier 10 im Server) und dann größere Modelle laufen lassen. Was genau hast du vor ? edit: so ein llama3.2:3b läuft eigentlich schon überall lokal... wie groß solls denn sein ? wobei ich llama erstmal durch qwq ersetzt habe, das ist deutlich...

hab mal gefragt, aber meine frau hat gesagt 50k sind gerade nicht drin :-(

ich tippe eher auf 30-50k

Ja, hab schon mehrere Versuche durch... Bis auf ollama selbst compilieren. Ich hoffe ja noch dass es irgendwann läuft.

Die sind gar nicht mal so langsam... "Wormhole™ n300 performs at up to 466TFLOPS (FP8)." (Zum Vergleich: 4090 = 661 FP8-TFLOPS) Die Teile sind (fast) bezahlbar: n300d = <$1500 ;-) Und die kann man wohl stacken ;-)

Hmm, mein Laptop hat so eine "NPU" eingebaut, seh ich im Taskmanager. Kann man das Teil evtl. für LLMs benutzen ? Die GPU is eine 780m, die wäre ja super, wird aber von ollama nicht unterstützt ("wegen rocm" oder so)...

ne GPU mit so-dimm slots, will ich auch ;-)

ollama run qwq ;-) 1741778578 ah, oh, das meinst du... nein: Kann ich LLMs auf dem HAILO-8 ausführen, bpsw. LLAMA? LLMs = Large Language Modelle (so etwas wie ChatGPT / GPT4-o, bzw. LLAMA, Falcon, usw.) Nein, dafür ist der HAILO-8 nicht ausgelegt. Grafikkarten auf denen diese LLMs...

oder einfach kurz warten, schon gibts ne neue LLM die viel besser ist und weniger RAM braucht... ich hab mal qwq (32b) probiert, ist schon imposant !

Da bin ich ja echt mal gespannt. Vor allem wie sich das Teil gegen Nvidia Digits schlägt...