tcg

Mal kurz ein ganz anderes Thema: Wollen wir mal einen KI-Laberthread aufmachen ? Finden neue evtl. einfacher. Ich hab aber auch kein...

Gemma3:27b hat wohl ein Leak... Wie auch immer das bei LLMs geht...

hab den context erhöht, ja, aber das braucht vram, nicht gpu power... alles soweit original...

da ist die 4090 mit ~37 tps bei mir nicht so viel schneller ;-)

Wie schnell rennt das denn bei dir ? Das ist bei mir brutal langsam ! Auch das 1b ist seeehr langsam. geht hier nur das 27b...

seh ich das richtig, kann man die stacken ??? also z.b. 2 davon für 4x4x4x4 ?

mit 24GB kommst du schonmal recht weit ...

schöne karte, wahrscheinlich auch angenehm schnell. wenn man es schaffen würde auch die performance aufzuaddieren... dann wären 3 *...

mit einer 5070ti/16gb kommst du schon recht weit. damit gehen übliche 14b modelle schon mal. allerdings: wenn du context willst brauchst...

also chatgpt lokal benutzen und einfach mal spielen ;-) wie ich auch... ja, der gedanke passt soweit. ich hatte mir mal die 4060/16gb...

Im Prinzip ja. Du kannst GPUs "stacken" (ich hab hier 10 im Server) und dann größere Modelle laufen lassen. Was genau hast du vor ...

hab mal gefragt, aber meine frau hat gesagt 50k sind gerade nicht drin :-(

ich tippe eher auf 30-50k

Ja, hab schon mehrere Versuche durch... Bis auf ollama selbst compilieren. Ich hoffe ja noch dass es irgendwann läuft.

Die sind gar nicht mal so langsam... "Wormhole™ n300 performs at up to 466TFLOPS (FP8)." (Zum Vergleich: 4090 = 661 FP8-TFLOPS) Die...