besterino
Legende
Die Kunst liegt im Prompt (aber selbst dann funktioniert manches trotzdem nicht 
)… ich hab aber null Erfahrung mit den frei verfügbaren Modellen…
)… ich hab aber null Erfahrung mit den frei verfügbaren Modellen…-
Hardwareluxx führt derzeit die Hardware-Umfrage 2025 (mit Gewinnspiel) durch und bittet um eure Stimme.
Neuer AI-Server
- Ersteller tcg
- Erstellt am
Weltherrscher
Enthusiast
- Mitglied seit
- 28.04.2008
- Beiträge
- 954
die kleinen sind fast alle furchtbar, gestern wollte mir gemma3:4b weis machen, 4 * 4 wäre 14...
Also Gemma3:27b ist schon ganz nett, aber haloziniert dann auch wenn es ans Kino-Programm geht 😅
Hier mal mein Low Budget KI-Server:
Basis mein altes NAS Pentium Gold Dual-Core, 16GB RAM auf einem Asroch H570mitx (LGA1200), hätte da gerne einen i5 wenn ich mal einen gebraucht finde. Und das Herzstück eine NVIDIA Tesla P40 mit 24GB VRAM. Vor über einem Jahr noch für 220€ gebraucht bekommen.
Daher passen 27b und auch 32b Modelle komplett in den VRAM und gehen auch sehr flott. Nur muss man aufpassen dass man kein FP16 modell erwischt wie das Mistral 3.1, da ist die Performance unterirdisch und nicht zu gebrauchen. Aber alles in allen hat Home Assistant Voice (mit Piper und Whisper auf einem anderen Server) durch diesen KI-Rechner unseren Kindern eine Geschichte erzählt. Mit Open Webui hab ich ganz gut gechattet.
Anschalten per Wake up on LAN und ausschalten per Script (Schalter) in Home Assistant klapppt Prima ohne zum Rack zu müssen.
Achso ich hab das billigste Gehäuse genommen was es gab^^
Hier mal mein Low Budget KI-Server:
Basis mein altes NAS Pentium Gold Dual-Core, 16GB RAM auf einem Asroch H570mitx (LGA1200), hätte da gerne einen i5 wenn ich mal einen gebraucht finde. Und das Herzstück eine NVIDIA Tesla P40 mit 24GB VRAM. Vor über einem Jahr noch für 220€ gebraucht bekommen.
Daher passen 27b und auch 32b Modelle komplett in den VRAM und gehen auch sehr flott. Nur muss man aufpassen dass man kein FP16 modell erwischt wie das Mistral 3.1, da ist die Performance unterirdisch und nicht zu gebrauchen. Aber alles in allen hat Home Assistant Voice (mit Piper und Whisper auf einem anderen Server) durch diesen KI-Rechner unseren Kindern eine Geschichte erzählt. Mit Open Webui hab ich ganz gut gechattet.
Anschalten per Wake up on LAN und ausschalten per Script (Schalter) in Home Assistant klapppt Prima ohne zum Rack zu müssen.
Achso ich hab das billigste Gehäuse genommen was es gab^^
Ähnliche Themen
