NanoKVM hat durchaus ein par schwachstellen. Aber ich finde die bauschen das in dem video zu extrem auf. Sie gehen im Github comment ja auch darauf ein und wollen die kritischen probleme beheben.
Anhang anzeigen 1093821Anhang anzeigen 1093822
BTW FrameWork PC mit AMD APU und 128GB RAM. Da kannst du 80GB der GPU zuteilen. Nur halt ROCm und recht wenig GPU Leistung.
Also Du bevorzugst zu Arch? Ich glaube damals habe ich mich für Mint entschieden weil es sehr Benutzerfreundlich und einfach zu installieren war. Bin da noch offen und werde mir eure Vorschläge nochmals gegenüberstellen.
=> mir ist wichtig, dass ich einen KI Assistenten aufbauen kann, der auch wirklich nützlich ist. Daher habe ich als Einstieg auf Llama 3 und 70b in q4/bit festgelegt.
Das ganze 70b Modell muss in den VRAM passen.
Also 70GB bei 8bit respektive 35GB bei 4bit. [4bit ist also mein wirtschaftlicher Sweetspot. 2bit ist wohl unbrauchbar.]
1x24GB oder 2x16GB sind leider unter 35GB.
=> ergo brauche ich eine 3090 24GB + eine weitere 3090 24GB oder alternativ
Erweiterung mit einer Nvidia Tesla 24GB.
Ich recherchiere parallel bei Reddit (u.a.
*hier* oder
*hier*). Bin mit Reddit aber noch nicht warm geworden.
Was ich dort gelernt habe ist, dass das nichts mit SLI zu tun hat. Trotzdem muss das Maiboard den Betrieb zweier Grafikkarten oder mehr unterstützen. Hardware- und BIOS-seitig.
Diese Hardware ist bereits vorhanden:
- i5 12600K
- 32GB DDR4-3600 (2*16GB)
- NMVE WD_Black_SN850X 2TB
- Asus Tuf RTX3090 24GB (werde ich morgen testen und ggf. dann kaufen), in ein paar Wochen dann eine zweite, wenn alles passt
-
MSI Pro Z690A (falls es nicht passt für was ich vorhabe, werde ich es austauschen, würde das aber gerne vermeiden)
=>
1x PCIe 5.0 x16,
2x PCIe 3.0 x16 (1x x4, 1x x1)
=> hier muss ich noch rausfinden, ob 2x 3090 laufen werden (nicht als SLI)
Morgen möchte ich erstmal den Build zusammen setzen und Linux auf die NMVE packen
P.S.
Hier hat jemand einen Build mit 2x 3090 + zwei Erweiterungskarten mit 24GB gebaut. Er schreibt, dass er alleine 6 Monate recherchiert hat bis er angefangen hat zu bauen.
So viel Zeit und Geduld habe ich nicht.
