[Kaufberatung] Local AI Computer PC/Server [Anfänger]

Doch, das geht. Dafür gibt es das "ATX Power Control Board", kostet 10$ extra.
Vielen Dank werde ich mir auch ansehen.

EDIT:
Was müsste ich anklicken? Bräuchte ich 1 oder 2 ? + das "ATX Power Control Board"?

Lasst die Distro-Wars beginnen. :LOL:
Ich nutze Arch btw. :ROFLMAO:
Den Kommentar verstehe ich nicht? 🫣 Spricht etwas gegen Linux Mint oder gegen EndeavoursOS KDE?


P.S.
Kann man nicht einen fertigen AI-Server mit 2-3 GPUs mit je 24GB kaufen? Linux + AI vorinstalliert?? :d :hail:
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Was müsste ich anklicken? Bräuchte ich 1 oder 2 ? + das "ATX Power Control Board"?
https://www.kickstarter.com/projects/jetkvm/jetkvm/pledge/new?clicked_reward=false
Ich habe keine Ahnung, ich habe auch Schwierigkeiten, aus der Kickstarter-Seite schlau zu werden.

Den Kommentar verstehe ich nicht? 🫣 Spricht etwas gegen Linux Mint oder gegen EndeavoursOS KDE?
Musst du auch nicht verstehen. 😉
Probiere einfach aus, was dir besser gefällt. Beides sind beliebte Distros. Je nach Vorlieben/Anwendungsfall können beide eine sinnvolle Wahl sein.
 
NanoKVM hat durchaus ein par schwachstellen. Aber ich finde die bauschen das in dem video zu extrem auf. Sie gehen im Github comment ja auch darauf ein und wollen die kritischen probleme beheben.


Den Kommentar verstehe ich nicht?
arch-bathroom.jpegimg_1_1743203294884.jpg



P.S.
Kann man nicht einen fertigen AI-Server mit 2-3 GPUs mit je 24GB kaufen? Linux + AI vorinstalliert?? :d :hail:
Und dann?
Software musst du ja immer noch auswählen WAS genau du laufen haben willst. Und genau da unterscheiden sich die Hardware Anforderungen ja wieder...

BTW FrameWork PC mit AMD APU und 128GB RAM. Da kannst du 80GB der GPU zuteilen. Nur halt ROCm und recht wenig GPU Leistung.
 
NanoKVM hat durchaus ein par schwachstellen. Aber ich finde die bauschen das in dem video zu extrem auf. Sie gehen im Github comment ja auch darauf ein und wollen die kritischen probleme beheben.

Anhang anzeigen 1093821Anhang anzeigen 1093822

BTW FrameWork PC mit AMD APU und 128GB RAM. Da kannst du 80GB der GPU zuteilen. Nur halt ROCm und recht wenig GPU Leistung.

Also Du bevorzugst zu Arch? Ich glaube damals habe ich mich für Mint entschieden weil es sehr Benutzerfreundlich und einfach zu installieren war. Bin da noch offen und werde mir eure Vorschläge nochmals gegenüberstellen.
=> mir ist wichtig, dass ich einen KI Assistenten aufbauen kann, der auch wirklich nützlich ist. Daher habe ich als Einstieg auf Llama 3 und 70b in q4/bit festgelegt.


Das ganze 70b Modell muss in den VRAM passen.
Also 70GB bei 8bit respektive 35GB bei 4bit. [4bit ist also mein wirtschaftlicher Sweetspot. 2bit ist wohl unbrauchbar.]
1x24GB oder 2x16GB sind leider unter 35GB.
=> ergo brauche ich eine 3090 24GB + eine weitere 3090 24GB oder alternativ Erweiterung mit einer Nvidia Tesla 24GB.


Ich recherchiere parallel bei Reddit (u.a. *hier* oder *hier*). Bin mit Reddit aber noch nicht warm geworden.
Was ich dort gelernt habe ist, dass das nichts mit SLI zu tun hat. Trotzdem muss das Maiboard den Betrieb zweier Grafikkarten oder mehr unterstützen. Hardware- und BIOS-seitig.

Diese Hardware ist bereits vorhanden:
- i5 12600K
- 32GB DDR4-3600 (2*16GB)
- NMVE WD_Black_SN850X 2TB
- Asus Tuf RTX3090 24GB (werde ich morgen testen und ggf. dann kaufen), in ein paar Wochen dann eine zweite, wenn alles passt
- MSI Pro Z690A (falls es nicht passt für was ich vorhabe, werde ich es austauschen, würde das aber gerne vermeiden)
=> 1x PCIe 5.0 x16, 2x PCIe 3.0 x16 (1x x4, 1x x1)
=> hier muss ich noch rausfinden, ob 2x 3090 laufen werden (nicht als SLI)

Morgen möchte ich erstmal den Build zusammen setzen und Linux auf die NMVE packen


P.S.
Hier hat jemand einen Build mit 2x 3090 + zwei Erweiterungskarten mit 24GB gebaut. Er schreibt, dass er alleine 6 Monate recherchiert hat bis er angefangen hat zu bauen. :fresse: So viel Zeit und Geduld habe ich nicht.
 
=> mir ist wichtig, dass ich einen KI Assistenten aufbauen kann, der auch wirklich nützlich ist. Daher habe ich als Einstieg auf Llama 3 und 70b in q4/bit festgelegt.
Wenn du dann die hardware hast und alles läuft must du ja NUR noch die Software konfigurieren damit es läuft.
Das mit dem nützlich stellt sich dann heraus.
 
Habe gerade eine Asus RTX 3090 Tuf Gaming OC 24GB abgeholt mit vorherigem Testen in mehren Benchmarks. Bin immer wieder positiv überrascht, dass es doch noch anständige und ehrliche Menschen gibt.

Dann werde ich mir nochmal die Linux-Version ansehen mit Blick auf Kompatibilitäten etc.

Wenn du dann die hardware hast und alles läuft must du ja NUR noch die Software konfigurieren damit es läuft.
Das mit dem nützlich stellt sich dann heraus.
Was sollte denn nicht gehen? Oder warum sollte es nicht nützlich sein?
 
Es wird sehr bald Laptops/Mini PCs mit den neuen Ryzen APUs geben (Ryzen AI MAX). Da kann man den VRAM Recht ueppig zuweisen (geht imho bis 96GB). Glaube da bekommt man recht viel Power zum Crunchen fuers Geld. Vllt ne valide Option im vgl zu den ueberzogenen Gpu Preisen da draussen.
 
Es wird sehr bald Laptops/Mini PCs mit den neuen Ryzen APUs geben (Ryzen AI MAX). Da kann man den VRAM Recht ueppig zuweisen (geht imho bis 96GB). Glaube da bekommt man recht viel Power zum Crunchen fuers Geld. Vllt ne valide Option im vgl zu den ueberzogenen Gpu Preisen da draussen.

Danke Dir! Das geht dann in Richtung, was Haldi in Post #33 schrieb?

Finde ich sehr spannend! Allerdings, zwei Dinge zu ROC.

1) Habe gelesen, dass das für Anfänger eher nichts ist. Eher für Fortgeschrittene und Profis. Und 2) geht mit AMD aktuell kein Machine Learning?



ZelA1874 hat auch so etwas in einem Nachbarthread erwähnt.
1743345271757.png

@ZelA1874 ,
wie lange dauert denn z.B. ein 70b Modell in q4 / 4ibt? Hast Du so etwas probiert?



Die Hardware habe ich soweit zusammen. Aktuell erstmal nur eine Asus Tuf 3090.
Wird dann noch durch eine zweite Asus Tuf 3090 oder eine Nvidia Testla K80 24GB erweitert.
1743341214790.png
 
Zuletzt bearbeitet:
Überleg dfir das mit der K80 gut, ich trau mich wetten, dass das so nicht läuft.
Das wiederspricht jeder Logik, dass das zusammen mit ner 3090 irgendwie sinnvoll laufen soll.

Nachtrag:
Ich hab das ja schon vorhin erläutert, warum ich glaube, dass das nicht gehen kann.
Von Graka zu Graka ist es viel langsamer als vom RAM zur Graka, und wenn das schon zu langsam ist... wie soll das gehn?
Auch ist es nicht möglich da Rechenleistung sinnvoll aufzuteilen, wie schnell soll so ein K80 Dino aus 2015 sein gegenüber einer 3090?

Das ist zu 100% verschwendetes Geld, jede Wette.

 
Zuletzt bearbeitet:
Überleg dfir das mit der K80 gut, ich trau mich wetten, dass das so nicht läuft.
Das wiederspricht jeder Logik, dass das zusammen mit ner 3090 irgendwie sinnvoll laufen soll.

Nachtrag:
Ich hab das ja schon vorhin erläutert, warum ich glaube, dass das nicht gehen kann.
Von Graka zu Graka ist es viel langsamer als vom RAM zur Graka, und wenn das schon zu langsam ist... wie soll das gehn?
Auch ist es nicht möglich da Rechenleistung sinnvoll aufzuteilen, wie schnell soll so ein K80 Dino aus 2015 sein gegenüber einer 3090?

Das ist zu 100% verschwendetes Geld, jede Wette.

Danke Dir, ich fürchte auch. Es läuft wohl auf eine zweite 3090 Asus Tuf hinaus. Ich werde jetzt aber erstmal mit einer starten und versuchen das Projekt zum laufen zu bringen.

Falls die neuartigen CPUs mit Nutzung des Arbeitsspeichers anstelle des VRAMs genau so schnell verarbeiten, wäre dann irgendwann auch ein Plattformwechsel denkbar. Aber eins nach dem anderen. :)
 
Die Linux-Varianten scheinen nach der Installation alle auf's gleiche rauszukommen. Und wenn man Arch hat, kann man ganz cool sagen "ich habe Arch". :fresse: Arch habe ich gerade mal runter geladen und werde morgen mit dem Zusammenbau und der Installation beginnen. :coffee2:


Folgende Konfiguration wurde mir empfohlen, da mein MSI Pro Z690 A nicht für zwei GPUs x8/x8 ausgelegt ist.
1743372439081.png

Damit kann ich später auch auf 3 GPUs umrüsten. Schade, dass auf meinem Mainboard nur eine GPU läuft. Da kommen dann natürlich wieder neue Kosten auf mich zu, die ich perspektivisch für die zwei 3090 zurücklegen wolllte. Aber dann weiß ich wenigstens Bescheid.


Wenn die lokale KI annähernd so gut wie Chatgpt funktionieren soll, dann kommt man an 70b nicht herum.


EDIT Update:
Ich fange erstmal mit 1-2 RTX 3090 an und nutze was ich habe, Sprich den 12600K, den DDR4 32GB. RTX 3090 ist gekauft und die WD-Black NVMe auch.

Fehlt nur ein Mainboards, welches die zwei RTX 3090 unterstützt.

1743519174208.png
 

Anhänge

  • 1743436779570.png
    1743436779570.png
    36,7 KB · Aufrufe: 21
Zuletzt bearbeitet:
Warum soll dein MSI das nicht können? Täts erstmal probieren, obs läuft mit der Graka im PCIe Chipsatz Slot...
 
Laut KI sollte wenigstens x8 / x8 laufen für ein 70b Modell in 4bit. ^^

Ich denke, ich werde wirklich mal erst mit dem vorhanden Anfangen. Bis die zweite 3090 kommt dauert eh noch 3-4 Wochen. Momentan habe ich werde mehr um die Ohren, weshalb ich das wohl auf Freitag schieben muss.
 
Blabla, laut KI, teste mal.
Bei SD machts keinen Unterschied, been there, done that, die Daten werden 1x von der SSD in den VRAM geladen und das wars.

Ich weiss nur nicht ob Grakas nur auf CPU Lanes oder eh auch auf PCIe Lanes laufen. Probierst es halt.
 
Bei mehreren GPUs spielt auch die CPU Rolle. Aber ich habe auch gedacht, ich fange erstmal an mit einer 3090. Und ich teste erst mit der zweiten 3090 auf dem vorhandenen MSI Board. Dein Post hat mich nochmals bestätigt! :)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh