[Kaufberatung] Local AI Computer PC/Server [Anfänger]

[KAI 3dfx]

Hallo zusammen,

ich habe bisher nur die öffentlich zugänglichen Online AI-Chat-Plattformen genutzt und möchte mich nun intensiv und lokal (privat/anonym/sicher) mit AI beschäftigen.

Die Idee ist noch variable, daher bin ich für jeden kreativen Inpunt dankbar.

Frage 1) Rechner direkt nutzen Zuhause/im Hotel oder Rechner indirekt als Server nutzen

-Der Lokal AI Rechner soll zu Hause und ggf. auf Dienstreisen (im Hotel) genutzt werden. Evtl. auch als Server von zu Hause und ich nutze einen Laptop um auf den Home AI Rechner zuzugreifen. => auch hier gerne eure Meinung einbringen was sinnvoll(er) sein könnte respektive Pro-/Contra-Punkte.


Frage 2) AI Rechner Zusammenstellung

2a) Falls ich den Rechner als Server nutze könnte ich erstmal bei meinem Haupt-PC bleiben (i5 12600K, 32GB DDR4, NT: NZXT C1200, 2TB NMVE, Th Core P8) und nur die GPU ergänzen


2b) Falls ich bei der direkten Nutzung bleibe (inklusive Nutzung von unterwegs/Hotel), würde ich ein kleines mATX-Build erwägen

Was habe ich noch hier, was man nutzen könnte.
Mainboards
- MSI Pro Z690 A DDR4 dazu 2x DDR4-3600 16GB (32GB gesamt)
- GIGABYTE B760 DS3H DDR4 dazu 4x DDR4-3200 8GB (32GB gesamt)
CPUs
- Intel i5 12600K ohne Kühler
- Intel i5 12400F mit Boxed Kühler
Netzteil
- Seasonic Prime TX750 (effizient auch unter 10% Last)


Meine Überlegung
- kompaktes mATX-Gehäuse evtl. mit Griff
-. CPU: eine der beiden vorhandenen?
- RAM: 2x 16GB DDR4-3600 siehe oben oder lieber erweitern auf 4x 16GBDDR4 oder ersetzen durch 2x 32GB DDR4
- Mainboard wird dann wohl keins mehr passen, gerne was günstiges,
=> evtl. jedoch Möglichkeit für zwei GPUs (z.B. 2x 5070TI) oder ich muss die 5070TI für mehr VRAM später gegen eine "5080 24GB" tauschen (falls sowas geluncht wird)
- Netzteil: vorhandenes Seasonic TX
- Festplatte 2TB NMVE
- Grafikkarte: günstige RTX 5070TI 16GB unter 300mm (bzw. je nach Gehäuse)
(700€ für eine gebrauchte 3090 24GB ist mir zu riskant und 4090/5090 viel zu teuer)
- Monitor (alter 1080p-Monitor vom Dachboden mit DP)

Ich denke, da sind Punkte dabei, die wahrscheinlich so nicht umsetzbar sind, aber dann würde ich mich über Hinweise und Lösungsansätze freuen.

Jeder Input hilft!

 

[pwnbert]

=> evtl. jedoch Möglichkeit für zwei GPUs (z.B. 2x 5070TI) oder ich muss die 5070TI für mehr VRAM später gegen eine "5080 24GB" tauschen (falls sowas geluncht wird)

Zwei GPUs werden dir höchstwahrscheinlich nix bringen, da sich der Speicher ja nicht addiert bei so einer klassischen SLI-Anwendung (jaja, gibts nimmer, aber das Prinzip).
Du brauchst ja das ganze Modell im VRAM, wenns wahr ist.

- Grafikkarte: günstige RTX 5070TI 16GB unter 300mm (bzw. je nach Gehäuse)
(700€ für eine gebrauchte 3090 24GB ist mir zu riskant und 4090/5090 viel zu teuer)

Jo, kann man machen, alternativ ne XTX, wenn die sinnvoll unterstützt wird.

12600K + 5070Ti + DDR4 ist imho okay zum beginnen.


Wsl. ist die Verwendung als Server daheim per Remote sinnvoller.

 

[KAI 3dfx]

Zwei GPUs werden dir höchstwahrscheinlich nix bringen, da sich der Speicher ja nicht addiert bei so einer klassischen SLI-Anwendung (jaja, gibts nimmer, aber das Prinzip).
Du brauchst ja das ganze Modell im VRAM, wenns wahr ist.

Danke! Den Punkt mit Sli hatte ich auch gelesen. Andererseits berichte Leute bei Reddit dass sie mit Llama 2/3 2x3060 12GB oder 2x4060TI 16GB erfolgreich arbeiten. Wobei von letztere wegen der Lane-Anbindung oft auch abgeraten wird.
Ich habe das selbst keinerlei Erfahrung.

Jo, kann man machen, alternativ ne XTX, wenn die sinnvoll unterstützt wird.

12600K + 5070Ti + DDR4 ist imho okay zum beginnen.

Die 7900XTX wäre natürlich ein Traum. Allerdings habe ich mir sagen lassen, dass man als Einsteiger erstmal bei Cuda bleiben solle. Ich habe noch keinerlei Erfahrung damit. Und maschinelles Learning ist wohl aktuell auch nur mit RTX-Karten möglich. Für die Zukunft (denke AMD wird auch da aufholen) werde ich mir die Radeons als Option offen lassen. Schade dass Nvidia selbst bei der 5080 so mit dem VRAM geizt. Wahrscheinlich wollen die Ihrer Verkaufszahlen der Server-Karten schützen.

Wsl. ist die Verwendung als Server daheim per Remote sinnvoller.

Danke für die Einschätzung! Da müsste ich dann auch auf die Effizenz achten. Oder jemand in meinem Haushalt müsste mir abends einfach den Rechner einschalten, damit ich zugreifen kann.

Dann müsste ich mich auch mit entsprechenden Programmen beschäftigen, um so einen Remote-Zugriff möglich zu machen.

 

[pwnbert]

Wobei von letztere wegen der Lane-Anbindung oft auch abgeraten wird.

Glaub ich nicht. Hab Stable Diffusion schon mal mit wenigen Lanes getestet, 0 Unterschied. Betrifft eigentlich nur das Laden der Models von der SSD in die Graka (außer, du lässt es im RAM wegen Model-Wechsel), dann bleibt das eh im VRAM.
Vllt. ists bei anderen Sachen, z.B. llama anders, glaub aber nicht. Musst dir halt ansehen, wie das läuft.

Gibt aber nur wenige Bretter, die das Unterstützen. Asus Pro Art kann das, Asrock TaiChi imho auch... musst schauen, welche x8/x8 können mit 2 sinnvoll platzierten Slots.
Imho ist 1x 5090 > 2x 5070Ti (wenns denn funktioniert).

Danke für die Einschätzung! Da müsste ich dann auch auf die Effizenz achten.

Angesichts der Investitionskosten ist der idle-Verbrauch vernachlässigbar. So ein i5 System mit bissl M.2 SSD braucht dir brauchbar eingestellt keine 20W im idle, soll die ganze Kiste meinentwegen 50W brauchen, ist das immer noch nix.

Oder jemand in meinem Haushalt müsste mir abends einfach den Rechner einschalten, damit ich zugreifen kann.

NanoKVM / JetKVM, NanoKVM geht lokal super, remote hab ich mich damit nicht beschäftigt, sollte aber gehen. Kostet auch "fast nix" (70€).

Alternativ per Shelly-Steckdose und Home-Assistant. Im Bios kannst einstellen, was nach Spannungsausfall geschehen soll... ob er abgedreht bleiben soll, den vorherigen Zustand einnehmen soll oder aufdrehen soll. Stellst auf aufdrehen und fertig ist der Zauber, musst nur deine Funksteckdose ab- und aufdrehen.
Kannst vorher mit ner Verlängerungsdose und Schalter probieren, ob dein PC/Bios sich entsprechend verhält.


Die Sache ist eh viel mehr eine Software-Geschichte als eine Hardware-Geschichte.
Die guten Grakas mögen zwar teuer sein, aber die XX Stunden Arbeits- und Lernzeit sind ein anderes Thema. Da musst schon etwas Eigenleistung einbringen.

Beitrag automatisch zusammengeführt: Mittwoch um 12:49

Nachtrag:

Nimm das Z-Mainboard mit der CPU mit iGPU, stell im Bios die primäre Bildausgabe auf die iGPU, so dass du die Grafikkarte gar nicht benutzt.

Ich verwend SD momentan am Desktop im "normalen Rechner" ohne iGPU, wenn du währenddessen irgendwas Hardwarebeschleunigtes machst ist das immer so ne Sache.

 

[KAI 3dfx]

Vielen Dank! Damit hast Du mir schon sehr geholfen. Habe mir gerade ein Video zum NanoKVM angesehen. Das ist ja wirklich genial.

Als nutze ich erstmal meinen vorhanden PC (12600K+32GB+5070TI).
Wenn ich merke ich brauche mehr Leistung, rüste ich a) die GPU auf und b) den Arbeitsspeicher. Oder sollte ich direkt den Arbeitsspeicher erhöhen?

Ich muss also folgendes beschaffen:
- 5070TI MSI Ventus 16GB => *sehr effizient*
- Evtl. RAM
- zusätzliche NVME 2TB für Linux für das AI-Projekt (oder gäbe es Gründe die dringend für 4TB sprächen?)
- Laptop mit Linux für Remotzugriff (muss der etwas besonders können oder darf der recht günstig sein?)
-Nano KVM

Ja, ich denke das wird mich viele Stunden mit der Einrichtung kosten und dann Llama 3. Daher wäre es eben gut, wenn ich die vielen Hotelabende auch effektiv nutze.

Edit:
erstmal nur 5070TI + NMVE 2TB/4TB

 

[pwnbert]

Oder sollte ich direkt den Arbeitsspeicher erhöhen?

Ich denke 32 reichen erstmal. Je nach dem wie das alles genau funktioniert (ich hab ja keine Ahnung im Detail) müsste das so funktionieren.

(oder gäbe es Gründe die dringend für 4TB sprächen?)

M.2 Plätze sind eher rar, die Dateien werden nicht kleiner und mit ner größeren SSD fängst du später irgendwie auch mehr an.
Kannst abhängig machen vom Angebot... z.B. 2 tb SN850X für 130€ kann man ihmo bedenkenlos kaufen (oder halt KC3000 / Fury Renegade, die hätten mehr TBW). Sollte erstmal reichen und auch in 2 Jahren noch nicht nutzlos sein (was macht man heute z.B. noch mit ner 500gb SATA SSD... ne 2/4tb kann man auch heute noch gut nutzen).

- Laptop mit Linux für Remotzugriff (muss der etwas besonders können oder darf der recht günstig sein?)

Kein Plan, das ganze Remote-Zeug hab ich auf der ToDo Liste für die Zukunft... kA ob ichs dort hin schaff.
Rust Desk kannst dir mal ansehen, das hab ich im Kopf "hinterlegt" zu dem Thema.


Für den reinen Test kannst dir ja mal bei Kumpels irgend ein altes Notebook ausborgen, wenns nur mit Linux laufen soll (ich finde das neue KDE Plasma 6 toll) reicht dir höchstwahrscheinlich irgend ein "Core i3/5" ab der ersten Generation mit 4gb RAM, irgend ne alte SATA SSD rein (120gb tuns erstmal) und fertig ist der Versuchsrechner.

Beitrag automatisch zusammengeführt: Mittwoch um 13:36

Daher wäre es eben gut, wenn ich die vielen Hotelabende auch effektiv nutze.

Ah, das ist die Motivation, ich verstehe.
Naja, zum PC brauchst du im Hotel ja auch noch einen Monitor, was die Sache recht unpraktisch macht, wenn du da immer alles reinschleppen musst. Ich weiss ja nicht, ob du immer nur 1-2 Nächte in einem Hotel bist, oder ob du dort gleich für 3 Wochen bleibst.

Wenn du einen modernen Laptop mit Thunderbolt hast, gibts noch die Möglichkeit für diese eGPU Gehäuse.

Testing The Limits Of The Cooler Master EG200 eGPU Enclosure - PC Perspective

Testing The Limits Of The Cooler Master EG200 eGPU Enclosure The Cooler Master EG200 is a 383 x 140 x 208mm box with three USB 3.2 Gen 1 Type-A out, a USB

pcper.com

https://www.amazon.de/Cooler-Master-EG200-Geh%C3%A4use-Desktop-PCIe-Grafikkarten-Gold-Netzteil/dp/B08TM5YN81

Inwiefern das sinnvoll ist und funktioniert ist ne andere Sache.

Beitrag automatisch zusammengeführt: Mittwoch um 13:38

Nachtrag:

Aber du kannst ja einfach mal einen NanoKVM kaufen und probieren den so einzurichten, dass du remote damit grundlegend arbeiten kannst, dann kannst du selbst ins Bios und eigentlich alles machen, wofür man das Gehäuse nicht öffnen muss.

Den Rest kannst dann von unterwegs machen. Inwiefern der NanoKVM remote noch ein brauchbares Bild / Latenz liefert, hängt halt auch von den Internetanschlüssen ab, müsste man einfach ausprobieren.

 

[KAI 3dfx]

Ich denke 32 reichen erstmal. Je nach dem wie das alles genau funktioniert (ich hab ja keine Ahnung im Detail) müsste das so funktionieren.

Danke, habe ich erstmal oben im Post angepasst.

M.2 Plätze sind eher rar, die Dateien werden nicht kleiner und mit ner größeren SSD fängst du später irgendwie auch mehr an.
Kannst abhängig machen vom Angebot... z.B. 2 tb SN850X für 130€ kann man ihmo bedenkenlos kaufen (oder halt KC3000 / Fury Renegade, die hätten mehr TBW). Sollte erstmal reichen und auch in 2 Jahren noch nicht nutzlos sein (was macht man heute z.B. noch mit ner 500gb SATA SSD... ne 2/4tb kann man auch heute noch gut nutzen).

Ja eigentlich macht 4TB direkt mehr Sinn. Habe gerade so viele ungeplante Ausgaben, weshalb ich noch etwas überlege. Evtl. bekomme ich die 5070TI günstiger, dann wirds direkt 4TB. Heute hatte jemand hier ne 5070TI für 935€ geschossen.

Ah, das ist die Motivation, ich verstehe.
Naja, zum PC brauchst du im Hotel ja auch noch einen Monitor, was die Sache recht unpraktisch macht, wenn du da immer alles reinschleppen musst. Ich weiss ja nicht, ob du immer nur 1-2 Nächte in einem Hotel bist, oder ob du dort gleich für 3 Wochen bleibst.

Wenn du einen modernen Laptop mit Thunderbolt hast, gibts noch die Möglichkeit für diese eGPU Gehäuse.

Testing The Limits Of The Cooler Master EG200 eGPU Enclosure - PC Perspective

Testing The Limits Of The Cooler Master EG200 eGPU Enclosure The Cooler Master EG200 is a 383 x 140 x 208mm box with three USB 3.2 Gen 1 Type-A out, a USB

pcper.com

https://www.amazon.de/Cooler-Master-EG200-Geh%C3%A4use-Desktop-PCIe-Grafikkarten-Gold-Netzteil/dp/B08TM5YN81

Die Idee, den Rechner mit zunehmen war eigentlich nichts -das muss ich mir ehrlich eingestehen. Die Idee mit der externen PCIe-Einheit ist auch nicht schlecht.

Allerdings hast Du recht, dass ich erstmal einen vorhanden Laptop zum Probieren nutze. Sprich mit dem Nano-KVM. Das scheint mir eine gute Lösung zu sein.

Die Internetverbindung in den meisten Hotels ist recht brauchbar. Insbesondere bei den größeren Ketten. Wobei ich auch immer gerne die kleinen familiengeführten Hotels unterstütz habe -während Corona haben leider einige geschlossen.

 

[Haldi]

oder gäbe es Gründe die dringend für 4TB sprächen?)

Die begrenzten M2 Slots . irgendwan hast du 3x 2TB platten und benötigst mehr. Dann kaufst du dir eine 4TB und hast trotzdem nur 2 TB mehr. Das ist nicht mehr so wie mit Sata platten die man unendlich im Gehäuse verstecken konnte...
Das haben sie gefickt eingeschädelt die OEMs....

Laptop mit Linux für Remotzugriff (muss der etwas besonders können oder darf der recht günstig sein?)

Ein 80€ Android Tablet reicht bereits. Dazu eine 15€ Bluetooth Tastatur und Maus.
Wenn du via RDP/VNC oder Rustdesk(Besseres Temviewer da Open Source) darauf zugreifst hat das gerät gerade mal die Last den VideoStream zu decoden. Also 0.
Alternativ kannst du via NanoKVM auch über Wireguard verbinden (oder dir Wireguard auf dem PC direkt installieren.) wenn du kein Bock auf Port Forwarding oder DDNS Hast kannst du dir auch Tailscale (oder Opensource Alternative Netbird) angucken.
Dann bist du im gleichen Netz wie zuhause und kannst via Ollama und OpenWebUi einfach über den Browser des Laptops auf die KI machine zugreifen.
Wenn das Gerät den Browser flüssig darstellen kann dann hat es keine Performance Probleme.

5070TI MSI Ventus 16GB => *sehr effizient*

Na wenn du das sagst...
Ich würde mir den überteuerten Schrott nicht kaufen.

Die Internetverbindung in den meisten Hotels ist recht brauchbar.

Für Remote Desktop 1080p reichen sogar 5-10Mbits.

 

[KAI 3dfx]

Die begrenzten M2 Slots . irgendwan hast du 3x 2TB platten und benötigst mehr. Dann kaufst du dir eine 4TB und hast trotzdem nur 2 TB mehr. Das ist nicht mehr so wie mit Sata platten die man unendlich im Gehäuse verstecken konnte...
Das haben sie gefickt eingeschädelt die OEMs....

Ja, ihr habt ja recht. Ich werd's mir überlegen.

Ein 80€ Android Tablet reicht bereits. Dazu eine 15€ Bluetooth Tastatur und Maus.
Wenn du via RDP/VNC oder Rustdesk(Besseres Temviewer da Open Source) darauf zugreifst hat das gerät gerade mal die Last den VideoStream zu decoden. Also 0.
Alternativ kannst du via NanoKVM auch über Wireguard verbinden (oder dir Wireguard auf dem PC direkt installieren.) wenn du kein Bock auf Port Forwarding oder DDNS Hast kannst du dir auch Tailscale (oder Opensource Alternative Netbird) angucken.
Dann bist du im gleichen Netz wie zuhause und kannst via Ollama und OpenWebUi einfach über den Browser des Laptops auf die KI machine zugreifen.
Wenn das Gerät den Browser flüssig darstellen kann dann hat es keine Performance Probleme.

Da hast Du jetzt mehrere Dinge gebracht, die ich morgen in Ruhe nachlesen muss. Dann gebe ich nochmal richtige Rückmeldung. Vielen Dank!

Na wenn du das sagst...
Ich würde mir den überteuerten Schrott nicht kaufen.

Ich bin gerne offen für Alternativen! 16GB oder mehr, Cuda-fähig. Da sind doch nur 4070TI S, 5070TI und dann wird's noch teurer. Mehr wie 1000-1100€ wollte ich für die GPU erstmal nicht hinlegen.
Die 7900XTX 24GB wäre ja gut, aber die kann kein Cuda. Als Anfänger wurde mir abgeraten Local AI mit AMD-Karte (ROC?) zubeginnen.
Ich hatet erst überlegt für ~650-700€ ne gebrauchte 3090 24GB zubesorgen. Aber dann habe ich wieder von Abstand genommen. Wenn's ne Mining-Karte ist und nach 6 Monate hops.. na dann Prost.

Für Remote Desktop 1080p reichen sogar 5-10Mbits.

Ok, dann reicht wahrscheinlich mein Telekom-Handy als Modem.

 

[Haldi]

Wenn's ne Mining-Karte ist und nach 6 Monate hops.. na dann Prost.

Mining wurde vor Jahren von der GPU entfernt weil es ASIC miner gab die viel effizienter waren.
Wer jetzt noch auf GPUs mined dann nur weil er die Gaming GPU nebenbei nicht stillstehen lassen will und der Strom günstig ist. Die chance an so eine zu gelangen ist minim.

Zumal die meisten miner ihre Grakas undervolten und underclocken damit sie effizienter laufen. Die meisten Mining Grakas leben also länger als Gamer Grakas weil diese einfach konstant bei guter Kühlung laufen. Im Vergleich zu denen die jeden tag 5-10x von 40°C auf 80°C gequält werden.

 

[KAI 3dfx]

Also hast Du auch an die 3090 gedacht?

Ich hätte gerne eine gebrauchte Karte, die max. 1-2 Std./Tag gelaufen ist. 5-10Std. zocken pro Tag? Da möchte ich wirklich kein Geld mehr reinstecken.

Ich denke trotzdem nochmal drüber nach. Danke Dir für den Input!

 

[pwnbert]

Ja, ihr habt ja recht. Ich werd's mir überlegen.

Wobei 2tb sind schon okay, wenn man so Home-Server Kram macht, braucht man eh bald mehr Platten. Viel mehr. Lol.
Aber kauf ne KC3000 oder Fury Renegade, die haben viel mehr TBW, egal ob du nun 2tb oder 4tb nimmst.
@LinuX sind 2tb schon was. 1tb würd ich halt nimmer nehmen... 2 sind okay. 4 natürlich besser.

ch hatet erst überlegt für ~650-700€ ne gebrauchte 3090 24GB zubesorgen.

Würd ich auch nicht machen.
4070 Super Ti vllt. noch, ist aber irgendwo auch zu teuer. 5070 Ti um unter 900€ wäre schon.. naja.. kleinstes Übel.


Bestell mal nen NanoKVM, die haben eh Lieferzeit.
Und dann mach mal den i5 fit, geht vorerst auch mit ner 250gb SATA SSD.
Dann richtest dir mal das Remote und Linux so ein, dass das für dich läuft. Das ist in deinem Fall mal der erste Schritt und bestimmt Arbeit/Herausforderung genug.


In der Zwischenzeit hältst du die Augen offen für ne 5070 Ti...
Imho wird es einige auf 16gb lauffähige Modelle geben (werden). da 16gb wohl für den größten Teil der Nutzer realistisch sein werden.

 

[KAI 3dfx]

Moin,

Wobei 2tb sind schon okay, wenn man so Home-Server Kram macht, braucht man eh bald mehr Platten. Viel mehr. Lol.
Aber kauf ne KC3000 oder Fury Renegade, die haben viel mehr TBW, egal ob du nun 2tb oder 4tb nimmst.
@LinuX sind 2tb schon was. 1tb würd ich halt nimmer nehmen... 2 sind okay. 4 natürlich besser.

Ich habe mir 2TB WD SN850X bestellt. TBW/MTBF, Strom und Performance war alles auf dem Niveau der Kingston C3000 und der Samsung 990Pro. Die WD war etwas günstiger aufgrund der "Frühlingsaktion" bei Amazon.

Ich hatte die letzten Jahre nur 1TB Samsung 950 Pro + 500GB Sata SSD. Mehr wie 200GB habe ich bisher nie gebraucht. Zwischenzeitlich hatte ich auch mal 500GB für Spiele drauf (habe aber seltens gespielt) und daher überlegt, dass ich die Zeit liebe sinnvoll mit AI nutzen möchte.
Kingdome Deliverance Come II hat mich immerhin mal 8h Spielzeit (auf drei Wochen verteilt) angezogen. Aber da gehe ich nun lieber nach draußen und überlasse unseren Jungs das zocken (in Maßen).

Würd ich auch nicht machen.
4070 Super Ti vllt. noch, ist aber irgendwo auch zu teuer. 5070 Ti um unter 900€ wäre schon.. naja.. kleinstes Übel.

Ich hatte eine 4070TI S hier. Für 888€ gekauft und nach ein paar Wochen die 5070 TI gekauft. Die habe ich allerdings wieder zurück gesendet. Die gibt es ja mittlerweile zu Preisen um die 1000€ und teilweise für 935€.

Momentan schiele ich eben wegen der 16GB auf die 5070TI von MSI. Nur 9W im Idle gegenüber Asus/Gigabyte mit 30W+ im Idle. Der Wiederverkaufswert wird auch stabil bleiben denke ich. Evtl dann mal ein Upgrade auf eine 5080 24GB (Gerüchte liest man immer wieder).

Die Idee mit der 3090 24GB ist aber auch noch nicht ganz aus meinem Kopf. Vielleicht finde ich ja eine zwei Jahre alte mit Rechnung. Testen werde ich sowieso. Aber es ist schwierig jemanden zu finden, der seine GPU so wenig gefordert hat wie ich es tuhe. Die meisten quälen doch ihre Hardware oder nutzen sie viele Stunden pro Woche. Sind so viele Risiken.

Bestell mal nen NanoKVM, die haben eh Lieferzeit.

Stimmt, gerade gesehen. Lieferzeit ist nur bei dem "youyeetoo" gegen Aufpreis etwas besser. Ich muss noch schauen, ob es da relevante Unterschiede gibt zwischen den beiden Varianten.

Würde das aber auch heute noch bestellen.

Und dann mach mal den i5 fit, geht vorerst auch mit ner 250gb SATA SSD.

Ich werde wohl den Laptop meiner Frau für den Remote-Zugriff nutzen. Der sollte dafür reichen. Später dann ggf. was eigenes für Dienstreisen holen. Oder auch wie Haldi vorschlug ein Tablet.

Dann richtest dir mal das Remote und Linux so ein, dass das für dich läuft. Das ist in deinem Fall mal der erste Schritt und bestimmt Arbeit/Herausforderung genug.

Sobald ich eine GPU bestellt habe, kommt diese in meinen PC (i5 12600k, 32GB) und ich werde Linux Mint installieren und dann Llama 3 (muss nochmal schauen welche Variante da besser für mich ist).

Bzw. Linux installieren werde ich sobald die WD 1TB NMVe hier ist. Ich erinnere mich, dass die Installation von Linux durchaus auch mal länger dauern kann. Hatte das erst einmal mal gemacht für ein Projekt mit einer externen Festplatte.

 

[pwnbert]

Du kannst auch ohne GPU schon starten, da du ja die iGPU zur Bildausgabe verwendest, kannst dann schon mal die Sache mitm NanoKVM und einem "ordentlichen" Remote fürs OS angehen sowie die OS installation, damit du mal von Unterwegs auf deinen Server daheim zugreifen kannst.

 

[KAI 3dfx]

Ja genau, so habe ich das vor.
Linux Installation
Llama
LLama mit 5070TI
Nano KVM (hat die längste Lieferzeit)

Anfangen werde ich vorraussichtlich morgen wenn die NMVe da ist.

 

[KAI 3dfx]

Guten Morgen,

eine NVIDIA Tesla K80 Dual GPU 24GB kann man nicht zufällig verwenden?

 

[pwnbert]

Finger weg, das ist aus 2015. Passivkühlund 300W, lol... da brauchst den richtigen Airflow.

Vergiss die Idee irgendwie was besseres billiger zu finden, das läuft so nicht, außer mit 5-Finger-Rabatt.
Das mit dem Stacking wird ja im Schwesterthread besprochen, ist wohl interessant. Würde aber erstmal nicht darauf aufbauen.

Mit einer sinnvollen modernen Single-Consumer-GPU bist du am Besten dran, vom Aufwand her, meine ich. Das mit dem Erweitern kannst dir ja immer noch ansehen.
ICH würd 1x 5070 Ti 2x 4060 Ti 16gb vorziehen. Kann sein, dass die 2x 4060er in gewissen Situationen sinnvoller sind (wenn man das echt auf 32gb erweitern kann, SD lässt das z.B. wohl nicht zu, außer, ich hab nicht genug gegoogelt).

Bleib brav bei modernen Consumer-Karten, da hast auch von der Open Source Gemeinsachft eine sinnvolle Unterstützung.
Bleib bei der 5070Ti, da sind Rechenleistung und VRAM ausgewogen und sie ist modern.

... so denke ich halt darüber.

 

[KAI 3dfx]

Danke Dir! Deswegen habe ich nochmals gefragt. Aktuell liebäugel ich mit einer 3090 24GB. Die wird bei Reddit & Co oft empfohlen.

Ich könnte an eine gepflegte 3090 für 650€ kommen. Der Verkäufer bei Kleinanzeigen ist auf eine 5080 gewechselt. Ausgiebig testen möglich. Mit OVP.

Evtl kann mir jemand in dem anderen Threads nochmal die RAM-Auslastung bei den Modellen in P4, P2 usw. bestätigen oder mich korrigieren.

 

[pwnbert]

Schau mal nach wie der Cuda Speed ist.
Eine 4070 Ti war ja schon ca. so schnell wie eine 3090.

Naja Kleinanzeigen ist immer ne Sache, musst aber du selber wissen.
Ich denke eben, dass sehr viel Richtung 16gb optimiert werden wird, da das eben recht weit verfügbar war/ist zu leistbaren Beträgen, von der 4060Ti über 4070TiSuper bis zur 4080(S), bei AMD ebenso.

Kann sein dass ich falsch leige, aber wenns Budget eine ernsthafte Rolle spielt, würdei ch in der Richtung schauen.
Bei mehr Budget schauen, dass man eine 5090 FE um 2300€ bekommt, hat gleich 32gb, ist schnell und macht weniger Kopfweh als 2x 1000€ Karten.
5070 Ti werd im Wert aber nicht enorm fallen, würd ich bei Bedarf einfach verkaufen und dann ne 5090 Custom kaufen, wenn die mal günstiger werden...

.. sind halt meine Gedanken, mit llm hab ich keine Erfahrung, ich spiel nur gern mit text2img.

 

[KAI 3dfx]

Die 5090 ist auch nice. Aber für 2300€ (was schon sehr viel ist) habe ich noch keine Karte gefunden. Das günstigste war 3000€. Aber dann bräuchte ich wohl auch noch ne 5060 dazu um auf über 35GB zukommen.


Man braucht wohl 35GB für 4bit. Drunter sollte man nicht gehen, weil dann die Ergebnisse der KI Murks seien.

Also z.B. Quantisiertes 70b Modell in Llama 3
8bit 70GB VRAM
4bit 35GB
2bit 17,5GB

2bit ist wohl nur für einfache Tests zu gebrauchen. 4bit wäre wohl ein noch brauchbarer Kompromiss.

Damit das Model einigermaßen läuft muss es komplett in den VRAM. Also nicht nur zu ~85%.

Demnach würden sogar 2x16GB nicht ausreichend sein.

Korrigiert mich, wenn ich einen Denkfehler habe. Oder gibt es andere Möglichkeiten. 🫣

https://www.reddit.com/r/LocalLLaMA/comments/1bxhw28/3090_24gb_vs_4070superti_16gb/

Edit:
Hier lese ich, dass man den VRAM für die Quantisierung erweitern kann.
Z.B. 5070TI/3090 + Nvidia Tesla K80 24GB. Über den Studio-Treiber?

https://www.reddit.com/r/LocalLLaMA/comments/1ff252h/best_gpu_for_llms/?tl=de

.

 

[pwnbert]

Die 5090 ist auch nice. Aber für 2300€ (was schon sehr viel ist) habe ich noch keine Karte gefunden.

Man muss die FE irgendwie direkt bei Nvidia bekommen, dann geht das... musst im enstprechenden Unterforum schauen, wie das die Leute machen, die sich drum streiten. In den "normalen Shops" kannst momentan nicht kaufen.

Aber dann bräuchte ich wohl auch noch ne 5060 dazu um auf über 35GB zukommen.

Imho geht das so nicht.
Ich glaube nicht, dass du 5090 mit 5060 vermischen kannst. Wenn ich das richtig verstehe. Also du kannst schon, aber du hast dann wahrscheinlich die Geschwindigkeit der 5060.
Das wird genau anders rum sein wie bei SLI. Bei SLI hat sich der speicher nicht vermehrt, aber die Rechenleistung. Weil beide die gleichen Daten im RAM gebraucht haben, damit jede GPU die Hälfte vom Bild rechnen kann.
Bei der KI wirds dann irgendwie anders rum sein, das man zwar das Model im Gesamtspeicher verteilt, aber alle GPUs dann irgendwie das Gleiche rechnen müssen.

Weisst wie ich mein?
Vielleicht lieg ich falsch, aber ich wäre da äußerst vorsichtig und nicht zu naiv/optimistisch in der Sache, mach dich auf jeden Fall ordenlich schlau.

Hier lese ich, dass man den VRAM für die Quantisierung erweitern kann.
Z.B. 5070TI/3090 + Nvidia Tesla K80 24GB. Über den Studio-Treiber?

Das macht für mich keinen Sinn.

Wie soll die GPU der 5070Ti den VRAM der K80 verwenden, ohne über PCIe/CPU gehen zu müssen (da könnte man dann auch den normalen RAM verwenden, der wäre schneller als PCIe).

Rechne mal, das kann so nicht sein. Rechne mal wie schnell guter DDR5 RAM ist und wie schnell PCIe 5.0x8 ist (weil x16 bekommst mit 2 Grakas nicht hin ohne Server-Hardware).
Gleiches rechnest du mit DDR4 und PCIe 4 und DDR3 mit PCIe 3, das Verhältnis bleibt ähnlich.

 

[KAI 3dfx]

Ja ich muss das noch ganz genau recherchieren. Vorher kaufe ich natürlich nichts. Bin noch in der Brainstorming Phase, was die GPUs angeht.
Werde später mal meine Ergebnisse der Recherche zusammen fassen.

 

[pwnbert]

Hast keine alte GPU?

 

[KAI 3dfx]

Ich habe hier noch eine GTX 1080. Der 12600K hat ja auch IGP.

 

[DerPixel]

NanoKVM / JetKVM, NanoKVM geht lokal super, remote hab ich mich damit nicht beschäftigt, sollte aber gehen. Kostet auch "fast nix" (70€).

Bevor man sich einen NanoKVM ins Hausnetz stellt und Vollzugriff auf den Server gibt würde ich zumindest darauf hinweisen, dass es da eine Diskussion rund um die Security von den Geräten gibt:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Hier äußert sich der Hersteller dazu: https://github.com/sipeed/NanoKVM/issues/301

Das Konkurrenzprodukt JetKVM scheint da deutlich weniger fragwürdige Designentscheidungen getroffen zu haben. Dort ist mir persönlich jedoch die Vermarktung via Kickstarter ein Dorn im Auge 🙃.

 

[pwnbert]

Ja, der Unterschied ist halt, dass man den NanoKVM kaufen kann.

Die Sache mit dem Backdoor, naja, muss man sich halt ansehen im Detail. Es gibt halt keine andere Möglichkeit mit den vorhandenen Sachen was zu machen.
W-Board mit IPMI Addon kaufen und hoffen, dass mans irgendwie hinbekommt.

Gibt halt keine wirkliche Alternative, wenn man remote ins BIOS etc. möchte, restarten und so. Also gibts schon, aber vom Aufwand und Preis her eine andere Liga.
Theoretisch ist das Ding Open Source, also... mh.. naja..


Dass er sich mit einer Freigabe ins weite Netz "hinter die Blackwall" ordentlich mit dem Thema auseinandersetzt, davon geh ich mal aus.


Langsam wär ein NanoKVM Thread interessant.

Beitrag automatisch zusammengeführt: Gestern um 18:42

Nachtrag:
Ich hab mir jetzt das ganze Video x1,25 angesehen und... mit meinen begrenzten Internet-Security Skills seh ich da jetzt kein direktes "Backdoor"... sieht für mich eher aus, als wären gewisse Sachen etwas seltsam und potentiell unsicher gelöst bzw. nicht in "best practice", aber ich tät jetzt keinen Grund sehen das nicht zu verwenden, wenn man kein deutlich erhöhtes Sicherheitsbedürfnis hat... da ist ein Windows 11 wohl schlimmer?

dass es da eine Diskussion rund um die Security von den Geräten gibt

Hast du das Video ganz gesehen oder hast es nur am Rand aufgeschnappt? Verstehst du mehr vom Internet Security Kram als ich?

Wenn ja, dann könntest du uns doch vllt. kurz "in einfacher Sprache" erklären, wie kritisch das diskutierte Zeug nun ist? (Ich mein das ernst und nicht als Fangfrage).

 

[KAI 3dfx]

Bevor man sich einen NanoKVM ins Hausnetz stellt und Vollzugriff auf den Server gibt würde ich zumindest darauf hinweisen, dass es da eine Diskussion rund um die Security von den Geräten gibt:

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Hier äußert sich der Hersteller dazu: https://github.com/sipeed/NanoKVM/issues/301

Das Konkurrenzprodukt JetKVM scheint da deutlich weniger fragwürdige Designentscheidungen getroffen zu haben. Dort ist mir persönlich jedoch die Vermarktung via Kickstarter ein Dorn im Auge 🙃.

Vielen Dank für den Hinweis. Aber da könnte ich nicht remote starten?

Langsam wär ein NanoKVM Thread interessant.

Ich glaube, Du könntest so einen Start gut starten.

da ist ein Windows 11 wohl schlimmer?

Unzählige Spionge Prozesse + alle 5 Sekunden ein Screenshot vom Bildschirm... Ja ich will ganz weg von Windows. Vielleicht lasse ich eine eigene NMVe mit Win für Spiele (wobei ich eh sehr selten mal was spiele).

Linux Mint steht jetzt an.

Wenn ja, dann könntest du uns doch vllt. kurz "in einfacher Sprache" erklären, wie kritisch das diskutierte Zeug nun ist? (Ich mein das ernst und nicht als Fangfrage).

Das würde mich auch interessieren. 🙏

 

[pwnbert]

Linux Mint steht jetzt an.

Schau dir EndeavourOS mit KDE an.
Also wie du magst, aber ich find KDE Plasma 6 super zum Umsteigen, für mich ist das ca. das, was Windows hätte werden können... auch der Dolphin Dateiexplorer ist find ich spitze.

 

[KAI 3dfx]

Schau dir EndeavourOS mit KDE an.
Also wie du magst, aber ich find KDE Plasma 6 super zum Umsteigen, für mich ist das ca. das, was Windows hätte werden können... auch der Dolphin Dateiexplorer ist find ich spitze.

Danke, das werde ich mir auf jedenfall vorher ansehen. Hatte mich für 12 Monaten mal intensiver beschäftigt und war dann zu Mint gekommen. Aber E OS hört sich auch gut an, schaue ich nach.

 

[DerPixel]

Langsam wär ein NanoKVM Thread interessant.

Jupp.

Gibt halt keine wirkliche Alternative, wenn man remote ins BIOS etc. möchte, restarten und so. Also gibts schon, aber vom Aufwand und Preis her eine andere Liga.

In der Preisklasse höchstens JetKVM.

Theoretisch ist das Ding Open Source, also... mh.. naja..

In der Theorie schreibt der Hersteller Open Source ran, ja. Es gab eine Aktion "Bei XYZ verkauften Geräten machen veröffentlichen wir den Sourcecode als Open Souce." Das ist irgendwann eingetreten und dann kam auch nach und nach der Großteil des Codes.
Open Source ist aber nicht gleich Open Source. Kontributionen seitens der Community sind bei NanoKVM offenbar unerwünscht - abgesehen von Übersetzungen. Das ist an sich erst mal nicht verwerflich. Sich mit der Community zu beschäftigen kostet ja auch Ressourcen.

Das Nachladen von Binärdaten, die ausgeführt werden und undokumentierte Prozessorinstruktionen verwenden, widerspricht dagegen jeglicher Definition von Open-Source. Immerhin wollen Sie das in einer zukünftigen Version rausschmeißen.

Dass er sich mit einer Freigabe ins weite Netz "hinter die Blackwall" ordentlich mit dem Thema auseinandersetzt, davon geh ich mal aus.

Das Teil würde ich maximal in eine DMZ ohne Internetzugriff stecken und dann via VPN ins Heimnetz damit arbeiten. Kann aber gut sein, dass das Teil dann gar nicht vernünftig funktioniert, da es an einigen Stellen fehlkonfiguriert ist.

Ich hab mir jetzt das ganze Video x1,25 angesehen und... mit meinen begrenzten Internet-Security Skills seh ich da jetzt kein direktes "Backdoor"... sieht für mich eher aus, als wären gewisse Sachen etwas seltsam und potentiell unsicher gelöst bzw. nicht in "best practice", aber ich tät jetzt keinen Grund sehen das nicht zu verwenden, wenn man kein deutlich erhöhtes Sicherheitsbedürfnis hat... da ist ein Windows 11 wohl schlimmer?

So im groben hast du das schon richtig aufgefasst. Ich würde aber das "deutlich erhöhtes" streichen und sagen, wenn man ein Sicherheitsbedürfnis hat sollte man überlegen, das Teil zu verwenden. Oder halt dem Teil den Internetzugriff abknipsen.

Hast du das Video ganz gesehen oder hast es nur am Rand aufgeschnappt?

Schon vor dem Video habe ich von ersten Analysen der Firmware gelesen, weil das Produkt an sich schon sehr interessant ist. Das Video habe ich ganz geschaut, ist aber auch schon ein paar Wochen her.

Wenn ja, dann könntest du uns doch vllt. kurz "in einfacher Sprache" erklären, wie kritisch das diskutierte Zeug nun ist? (Ich mein das ernst und nicht als Fangfrage).

Ich kann es mal versuchen. Das Teil weist haufenweise fragwürdige Konfigurationen und Implementierungen auf. Ein Backdoor wurde nicht gefunden, das meiste dürfte wohl am ehesten mit Inkompetenz der Entwickler zu erklären sein.

Keine Software ist perfekt. Insbesondere bei IoT-Produkten, wozu ich den NanoKVM im weitesten Sinne mal zählen würde, ist die SW-Qualität gerne weit davon entfernt. Aber die Qualität vom NanoKVM ist wirklich miserabel. (Fast) überall wo sich die Leute bei dem Produkt umgeschaut haben klaffen eklatante Verstöße gegen jegliche Best-Practices zur Software- und (teilw.) Hardwareentwicklung.

Das ist eine billige Bastellösung mit zusammengepfuschter Software.

Wenn man dem Hersteller vertraut und das Gerät in einer Umgebung betreibt, in der nur vertrauenswürdige Geräte/Nutzer das Gerät via Netzwerk erreichen können, dann kann man das Teil schon betreiben ohne direkt ein erhebliches Sicherheitsrisiko einzugehen.
Wenn das Teil Internetzugriff hat hätte ich auf Dauer jedoch schon etwas Bauchschmerzen. Das basiert überwiegend auf der Inkompetenz, die die Entwickler bei der Softwareentwicklung gezeigt haben, und "was wenn"-Szenarien.

Vielen Dank für den Hinweis. Aber da könnte ich nicht remote starten?

Doch, das geht. Dafür gibt es das "ATX Power Control Board", kostet 10$ extra.

Schau dir EndeavourOS mit KDE an.

Lasst die Distro-Wars beginnen.
Ich nutze Arch btw.