PC Setup für Machine Learning, Dual GPU

[JayDark]

Hi,

1. Möchtest du mit dem PC spielen? Wenn ja, was?
Satisfactory, No Mans Sky, Fortnite

2. Möchtest du den PC für Bild-/Musik-/Videobearbeitung oder ähnlich nutzen? Als Hobby oder bist du Profi? Welche Software wirst du nutzen?
Professionell für Machine-Learning-Modelle

3. Hast du besondere Anforderungen oder Wünsche (bestimmte Marken und Hersteller, Overclocking, ein besonders leiser PC, RGB-Beleuchtung, …)?
Leise, dunkel, gerne ein Seitenfenster, keine WaKü

4. Wie viele und welche Monitore möchtest du nutzen? Modell, Auflösung, Bildwiederholfrequenz (Hertz)? Gsync/FreeSync?
Aktuell habe ich ausreichend Monitore

5. Hast du noch einen alten PC, dessen Komponenten teilweise weitergenutzt werden könnten?
Ne Menge SSDs und den Monitor

6. Wie viel Geld möchtest du ausgeben?
So wenig wie möglich. Aber bei zwei 4090? 5.000? 7.000?

7. Wann soll die Anschaffung des PC erfolgen?
Diese oder nächste Woche

8. Möchtest du den PC selbst zusammenbauen oder zusammenbauen lassen (vom Shop oder von Helfern (Liste als Sticky))?
Vom Shop, gerne mit installiertem Win 11

9. Möchtest du deine Inhalte mit dem PC Streamen (z.B über Twitch/OBS)? Wenn ja - welche Spiele/Inhalte? Hast du schon Teile fürs Stream-Setup? (Multi-Monitore, Mikrofon, Kamera, Stream-Deck, ...)?
Nein

ich habe mir einen Rechner zusammengestellt. Monitor und anderer Krimskrams sind vorhanden. Fokus ist Machinelearning. Sagen wir mal 1 % gaming, da mein alter Rechner in der Hinsicht eigentlich ok ist.

Wunschvorstellung:
Prozessor: Intel Core i9 13900KS
Mainboard: Dual Grafik slots (beide 16x), unterstützt 128 GB RAM
Arbeitsspeicher: 4 x 32 GB (möglichst schneller Speicher!)
Grafikkarte: Dual Geforcce 4090
SSD: 2 * 4 TB (eine M2 für Win, eine für Linux)
Gehäuselüfter + CPU Lüfter (keine WaKü, leise)
Netzteil: Be quit 850 W (gerne auch was größeres, wenn nötig, Hauptsache zuverlässig und leise)
Harddisk: ca. 20 TB
Maus und Tastatur: Ich mag langweilig, normal und schwarz
Gehäuse: Groß, gerne mit ner Scheibe, leise. Wenn das innere leuchtet, dann ohne Glas. Gut zu öffnen und kein Gehäuse an dessen Inneren man sich schneidet

Der schnelle RAM sollte von Vorteil sein, wenn ich Modelle nur dort laden kann, daher benötige ich schnellen RAM. Die 4090 lassen sich zwar nicht per NVLink verknüpfen, aber wie gesagt, gaming ist irrelevant. Zwei schnelle 4TB-M2 sollte erst mal reichen. Ich mag meine Rechner leise und dunkel. Also entweder keine LED im Gehäuse oder eben ein Gehäuse ohne Glasfront. Mit Glasfront wäre schick, aber nicht, wenn der Rechner großartig leuchtet. Am liebsten zusammengebaut mit einer regulären Win 11 Lizenz. Am allerliebsten ein Kölner Händler - sofern möglich.

 

[Shihatsu]

Ich gehe mal davon aus das du eher kleinere LLMs befeuerst, da du das "zu Hause" machst. Lass das Spielzeug Spielzeug sein und setze auf eine oder mehrere ADA6000s. Wenn das Geld locker sitzt und du wirklich professionell und schnell daran gehen willst eben SMX100er - da wirds dann aber wirklich preisintensiv. Bei der MEnge an DAten die durch die HBMs in die CPUs gepresst werden sollte man auch definitiv auf ECC Ram und entsprechende CPU-Unterstützung sorgen...

 

[Alpha11]

CPU: Intel Core i9-13900KF

GPU: 2x Founder's Edition Nvidia RTX 4090

MOBO: ASUS ProArt Z790 WIFI

Heatsink: Noctua NH-D15 2x 140M

SSD OS: Samsung 1TB 980 PRO NVME

SSD Working Drive: Samsung 980 PRO 2TB NVME

SSD Storage/Cache: Samsung 8TB 870 SSD

RAM: Kingston DDR5 128GB (4x32GB)

Case: Corsair Obsidian Series 1000D

PSU: Thermaltake Toughpower GF3 1650W

 

[JayDark]

Ich gehe mal davon aus das du eher kleinere LLMs befeuerst, da du das "zu Hause" machst. Lass das Spielzeug Spielzeug sein und setze auf eine oder mehrere ADA6000s. Wenn das Geld locker sitzt und du wirklich professionell und schnell daran gehen willst eben SMX100er - da wirds dann aber wirklich preisintensiv. Bei der MEnge an DAten die durch die HBMs in die CPUs gepresst werden sollte man auch definitiv auf ECC Ram und entsprechende CPU-Unterstützung sorgen...

Jungejunge, ich zögere schon ein bisschen, wenn die Karte der Wahl mehr kostet, als der PC, insbesondere in der Preisklasse. Dann vermutlich eher ne NVidia A10, oder?

 

[Alpha11]

NVIDIA A10 PCIe Specs

NVIDIA GA102, 1695 MHz, 9216 Cores, 288 TMUs, 96 ROPs, 24576 MB GDDR6, 1563 MHz, 384 bit

www.techpowerup.com

Pustekuchen sagt man da...

 

[JayDark]

CPU: Intel Core i9-13900KF

GPU: 2x Founder's Edition Nvidia RTX 4090

SSD Storage/Cache: Samsung 8TB 870 SSD



PSU: Thermaltake Toughpower GF3 1650W

Warum der 13900KF und nicht der KS? Wozu eine Founders edition der 4090? Die haben nur einen Lüfer, der dürfte unnötig laut sein. Der Storage Cache ist sicher nett gemeint, aber ich habe jetzt schon mehr SSD als SATA Anschlüsse, ich brauche etwas großes. Die diversen Modelle, die ich runterlade, brauchen endlos viel Platz. Und benötige ich 1650 W für das Netzteil?

 

[Shihatsu]

Ich verstehe das nicht. Wird das System - wenn auch nur teilweise - wirklich für professionelle Dinge genutzt? Wirklich im Sinne von: Damit wird Geld verdient! Wenn ja: Keine consumer Hardware.

Edit: https://www.techpowerup.com/gpu-specs/h100-pcie-80-gb.c3899
Ja, das sind 80GB HBM RAM. GPU RAM skaliert fast linear. Do the Math.

 

[Alpha11]

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

und der Lüfter ist höchstens minimal lauter...

Netzteile & USV Netzteile mit ATX Version: ATX 3.0, Kühlung: semi-passiv, PCIe 5.0 (12VHPWR) Anschlüsse: 2x 16-Pin PCIe 5.0 (12+4-Pin 12VHPWR) Preisvergleich Geizhals Deutschland

Preisvergleich und Bewertungen für Netzteile & USV Netzteile mit ATX Version: ATX 3.0, Kühlung: semi-passiv, PCIe 5.0 (12VHPWR) Anschlüsse: 2x 16-Pin PCIe 5.0 (12+4-Pin 12VHPWR)

geizhals.de

Es gibt irgendwie kein günstigeres gutes NT mit 2x 16-Pin PCIe 5.0 (12+4-Pin 12VHPWR) Anschlüssen, die man definitiv für 2 RTX 4090 braucht!!!

be quiet! Straight Power 12 1200W ATX 3.0 ab € 214,18 (2023) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für be quiet! Straight Power 12 1200W ATX 3.0 ✔ Produktinfo ⇒ Lüfter: 135mm, 1800rpm • Lautstärke: 9.40-32.20dB(A) (laut Hersteller) • Kabelmanagement: vollmodular • A… ✔ Netzteile ✔ Testberichte ✔ Günstig kaufen

geizhals.de

könnte man da u.U. auch nehmen und da nimmt man niemals nen Adapter.

PassMark - Intel Core i9-13900KF - Price performance comparison

PassMark - Intel Core i9-13900KS - Price performance comparison

Der KS ist nur absolut minimal schneller, aber erheblich teurer!

 

[JayDark]

Ich verstehe das nicht. Wird das System - wenn auch nur teilweise - wirklich für professionelle Dinge genutzt? Wirklich im Sinne von: Damit wird Geld verdient! Wenn ja: Keine consumer Hardware.

Edit: https://www.techpowerup.com/gpu-specs/h100-pcie-80-gb.c3899
Ja, das sind 80GB HBM RAM. GPU RAM skaliert fast linear. Do the Math.

Dein Vorschlag ist Unsinn. Wenn Du nicht verstehst, warum ich keine 40.000 € Karte will, dann mach besser keine Vorschläge. Aber klar, ein lustiger Trollversuch. Könntest Du das bitte in nem anderen Thread machen?

 

[Shihatsu]

Das war kein expliziter Vorschlag - der war weiter oben - sondern eigentlich mehr als Replik gedacht auf Alpha11. Wenn du das - und die unbeantwortete Frage meinerseits dazu ob damit wirklich Geld verdient werden soll - als trollen empfindest, solltest du mal an deinem Trollradar arbeiten - ich wollte dich mit Sicherheit nicht ärgern.
Nochmals: Willst du damit wirklich Geld verdienen? Hängt wirklich Geld davon ab das die Arbeit an den LLMs korrekt und effizient durchgeführt wird? Diese effizient bedingt gute Software- und Treiberunterstützung, wohlgemekrt. Wenn ja: Keine Consumerhardware, sondern ECC, CUDA-GPU(s), saubere Datenhaltung und Pflege. Dafür nimmt man doch keinen glorifizierten Gamingrechner. Wenn doch ist es eben nicht professionell, was okay ist, aber dann musst du das halt auch so sagen. Als reine Spielerei kann man den Weg von Alpha11 gehen...

 

[JayDark]

Das war kein expliziter Vorschlag - der war weiter oben - sondern eigentlich mehr als Replik gedacht auf Alpha11. Wenn du das - und die unbeantwortete Frage meinerseits dazu ob damit wirklich Geld verdient werden soll - als trollen empfindest, solltest du mal an deinem Trollradar arbeiten - ich wollte dich mit Sicherheit nicht ärgern.
Nochmals: Willst du damit wirklich Geld verdienen? Hängt wirklich Geld davon ab das die Arbeit an den LLMs korrekt und effizient durchgeführt wird? Diese effizient bedingt gute Software- und Treiberunterstützung, wohlgemekrt. Wenn ja: Keine Consumerhardware, sondern ECC, CUDA-GPU(s), saubere Datenhaltung und Pflege. Dafür nimmt man doch keinen glorifizierten Gamingrechner. Wenn doch ist es eben nicht professionell, was okay ist, aber dann musst du das halt auch so sagen. Als reine Spielerei kann man den Weg von Alpha11 gehen...

Und was wäre wenn das nicht der Fal ist und ich das Teil zu lernen brauche? 5.000 - 7.000 Euro ist halt alles was drin ist, würde ich in Geld schwimmen wäre es die Super Micro Workstation mit 4*48 GB GPU's und nem Terrabyte RAM für 80.000 $. Das es sinnvoll ist sich in dem Bereich was größeres zu holen ist mir selbst klar, aber eben nicht mit ner Karte die mehr kostet als mein gesamtes Setup. Und doch, viele Leute in dem Bereich nehmen einen glorifizierten Gamingrechner. Ist am Ende günstiger.

 

[hardwear]

Ich picke mir mal ein paar Punkte raus:

CPU - ich würde hier im Zweifelsfall den ganz normalen 13900K nehmen - den KS bekommst du fast nur geköpft kühltechnisch gut in den Griff (dann darfst du dich mit Direct-Die-Kühlung und Flüssigmetall rumschlagen - wenn dir das nichts ausmacht, go ahead), und so könntest du die iGPU noch für Monitore nutzen. Der Preisunterschied ist bei dem Budget eh Pillepille.

RAM - Möglichst viel und möglichst schnell schließt sich gegenseitig aus. DDR5-Vollbestückung ist zwar bei Intel noch eher drin als bei AM4, aber Taktrekorde würde ich dann nicht mehr erwarten. Überlege mal, ob 2x 48 GiB auch eine Option wäre. (Dann ist nur hoffentlich das BIOS nicht zu alt, das ist recht neumodisches Zeug...)

NT - ein 850 W reicht gerade mal für eine 4090. Ich würde hier mal so 1300 W ansetzen, und am besten 80Plus Titanium, damit es unter Last nicht zu sehr aufdreht. be quiet! Dark Power Pro 13 1300W ATX 3.0 (BN331) oder so.

 

[Gahmuret]

850w für 2x4090 und einen i9 13900k reicht eindeutig nie aus.
Hatte für 1 Tag ein 650w bequiet für das sys unten angeschlossen und das konnte nicht den PC unter last befeuern und da ist keine 4090 verbaut sondern nur einer der vorgänger.

Bin mir nicht 100% sicher, aber fürs lernen und anfangen, würde nicht 1x4090 reichen? Weil soweit ich das hier rauslese geht es vorallem um Datenmassen transport. Dual GPUs frisst bandbreite vom PCIe port aus dem 16 lanes werden es 8 pro Karte. Im endeffekt, wird die variante mit 2 Karten, trotzdem mehr Daten verarbeiten, aber wenn es fürs lernen ist, ist das etwas schneller, wirklich so relevant das 1600-2000 Euro mehrkosten, es wert sind?

Weil rein theoretisch könnte man sich wenn ernsthaft an machine learning rangegangen wird, eine threadripper oder xeon Plattform anschauen, damit die GPUs auch alle lanes bekommen etc.
Auf einem 1700 Sockel (oder am5) weil ein ryzen 9 7950x wäre auch nicht schlecht, wird immer bei mehreren GPUs die Lanes beschnitten.

 

[JayDark]

Bin mir nicht 100% sicher, aber fürs lernen und anfangen, würde nicht 1x4090 reichen? Weil soweit ich das hier rauslese geht es vorallem um Datenmassen transport. Dual GPUs frisst bandbreite vom PCIe port aus dem 16 lanes werden es 8 pro Karte. Im endeffekt, wird die variante mit 2 Karten, trotzdem mehr Daten verarbeiten, aber wenn es fürs lernen ist, ist das etwas schneller, wirklich so relevant das 1600-2000 Euro mehrkosten, es wert sind?

Weil rein theoretisch könnte man sich wenn ernsthaft an machine learning rangegangen wird, eine threadripper oder xeon Plattform anschauen, damit die GPUs auch alle lanes bekommen etc.
Auf einem 1700 Sockel (oder am5) weil ein ryzen 9 7950x wäre auch nicht schlecht, wird immer bei mehreren GPUs die Lanes beschnitten.

Klar, aber es gibt exakt zu dem Thema Vergleichstest. Zwei 4090 bringen 1,5 - 1,75 fache Leistungssteigerung. Reicht mir, ausserdem habe ich halt die 48 GB schnellen RAM.

 

[scars]

Wenns der TE ernst meint:
FCLGA4677 als Basis Plattform, ECC Ram und je nach ML Anforderung A6000 GPUs…

Dell bietet da ein paar gute Precision Modelle, z.B den 7920…

 

[flxmmr]

Prozessor: Intel Core i9 13900KS
Mainboard: Dual Grafik slots (beide 16x), unterstützt 128 GB RAM
Arbeitsspeicher: 4 x 32 GB (möglichst schneller Speicher!)

Das macht alles wenig Sinn, denn "schnellen" Speicher (in dem Fall Bandbreite) und mehrere 16x-Slots bekommt man nur auf den großen Plattformen.

Lass das Spielzeug Spielzeug sein und setze auf eine oder mehrere ADA6000s.

Wieso? Gleicher Chip, langsamerer Speicher und vmtl. kann man auch gelegentlich vom Checkpoint neustarten... Vmtl. bist du auch ein LLM-Bot, denn die ex-Quadros haben ja gar kein HBM....

Bei der MEnge an DAten die durch die HBMs in die CPUs gepresst werden sollte man auch definitiv auf ECC Ram und entsprechende CPU-Unterstützung sorgen...

Selten so inkohärenten Krampf gelesen. Die Daten werden also vom HBM in die "C"PU gepresst? Wie genau geht das denn? Über den PCIe-Link etwa? Wozu genau braucht man da eine "entsprechende CPU". Welche Daten sind das überhaupt?

Dann vermutlich eher ne NVidia A10, oder?

Da du kein Serversystem baust, scheinen die passiv gekühlten Karten wenig sinnvoll....

Und benötige ich 1650 W für das Netzteil?

Ja... Die 4090 sind weder besonders effizient, noch besonders klein:

Wozu eine Founders edition der 4090? Die haben nur einen Lüfer, der dürfte unnötig laut sein.

Weil die eben relativ sicher nur 3 Slots hat und vllt. zwischen 2 300W-Wärmequellen noch funktioniert...

Wirklich im Sinne von: Damit wird Geld verdient

Wer genau verdient denn mit einer individuell eingerichteten Workstation mit ML Geld? Niemand, das ist entweder das Äquivalent zu den Daytrading-Bros, die es hier regelmäßig gab oder jemand von der Uni. Und im letzten Fall kann man auch 3 Tage Paper lesen, bis Prime das gewünschte Ersatzteil liefert...

GPU RAM skaliert fast linear.

Was skaliert linear? Skalierung impliziert für mich eine funktionale Abhängigkeit a la RAM(x)=a·x. Was ist x?

Hängt wirklich Geld davon ab das die Arbeit an den LLMs korrekt und effizient durchgeführt wird?

"Korrekt" - du weißt wie LLMs funktionieren? Daneben kann man mit 48GB RAM vmtl. kaum Modelle laufen lassen, mit denen man Geld verdienen wird...

Diese effizient bedingt gute Software- und Treiberunterstützung, wohlgemekrt

Niemand schlägt 7900XT vor... (doch, tue ich )

FCLGA4677 als Basis Plattform, ECC Ram und je nach ML Anforderung A6000 GPUs…

Allein aufgrund der PCIe-links wird man das erste für MultiGPU-Systeme wollen und ECC kostet kaum Aufpreis.... Selbst für LLM-Inferenz (viel trainieren wird man mit dem Geld eh nicht...) würde ich auch bei einem so erhöhten Budget versuchen, eher eine A100 irgendwie neben den Ryzen x700 zu packen ................


Zusammenfassend @JayDark: bei Deinem Budget führt "neu" und ohne Basteln kein Weg an den 4090 vorbei. Leider sind die (bewusst...) eher so ausgelegt, dass man die wenig effizient nutzen kann (viele benachbarte Lehrstühle (keine LLMs) haben z.B. 3080/3090 mit Blowerkühlern^... - aus Gründen (machen eher mehr Simulation und vor mir und meinem Kollegen war die Beschaffung.... interessant) haben wir Quadros) ... Dazu dann ein SP3/Intel-Board - da kostet allerding neu die Kombo mit RAM und CPU auch mind. 1500€ (wenn du wirklich die billigste CPU nimmst, die dann wirklich etwas unterdimensioniert ist), empfehlenswert eher 2000€+. Meine Empfehlung: A100 mieten (sag' ich nicht gern...).

Je nachdem wie viel Hobby/Verfügbarkeit nötig ist, könnten auch wirklich 7900 (falls du kleinere Transformer trainieren magst und die 1000€ Ersparnis das wirklich wert sind...) oder 2 P40 aus China (https://www.reddit.com/r/LocalLLaMA/comments/13wm849/comment/jo992op/ für mind. 3t/s-Inferenz bei 65B LLAMAs - gibt auch Leute, die meinen, dass es schneller geht. Aber: es läuft.) für ~600€ interessant sein. EDIT: wenn du allerdings da bist, kann man vmtl. auch einen SP5-Epyc mit DDR5 nehmen und einfach das Modell auf der CPU laufen lassen.


^ und auch die HPC-Abteilung der DTU scheint das zu tun: https://www.hpc.dtu.dk/?page_id=3033

 

[JayDark]

v

Das macht alles wenig Sinn, denn "schnellen" Speicher (in dem Fall Bandbreite) und mehrere 16x-Slots bekommt man nur auf den großen Plattformen.

...

Allein aufgrund der PCIe-links wird man das erste für MultiGPU-Systeme wollen und ECC kostet kaum Aufpreis.... Selbst für LLM-Inferenz (viel trainieren wird man mit dem Geld eh nicht...) würde ich auch bei einem so erhöhten Budget versuchen, eher eine A100 irgendwie neben den Ryzen x700 zu packen ................


Zusammenfassend @JayDark: bei Deinem Budget führt "neu" und ohne Basteln kein Weg an den 4090 vorbei. Leider sind die (bewusst...) eher so ausgelegt, dass man die wenig effizient nutzen kann (viele benachbarte Lehrstühle (keine LLMs) haben z.B. 3080/3090 mit Blowerkühlern^... - aus Gründen (machen eher mehr Simulation und vor mir und meinem Kollegen war die Beschaffung.... interessant) haben wir Quadros) ... Dazu dann ein SP3/Intel-Board - da kostet allerding neu die Kombo mit RAM und CPU auch mind. 1500€ (wenn du wirklich die billigste CPU nimmst, die dann wirklich etwas unterdimensioniert ist), empfehlenswert eher 2000€+. Meine Empfehlung: A100 mieten (sag' ich nicht gern...).

Je nachdem wie viel Hobby/Verfügbarkeit nötig ist, könnten auch wirklich 7900 (falls du kleinere Transformer trainieren magst und die 1000€ Ersparnis das wirklich wert sind...) oder 2 P40 aus China (https://www.reddit.com/r/LocalLLaMA/comments/13wm849/comment/jo992op/ für mind. 3t/s-Inferenz bei 65B LLAMAs - gibt auch Leute, die meinen, dass es schneller geht. Aber: es läuft.) für ~600€ interessant sein. EDIT: wenn du allerdings da bist, kann man vmtl. auch einen SP5-Epyc mit DDR5 nehmen und einfach das Modell auf der CPU laufen lassen.


^ und auch die HPC-Abteilung der DTU scheint das zu tun: https://www.hpc.dtu.dk/?page_id=3033

Mittlerweile gibt es Unterstützung für Pytorch & Co, also genau das, was ich brauche, auch von AMD CPUs, daher wird es wohl ein Threadripper mit 32 Kernen und 256 GB und dazu halt die zwei 4090'er. Ist leichter zu kühlen und nicht ernsthaft teurer. Wie gesagt, die Marke ist letztlich egal, am Ende zählt Leistung. Ich bin nur am überlegen, ob nicht vielleicht eine 4090'er besser wäre und dazu eine MI300x ( https://www.zdnet.com/article/amd-unveils-mi300x-ai-chip-as-generative-ai-accelerator/ ). Die 4090er wäre dann eine Krücke, bis die realen Applikationen die 192 GB der MI300x nutzen können. Hängt natürlich vom Preis der Karte ab. Angesichts des Preises des RAMs (HBM) vermutlich teuer... die 32 GB Version gibt es aktuell auf ebay für 2.500. Damit läge der Preis für 192 wohl jenseits der 10.000 €. Vielleicht kann man sowas dort auch mal günstig schießen.