Deep learning workstation auf budget zusammenstellen

...Kann es sein dass du die bisherige Diskussion nicht verstanden hast?
Ich habe ernsthafte Zweifel dass du das Verständnis und die Fähigkeiten hast deinen grade beschriebenen Plan auch nur ansatzweise umzusetzen...

Am besten du legst einfach 10.000€ auf den Tisch und lässt dir was bauen. Dann sparst du dir selbst sehr viele Reparaturkosten und Kopfschmerzen.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
a) kann ich Radiatoren, schläuche etc. alles für 2 holen & später problemlos für 2 weitere aufrüsten?

Wenn man es von Anfang an richtig plant, und das richtige kauft, dann lautet die Antwort: Ja.

Wieviel müsste ich draufzahlen für:
a) Wasserkühlung für die ersten 2
b) die Aufrüstung

Die Cover kosten etwa 150€ per Stück (Aliexpress ist günstiger, aber kann dann mit Einfuhrumsatzsteuer und Zoll auch nicht viel billiger werden, nur wenn man Glück hat).
D5-Pumpe (~70€), AGB (~80€), Fittinge je nach Geschmack und Typ zwischen 2-10€ das Stück. Bei Radiatoren kommt es drauf an, Externe wie der MoRa kosten rund 165€/Stück, und ich tippe mal du wirst mindestens zwei brauchen, eher sogar drei. Intern könnte es mit meinem Gehäuse gehen, aber dann nie mit den Temperaturen von den MoRas vergleichbar, die haben einfach mehr Fläche. Und interne Radiatoren sind auch nicht billiger, ich habe 6 x 92€ gezahlt. Ein CPU-Kühlblock liegt im Schnitt bei 70-120€.

c) Case? (hier sollte es dann doch leichter/billiger fallen als beim Aircooling oder?)

Du bist witzig!

sollte Am4 mit PCIe 4.0 klappen? (3GPUs, eine am 8x, 2 an je 4x)

Nein!
Der Ryzen hat 40 Lanes, 24 nutzbar und da auch nicht alle. Deswegen nimmt man für so etwas dann auch einen Threadripper, weil der kann 4 x 16 und hat immer noch Lanes übrig.

reden wir von mainboard oder PSU?

Vom PCI-Slot, aber das betrifft die PSU im Endeffekt, weil die liefert den Strom dafür.

Am besten du legst einfach 10.000€ auf den Tisch und lässt dir was bauen. Dann sparst du dir selbst sehr viele Reparaturkosten und Kopfschmerzen.

Ich habe mir mal den Spaß gemacht und geschaut was er aktuell für meine Kiste (ohne GraKa,mit 64 GB Ram und 4 TB SSD) zahlen würde: 4.400€, dann 4 x 700€ für die 3080, 600€ für die Cover, läge er bei etwa 7.800€. Also nicht soo viel weg von deinen angenommenen 10k €. Es war schon immer etwas teurer bei den großen Jungs mitzuspielen. :d
 
Mir ist kein TRX40 Mobo bekannt, was 4x PCIe 4.0 x 16 oder auch nur 3.0 x 16 hätte. Ich würde ein So. 2066 Mobo - Asus WS X299 Sage - in Erwägung ziehen, das unterstützt offiziell 4 Grakas. Allerdings wäre es sinnvoll, herauszufinden, ob die vorgesehe Anwendung von guter Performance der PCIe Anbindung überhaupt profitiert.

Dass der Rechner im Vollausbau unter Last fast soviel Hitze produziert wie ein Heizlüfter dürfte hoffentlich klar sein.
 
Das stimmt, 2x x16 4.0 und 2x x8 4.0 sind das Maximum. Das war bei X399 genauso nur mit PCie 3.0. 1x x8 liegt bei mir auch brach, leider.
 
Gibt es absolut keine mögichkeit mit einer CPU unter 500€ auszukommen?
Threadripper Gen 3 sind teuer ohne ende, dafür dass ich nur 12 kerne brauche. allerhöchstens 16.
 
Du kannst Dir z.B. ein Asrock X399 Taichi besorgen - das kann immerhin 4 Grakas aufnehemen und nen alten (gebrauchten) Threadripper 1920X oder 1950X. Nen 1950X hab ich noch rumliegen - wenn Du Dir sowas antun willst bitte pn. Ich rate aber davon ab wegen schwachem Speicher Interface und magerer Rechenleistung.
Bei so einem Setup kann es passieren, dass 3 Grakas nicht schneller sind als 2. Hängt aber von der Software ab.
 
Du kannst Dir z.B. ein Asrock X399 Taichi besorgen - das kann immerhin 4 Grakas aufnehemen und nen alten (gebrauchten) Threadripper 1920X oder 1950X. Nen 1950X hab ich noch rumliegen - wenn Du Dir sowas antun willst bitte pn. Ich rate aber davon ab wegen schwachem Speicher Interface und magerer Rechenleistung.
Bei so einem Setup kann es passieren, dass 3 Grakas nicht schneller sind als 2. Hängt aber von der Software ab.
Hä`? davon war doch die rede? X399

Da soll der power supply für die PCIe slot nicht klappen laut @Thorsteen
 
Da Problem ist, dass es wohl niemand ausprobiert hat. Tatsächlich hab ich eine (relativ langweilige non-OC Gainward) RTX 3090, die zieht um 65W aus dem PCIe Slot. Und ja, wenn 4 Grakas soviel aus PCIe saugen, kann es eng werden. Aber ich hab noch keinen Test / Bericht darüber gesehen.
Ob man das einfach selbst rausfinden will mit der Gefahr zu scheitern, das muss jeder selbst wissen.
Ansonsten kann es schlauer sein, 2 separate Rechner mit je 2 Grakas aufzubauen.
 
Das ist sicherlich recht speziell, ja. Gelesen habe ich davon bisher auch nichts.
 
Dieses Projekt kann durchaus total in die Hose gehn.
 
Genau - und es gibt immer noch keine Information, ob die Anwendung von CPU power profitiert, oder nicht.
 
Das und dazu das krasse Missverhältnis von "Budget" auf Seiten der Plattform einerseits und mehreren Oberklasse Grafikkarten plus möglicher Nachrüst-Wasserkühlung andererseits...
 
Zuletzt bearbeitet:
Ähm also ich hab das Ziel nicht geändert. Wenn ja: show me the quote ;)

Ich will immernoch eine mindestens 3 Ampere GPU Workstation bauen.
CUDA Deep Learning zieht halt größtenteils nur GPU performance.
CPU sollte minimum sein da sie nur für preprocessing (== der "Extrahiere eine dicke menge daten aus deinen bishereigen daten und bringe sie in die richtigen formen"-Vorgang, kann allerdings schon paar stunden dauern).


TL;DR: (Einzige anforderungen)
  • 3 GPUs machbar (erstmal werden nur 1-2 geholt) (wenn 3090 halt nicht klappt dann eben 3080)
  • für jede GPU mindestens ein PCIe 8x 3.0 oder 4x 4.0
  • mind. 12 Cores.
  • mind. eine m.2 SSD slot. (siehe motherboard)
  • mind. 128GB RAM (sieher motherboard

Nacher aufrüstbar:
  • PSU kann von mir aus aufgerüstet werden.
  • Kühlung auch.
  • Gehäuse?-> eher ungern, aber wenn es sein muss...

Das Problem ist halt CPU & MB - konstellation, da ich hierfür kein geld habe aktuell und auch nicht vorhabe einen unnötig teuren 24Core Prozessor reinzuklatschen den ich eh nicht brauche.
Sagt ihr, dass das oben nur mit einem threadripper 3 mainboard (TRX4) machbar ist?


Ansonsten lasst mich die Frage anders stellen:


Wie kann ich möglichst kosteneffizient vorgehen, wenn ich in den nächsten monaten ein 2x 3080 setup brauche,
es aber Ende 2021 auf mind. 3x 3080 aufrüsten muss.
Und mitte 2021 mit entweder 4x 3080 oder 3x 3090 fahren kann?

Das will ich möglichst vermeiden: alles 2 mal kaufen
 
Dann würde ich ein X399 Taichi nehmen + nen Threadripper der 1. oder 2. Generation. Das Mobo hat nen 6-poligen PCIe Stromstecker, den man, wenn man 4 Grakas einbaut, anschließen muss. Laut Bedienungsanleitung Seite 27 sollte das dann auch gehen.
 
Immernoch Threadripper 2000
 
Ähm also ich hab das Ziel nicht geändert. Wenn ja: show me the quote ;)
der Zeitplan ist schon mal verschwunden und statt einfach eine gescheite Plattform zu kaufen, faselst du was von Wasserkühlung

Wann muss ich michentschieden haben?
bis ende diesen monat. (weil muss einen zeitplan einhalten und die GPUs sollten anfang oktober schon lauffähig sein)

Ich will immernoch eine mindestens 3 Ampere GPU Workstation bauen.
CUDA Deep Learning zieht halt größtenteils nur GPU performance.
CPU sollte minimum sein da sie nur für preprocessing (== der "Extrahiere eine dicke menge daten aus deinen bishereigen daten und bringe sie in die richtigen formen"-Vorgang, kann allerdings schon paar stunden dauern).
Darf ich mal fragen, wieviel praktische Erfahrung du damit hast?! Ich weiß nicht, was für High-End-Research du machst, aber "ein paar Stunden" fürs Preprocessing (und dann auch noch regelmäßig?!) hört sich für mich schon eher danach an, als hast du a) riesige Datenmengen (wofür du dann auch eine ordentliche SSD möchtest...) hast oder b) das ganze öfter machen wirst (weil eben offensichtlich nicht riesige Datenmengen) und komplexer. Aber gut, du weißt es ja besser ;)

TL;DR: (Einzige anforderungen)
  • 3 GPUs machbar (erstmal werden nur 1-2 geholt) (wenn 3090 halt nicht klappt dann eben 3080)
  • für jede GPU mindestens ein PCIe 8x 3.0 oder 4x 4.0
  • mind. 12 Cores.
  • mind. eine m.2 SSD slot. (siehe motherboard)
  • mind. 128GB RAM (sieher motherboard
Wie mannigfaltig dargelegt: das geht nicht zu deinen Preisvorstellungen (schon allein die "Mindestanforderungen kosten mindestens 800€ ohne zum Betrieb nötige Dinge...). Das sollte Dir, der Du offensichtlich quantitativ tätig bist, auch auffallen... Nachdem wir kürzlich potentielle neue Kollegen betrachtet haben, wundert mich da aber langsam tatsächlich gar nichts mehr.

Nacher aufrüstbar:
  • PSU kann von mir aus aufgerüstet werden.
  • Kühlung auch.
  • Gehäuse?-> eher ungern, aber wenn es sein muss...
WTF?! Das sind Dinge, die man nicht aufrüstet, weil man dann doppelt zahlt...

Das Problem ist halt CPU & MB - konstellation, da ich hierfür kein geld habe aktuell und auch nicht vorhabe einen unnötig teuren 24Core Prozessor reinzuklatschen den ich eh nicht brauche.
Sagt ihr, dass das oben nur mit einem threadripper 3 mainboard (TRX4) machbar ist?
"da ich hierfür kein Geld habe". Nun laufen leider die GPUs nicht von alleine... Und ja, wie schon mehrfach gesagt brauchst du da einen Threadripper oder was in die Richtung: https://www.deltacomputer.com/d21z-m2-zr-4xgpu.html (und ooooh Wunder, das kostet halt, was es kostet...) [und bitte nicht darauf festlegen, dass das Teil mit 3080s läuft

Ansonsten lasst mich die Frage anders stellen:


Wie kann ich möglichst kosteneffizient vorgehen, wenn ich in den nächsten monaten ein 2x 3080 setup brauche,
es aber Ende 2021 auf mind. 3x 3080 aufrüsten muss.
Und mitte 2021 mit entweder 4x 3080 oder 3x 3090 fahren kann?
4x 3090 kostet 6000€ und braucht 1-2 kW Netzteile. Woher kommt das Geld und warum kann man das jetzt nicht ausgeben!?

Das will ich möglichst vermeiden: alles 2 mal kaufen
Deswegen willst du das Netzteil, die GPUs, die Kühlung und das Gehäuse erst mal klein kaufen und dann aufrüsten. Aber bei der CPU geht's dann um 300€...
Tut mir leid, aber vllt. bist du einfach der Aufgabe (und scheinbar vielen anderen) geistig nicht gewachsen...
 
Zuletzt bearbeitet:
hmmm, habe ja Null Plan von Deep Learning. Aber da Du viel I/O haben möchtest, wär vielleicht der Untersatz was?


Ich helfe gerade meinem Kumpel ein Gaming/Server Rig aufzubauen, er holt sich das besagte Board mit einem Epyc 7302.
 
Aber das ist doch viel zu teuer!!! Der TE hat kein Geld für so ein teures Mainboard, der kauft lieber 4x RTX3090 (ohne überhaupt zu wissen, was er genau macht).
 
Er hat doch keine Kohle, da ist sowas illusorisch.
 
Er will ja sowieso 12+ Kerne und 128GB. Wär weder viel teurer als AM4 (macht eh 0 Sinn) noch TRX4, wenn man das Gesamtsystem betrachtet. Habe jetzt die RAM Preise nicht im Blick aktuell, aber bei 128GB dürfte es mit Reg ECC, bzw. Board mit 8 Bänken günstiger werden was den Speicher anbelangt. Octa Channel gibts gleich auch noch dazu. Bei AM4 oder dem genannten X399 Taichi müsste er dann ja auf 32GB UDIMM Riegel gehen, das wär sicher auch nicht ganz billig. Spielt denn ECC überhaupt eine Rolle bei solchen Berechnungen? Die Epyc Rome CPUs sind btw. auch nicht wirklich teurer als bei TRX4, bisschen langsamer halt. Bei Digitec gäbs z.B. gerade den 7351 für CHF 670.-. Galaxus scheint in DE ja auch vertreten zu sein, vielleicht können die das aus der Schweiz direkt liefern.

Und da es eh um einen grösseren vierstelligen Betrag geht, würde ich die Option zumindest mal prüfen. Weil da hätte der TE ganz viele PCIe 4.0 Lanes zur Verfügung. Gäbe auch noch ein Board mit ein bisschen weniger PCIe 4.0 aus der gleichen Serie, das wär dann nochmals bisschen günstiger.

Ich muss mir meine Hardware auch vom Mund absparen. Ich kauf mir meistens Teil nach Teil, da kann es schon sein, dass ein Board mal ein paar Monate rum liegt bevor es dann eingebaut wird. Aber wenn ich sowas vor hätte, würde ich erst einmal was für einen gescheiten Unterbau auslegen. 4x 3080 oder 3090 und so.

Ich bekomme btw. dieses Jahr noch ein ASUS X99-E WS Board mit 7 Fullsize PCIe 3.0 Slots und zwei PLX Chips. Das würde mit einem E5 v3/v4 Xeon auch Reg ECC fressen. Das würde ich eventuell veräussern, das wäre dann halt eine vernünftige Budged Variante. Würde ich auf jeden Fall einem AM4 System vorziehen, bei Deinen Anforderungen. Aber verschenken würde ich es auch nicht, das war mal ein richtig fettes Board für jemanden der viel I/O, bzw. Quad GPU brauchte. Das Board da wärs:

 
Dann würde ich ein X399 Taichi nehmen + nen Threadripper der 1. oder 2. Generation. Das Mobo hat nen 6-poligen PCIe Stromstecker, den man, wenn man 4 Grakas einbaut, anschließen muss. Laut Bedienungsanleitung Seite 27 sollte das dann auch gehen.
Hey Kullberg, danke für die super antwort :),
dachte da gäbe es probleme 3 ampere GPUs anzuschließen?? (hat ja jemand hier geschieben)
Falls nicht, wäre es echt super. Hast du noch eine Netzteilempfehlung? ((zumindest solange ich nur a)1 oder b)2 GPUs verbaut habe), ein weiteres kann ja später hinzu gekauft werden (oder?)
Beitrag automatisch zusammengeführt:

der Zeitplan ist schon mal verschwunden und statt einfach eine gescheite Plattform zu kaufen, faselst du was von Wasserkühlung
Dein Ton lässt mich auf ein geringes selbstbewusstsein schließen.
Darf ich mal fragen, wieviel praktische... Aber gut, du weißt es ja besser ;)
Darfst du, aber nur wenn du bitte sagst hase :*
"Mindestanforderungen kosten mindestens 800€ ohne zum Betrieb nötige Dinge...).
Definiere bitte "Mindestanforderungen"
Nachdem wir kürzlich potentielle neue Kollegen betrachtet haben, wundert mich da aber langsam tatsächlich gar nichts mehr.
Bitte erläutern.
WTF?! Das sind Dinge, die man nicht aufrüstet, weil man dann doppelt zahlt...
Sagt wer?
und bitte nicht darauf festlegen, dass das Teil mit 3080s läuft
Gibt aktuell nichts besseres in dem (Neu-)Preissegment (falls doch, bitte korrigieren)
4x 3090. Woher kommt das Geld und warum kann man das jetzt nicht ausgeben!?
Hase, wenn du lesen könntest, hättest du verstanden, dass ich die GPUs stück für stück kaufen muss und mir aktuell nur eine leisten kann, wenn man Strom etc miteinkalkuliert. Das Geld kommt vom Monats-Einkommen, falls du das meinst und ich verdiene aktuell leider noch keine 15k netto. (ja musste selbst fasst würgen als ich das gelesen habe, was für ein bescheidener Lifestyle)
Aber bei der CPU geht's dann um 300€...
Naja 500 + nochmal 300 + noch ein teueres Mainboard (== mind. 1.1k) würde ich weniger gerne aufrüsten als ein 300€ netzteil. Aber wie gesagt: "bescheidener Lifestyle"
Tut mir leid, aber vllt. bist du einfach der Aufgabe (und scheinbar vielen anderen) geistig nicht gewachsen...
Danke für die Beleidigung. Hoffe du kannst heute mal gut schlafen, denn nach meiner amateur-psychologischen einschätzung weinen sich solche leute in den schlaf, wenn sie es nötig haben vor Neulinge für ihre Unwissenheit zu beleidigen.
Sollte sich dein kompensierender Ton, zukünftig nich "ordentlicher" sein, würde ich dich bitten es sachlich aber konstruktiv zu versuchen oder einfach nichts zu schreiben.
Alternativ können wir gerne so weiter schreiben :* Inb4 solltest du im nächsten kommentar mit einem immaginären McLaren flexen weiß ich dass ich recht hatte ;)

Zeitpläne können hinterher hinken und das kann teuer werden. Stimmt. Aber was soll ich sonst machen, wenn die abgesprochenen GPUs überall ausverkauft waren?

@alle anderen: Tut mir leid dass ich das lesen musstet. Aber hatte die wahl das Risiko nochmal einen Brecheimer holen zu müssen oder ihm zu antworten.
Ich hoffe wir können sachlich weiter schreiben und danke euch für eure bisherigen kompetenten Vorschläge. Ihr seid großartig und ohne euch würden viele selbstständige nicht auf ihrer maximalen Effizienz fahren.
Beitrag automatisch zusammengeführt:

hmmm, habe ja Null Plan von Deep Learning. Aber da Du viel I/O haben möchtest, wär vielleicht der Untersatz was?


Ich helfe gerade meinem Kumpel ein Gaming/Server Rig aufzubauen, er holt sich das besagte Board mit einem Epyc 7302.
Die Idee finde ich gut. Ich glaube sie wurde tatsächlich mal kurz erwähnt in einem ähnlichen veralteten Thread.
2.4 gHz x 16 wär multipliziert fast das gleiche wie 3.2 x 12...
Kennt sich jemand mit dem Leistungsunterschied im bezug auf parallelisiert-berechnete (==vektorisierten) array multiplikationen aus?
Weil wird wahrscheinlich nicht verhältnis mäßig sein oder etwa doch?

Passt das spannungstechnisch, mit 3 Ampere GPUs?
 
Zuletzt bearbeitet:
@Edmunds: Kann es sein dass du immernoch voll im Dunkeln stehst? Du hast keinen blassen Schimmer über deine Anforderungen in Software und auch keinen blassen schimmer was das in Hardware bedeutet, oder? Und das Thema 2-3 Slot Grafikkarten, Abstände PCIe Slots usw. hast du auch noch nicht kapiert, oder?

Deine Statements lassen jedenfalls vermuten dass du nach 3 Seiten Thread keinen Schritt weiter bist.
 
@Edmunds: Kann es sein dass du immernoch voll im Dunkeln stehst? Du hast keinen blassen Schimmer über deine Anforderungen in Software und auch keinen blassen schimmer was das in Hardware bedeutet, oder? Und das Thema 2-3 Slot Grafikkarten, Abstände PCIe Slots usw. hast du auch noch nicht kapiert, oder?

Deine Statements lassen jedenfalls vermuten dass du nach 3 Seiten Thread keinen Schritt weiter bist.
Definiere "voll".
Blasser schimmer ist da, wie soll ich sonst wissen wieviel RAM, welche GPU & CPU-leistung etc ich benötigen würde.
2-3 Slot Grafikkarten, Abstände PCIe Slots usw. hast du auch noch nicht kapiert, oder?
Riser-cards.

Naja, dafür dass ich u.a. dazu gelernt habe, dass es bei den PCIe Slot versorgungen durch PSU problematisch werden kann und nun weiß was sich warum nicht eignet... schon weiter würde ich sagen.

Ich müsste noch auf @Kullberg 's antwort warten, sofern der gute heute die zeit findet, dann kann ich dir eine vollständige antwort geben.

Das Taichi x399 stand schonmal im Raum (und TR 2.Gen wollte ich eig vermeiden, da aktuell überteuert (im Juni noch für 450 zu haben gewesen)), aber wenn es nur so geht? (-> Wenn es denn überhaupt so geht).

Genau - und es gibt immer noch keine Information, ob die Anwendung von CPU power profitiert, oder nicht.
Das müsstest du evtl erläutern.
Da ich davon ausging, dass du im Schach-Deeplearning auch zwischen Preprocessing (==CPU only) und training(== mostly GPU durch CUDA, jaa teilweise auch CPU), könnte ich jetzt nur noch sagen dass schätzungsweise (durch extrapolation der 'Benchmarks' an einem 4 core Intel notebook-prozessor), eine 2920x oder bis 2950x ausreichend wäre, alles darüber wäre gut muss aber nicht, da Threadripper ohnehin schon 300€ über meinem MAXIMAL budget für eine CPU sind. (Hatte anfangs mit dem 1920x gerechnet, der 140€ gekostet hat)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh