Du verwendest einen veralteten Browser. Es ist möglich, dass diese oder andere Websites nicht korrekt angezeigt werden. Du solltest ein Upgrade durchführen oder einen alternativen Browser verwenden.
Deep learning workstation auf budget zusammenstellen
...Kann es sein dass du die bisherige Diskussion nicht verstanden hast?
Ich habe ernsthafte Zweifel dass du das Verständnis und die Fähigkeiten hast deinen grade beschriebenen Plan auch nur ansatzweise umzusetzen...
Am besten du legst einfach 10.000€ auf den Tisch und lässt dir was bauen. Dann sparst du dir selbst sehr viele Reparaturkosten und Kopfschmerzen.
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Die Cover kosten etwa 150€ per Stück (Aliexpress ist günstiger, aber kann dann mit Einfuhrumsatzsteuer und Zoll auch nicht viel billiger werden, nur wenn man Glück hat).
D5-Pumpe (~70€), AGB (~80€), Fittinge je nach Geschmack und Typ zwischen 2-10€ das Stück. Bei Radiatoren kommt es drauf an, Externe wie der MoRa kosten rund 165€/Stück, und ich tippe mal du wirst mindestens zwei brauchen, eher sogar drei. Intern könnte es mit meinem Gehäuse gehen, aber dann nie mit den Temperaturen von den MoRas vergleichbar, die haben einfach mehr Fläche. Und interne Radiatoren sind auch nicht billiger, ich habe 6 x 92€ gezahlt. Ein CPU-Kühlblock liegt im Schnitt bei 70-120€.
Nein!
Der Ryzen hat 40 Lanes, 24 nutzbar und da auch nicht alle. Deswegen nimmt man für so etwas dann auch einen Threadripper, weil der kann 4 x 16 und hat immer noch Lanes übrig.
Ich habe mir mal den Spaß gemacht und geschaut was er aktuell für meine Kiste (ohne GraKa,mit 64 GB Ram und 4 TB SSD) zahlen würde: 4.400€, dann 4 x 700€ für die 3080, 600€ für die Cover, läge er bei etwa 7.800€. Also nicht soo viel weg von deinen angenommenen 10k €. Es war schon immer etwas teurer bei den großen Jungs mitzuspielen.
Mir ist kein TRX40 Mobo bekannt, was 4x PCIe 4.0 x 16 oder auch nur 3.0 x 16 hätte. Ich würde ein So. 2066 Mobo - Asus WS X299 Sage - in Erwägung ziehen, das unterstützt offiziell 4 Grakas. Allerdings wäre es sinnvoll, herauszufinden, ob die vorgesehe Anwendung von guter Performance der PCIe Anbindung überhaupt profitiert.
Dass der Rechner im Vollausbau unter Last fast soviel Hitze produziert wie ein Heizlüfter dürfte hoffentlich klar sein.
Gibt es absolut keine mögichkeit mit einer CPU unter 500€ auszukommen?
Threadripper Gen 3 sind teuer ohne ende, dafür dass ich nur 12 kerne brauche. allerhöchstens 16.
Du kannst Dir z.B. ein Asrock X399 Taichi besorgen - das kann immerhin 4 Grakas aufnehemen und nen alten (gebrauchten) Threadripper 1920X oder 1950X. Nen 1950X hab ich noch rumliegen - wenn Du Dir sowas antun willst bitte pn. Ich rate aber davon ab wegen schwachem Speicher Interface und magerer Rechenleistung.
Bei so einem Setup kann es passieren, dass 3 Grakas nicht schneller sind als 2. Hängt aber von der Software ab.
Du kannst Dir z.B. ein Asrock X399 Taichi besorgen - das kann immerhin 4 Grakas aufnehemen und nen alten (gebrauchten) Threadripper 1920X oder 1950X. Nen 1950X hab ich noch rumliegen - wenn Du Dir sowas antun willst bitte pn. Ich rate aber davon ab wegen schwachem Speicher Interface und magerer Rechenleistung.
Bei so einem Setup kann es passieren, dass 3 Grakas nicht schneller sind als 2. Hängt aber von der Software ab.
Ampere belastet die PCIe-Grenzen von 5,5A-66W mehr als andere Generationen, darüber hinaus gibt es kein Problem in Verbindung mit PCIe und dem Netzteil.
Da Problem ist, dass es wohl niemand ausprobiert hat. Tatsächlich hab ich eine (relativ langweilige non-OC Gainward) RTX 3090, die zieht um 65W aus dem PCIe Slot. Und ja, wenn 4 Grakas soviel aus PCIe saugen, kann es eng werden. Aber ich hab noch keinen Test / Bericht darüber gesehen.
Ob man das einfach selbst rausfinden will mit der Gefahr zu scheitern, das muss jeder selbst wissen.
Ansonsten kann es schlauer sein, 2 separate Rechner mit je 2 Grakas aufzubauen.
Das und dazu das krasse Missverhältnis von "Budget" auf Seiten der Plattform einerseits und mehreren Oberklasse Grafikkarten plus möglicher Nachrüst-Wasserkühlung andererseits...
Ähm also ich hab das Ziel nicht geändert. Wenn ja: show me the quote
Ich will immernoch eine mindestens 3 Ampere GPU Workstation bauen.
CUDA Deep Learning zieht halt größtenteils nur GPU performance.
CPU sollte minimum sein da sie nur für preprocessing (== der "Extrahiere eine dicke menge daten aus deinen bishereigen daten und bringe sie in die richtigen formen"-Vorgang, kann allerdings schon paar stunden dauern).
TL;DR: (Einzige anforderungen)
3 GPUs machbar (erstmal werden nur 1-2 geholt) (wenn 3090 halt nicht klappt dann eben 3080)
für jede GPU mindestens ein PCIe 8x 3.0 oder 4x 4.0
mind. 12 Cores.
mind. eine m.2 SSD slot. (siehe motherboard)
mind. 128GB RAM (sieher motherboard
Nacher aufrüstbar:
PSU kann von mir aus aufgerüstet werden.
Kühlung auch.
Gehäuse?-> eher ungern, aber wenn es sein muss...
Das Problem ist halt CPU & MB - konstellation, da ich hierfür kein geld habe aktuell und auch nicht vorhabe einen unnötig teuren 24Core Prozessor reinzuklatschen den ich eh nicht brauche.
Sagt ihr, dass das oben nur mit einem threadripper 3 mainboard (TRX4) machbar ist?
Ansonsten lasst mich die Frage anders stellen:
Wie kann ich möglichst kosteneffizient vorgehen, wenn ich in den nächsten monaten ein 2x 3080 setup brauche,
es aber Ende 2021 auf mind. 3x 3080 aufrüsten muss.
Und mitte 2021 mit entweder 4x 3080 oder 3x 3090 fahren kann?
Das will ich möglichst vermeiden: alles 2 mal kaufen
Dann würde ich ein X399 Taichi nehmen + nen Threadripper der 1. oder 2. Generation. Das Mobo hat nen 6-poligen PCIe Stromstecker, den man, wenn man 4 Grakas einbaut, anschließen muss. Laut Bedienungsanleitung Seite 27 sollte das dann auch gehen.
Wann muss ich michentschieden haben?
bis ende diesen monat. (weil muss einen zeitplan einhalten und die GPUs sollten anfang oktober schon lauffähig sein)
Ich will immernoch eine mindestens 3 Ampere GPU Workstation bauen.
CUDA Deep Learning zieht halt größtenteils nur GPU performance.
CPU sollte minimum sein da sie nur für preprocessing (== der "Extrahiere eine dicke menge daten aus deinen bishereigen daten und bringe sie in die richtigen formen"-Vorgang, kann allerdings schon paar stunden dauern).
Darf ich mal fragen, wieviel praktische Erfahrung du damit hast?! Ich weiß nicht, was für High-End-Research du machst, aber "ein paar Stunden" fürs Preprocessing (und dann auch noch regelmäßig?!) hört sich für mich schon eher danach an, als hast du a) riesige Datenmengen (wofür du dann auch eine ordentliche SSD möchtest...) hast oder b) das ganze öfter machen wirst (weil eben offensichtlich nicht riesige Datenmengen) und komplexer. Aber gut, du weißt es ja besser
Wie mannigfaltig dargelegt: das geht nicht zu deinen Preisvorstellungen (schon allein die "Mindestanforderungen kosten mindestens 800€ ohne zum Betrieb nötige Dinge...). Das sollte Dir, der Du offensichtlich quantitativ tätig bist, auch auffallen... Nachdem wir kürzlich potentielle neue Kollegen betrachtet haben, wundert mich da aber langsam tatsächlich gar nichts mehr.
Das Problem ist halt CPU & MB - konstellation, da ich hierfür kein geld habe aktuell und auch nicht vorhabe einen unnötig teuren 24Core Prozessor reinzuklatschen den ich eh nicht brauche.
Sagt ihr, dass das oben nur mit einem threadripper 3 mainboard (TRX4) machbar ist?
"da ich hierfür kein Geld habe". Nun laufen leider die GPUs nicht von alleine... Und ja, wie schon mehrfach gesagt brauchst du da einen Threadripper oder was in die Richtung: https://www.deltacomputer.com/d21z-m2-zr-4xgpu.html (und ooooh Wunder, das kostet halt, was es kostet...) [und bitte nicht darauf festlegen, dass das Teil mit 3080s läuft
Wie kann ich möglichst kosteneffizient vorgehen, wenn ich in den nächsten monaten ein 2x 3080 setup brauche,
es aber Ende 2021 auf mind. 3x 3080 aufrüsten muss.
Und mitte 2021 mit entweder 4x 3080 oder 3x 3090 fahren kann?
Deswegen willst du das Netzteil, die GPUs, die Kühlung und das Gehäuse erst mal klein kaufen und dann aufrüsten. Aber bei der CPU geht's dann um 300€...
Tut mir leid, aber vllt. bist du einfach der Aufgabe (und scheinbar vielen anderen) geistig nicht gewachsen...
Aber das ist doch viel zu teuer!!! Der TE hat kein Geld für so ein teures Mainboard, der kauft lieber 4x RTX3090 (ohne überhaupt zu wissen, was er genau macht).
Er will ja sowieso 12+ Kerne und 128GB. Wär weder viel teurer als AM4 (macht eh 0 Sinn) noch TRX4, wenn man das Gesamtsystem betrachtet. Habe jetzt die RAM Preise nicht im Blick aktuell, aber bei 128GB dürfte es mit Reg ECC, bzw. Board mit 8 Bänken günstiger werden was den Speicher anbelangt. Octa Channel gibts gleich auch noch dazu. Bei AM4 oder dem genannten X399 Taichi müsste er dann ja auf 32GB UDIMM Riegel gehen, das wär sicher auch nicht ganz billig. Spielt denn ECC überhaupt eine Rolle bei solchen Berechnungen? Die Epyc Rome CPUs sind btw. auch nicht wirklich teurer als bei TRX4, bisschen langsamer halt. Bei Digitec gäbs z.B. gerade den 7351 für CHF 670.-. Galaxus scheint in DE ja auch vertreten zu sein, vielleicht können die das aus der Schweiz direkt liefern.
Und da es eh um einen grösseren vierstelligen Betrag geht, würde ich die Option zumindest mal prüfen. Weil da hätte der TE ganz viele PCIe 4.0 Lanes zur Verfügung. Gäbe auch noch ein Board mit ein bisschen weniger PCIe 4.0 aus der gleichen Serie, das wär dann nochmals bisschen günstiger.
Ich muss mir meine Hardware auch vom Mund absparen. Ich kauf mir meistens Teil nach Teil, da kann es schon sein, dass ein Board mal ein paar Monate rum liegt bevor es dann eingebaut wird. Aber wenn ich sowas vor hätte, würde ich erst einmal was für einen gescheiten Unterbau auslegen. 4x 3080 oder 3090 und so.
Ich bekomme btw. dieses Jahr noch ein ASUS X99-E WS Board mit 7 Fullsize PCIe 3.0 Slots und zwei PLX Chips. Das würde mit einem E5 v3/v4 Xeon auch Reg ECC fressen. Das würde ich eventuell veräussern, das wäre dann halt eine vernünftige Budged Variante. Würde ich auf jeden Fall einem AM4 System vorziehen, bei Deinen Anforderungen. Aber verschenken würde ich es auch nicht, das war mal ein richtig fettes Board für jemanden der viel I/O, bzw. Quad GPU brauchte. Das Board da wärs:
Dann würde ich ein X399 Taichi nehmen + nen Threadripper der 1. oder 2. Generation. Das Mobo hat nen 6-poligen PCIe Stromstecker, den man, wenn man 4 Grakas einbaut, anschließen muss. Laut Bedienungsanleitung Seite 27 sollte das dann auch gehen.
Hey Kullberg, danke für die super antwort ,
dachte da gäbe es probleme 3 ampere GPUs anzuschließen?? (hat ja jemand hier geschieben)
Falls nicht, wäre es echt super. Hast du noch eine Netzteilempfehlung? ((zumindest solange ich nur a)1 oder b)2 GPUs verbaut habe), ein weiteres kann ja später hinzu gekauft werden (oder?)
Hase, wenn du lesen könntest, hättest du verstanden, dass ich die GPUs stück für stück kaufen muss und mir aktuell nur eine leisten kann, wenn man Strom etc miteinkalkuliert. Das Geld kommt vom Monats-Einkommen, falls du das meinst und ich verdiene aktuell leider noch keine 15k netto. (ja musste selbst fasst würgen als ich das gelesen habe, was für ein bescheidener Lifestyle)
Naja 500 + nochmal 300 + noch ein teueres Mainboard (== mind. 1.1k) würde ich weniger gerne aufrüsten als ein 300€ netzteil. Aber wie gesagt: "bescheidener Lifestyle"
Tut mir leid, aber vllt. bist du einfach der Aufgabe (und scheinbar vielen anderen) geistig nicht gewachsen...
Danke für die Beleidigung. Hoffe du kannst heute mal gut schlafen, denn nach meiner amateur-psychologischen einschätzung weinen sich solche leute in den schlaf, wenn sie es nötig haben vor Neulinge für ihre Unwissenheit zu beleidigen.
Sollte sich dein kompensierender Ton, zukünftig nich "ordentlicher" sein, würde ich dich bitten es sachlich aber konstruktiv zu versuchen oder einfach nichts zu schreiben.
Alternativ können wir gerne so weiter schreiben :* Inb4 solltest du im nächsten kommentar mit einem immaginären McLaren flexen weiß ich dass ich recht hatte
Zeitpläne können hinterher hinken und das kann teuer werden. Stimmt. Aber was soll ich sonst machen, wenn die abgesprochenen GPUs überall ausverkauft waren?
@alle anderen: Tut mir leid dass ich das lesen musstet. Aber hatte die wahl das Risiko nochmal einen Brecheimer holen zu müssen oder ihm zu antworten.
Ich hoffe wir können sachlich weiter schreiben und danke euch für eure bisherigen kompetenten Vorschläge. Ihr seid großartig und ohne euch würden viele selbstständige nicht auf ihrer maximalen Effizienz fahren.
Die Idee finde ich gut. Ich glaube sie wurde tatsächlich mal kurz erwähnt in einem ähnlichen veralteten Thread.
2.4 gHz x 16 wär multipliziert fast das gleiche wie 3.2 x 12...
Kennt sich jemand mit dem Leistungsunterschied im bezug auf parallelisiert-berechnete (==vektorisierten) array multiplikationen aus?
Weil wird wahrscheinlich nicht verhältnis mäßig sein oder etwa doch?
@Edmunds: Kann es sein dass du immernoch voll im Dunkeln stehst? Du hast keinen blassen Schimmer über deine Anforderungen in Software und auch keinen blassen schimmer was das in Hardware bedeutet, oder? Und das Thema 2-3 Slot Grafikkarten, Abstände PCIe Slots usw. hast du auch noch nicht kapiert, oder?
Deine Statements lassen jedenfalls vermuten dass du nach 3 Seiten Thread keinen Schritt weiter bist.
schau mal hier vorbei und scrolle was runter. Da bekommst du fertige DeepLearnung Workstations mit 3 Jahren Wartung inklusive ab 5000€.
evtl ist das ja was für dich.
Mit Deep Learning Servern von CADnetwork trainieren Sie Ihre neuronalen Netze in Tensorflow, Caffe, Theano, Torch und anderen Deep Learning Frameworks in deutlich kürzerer Zeit.
@Edmunds: Kann es sein dass du immernoch voll im Dunkeln stehst? Du hast keinen blassen Schimmer über deine Anforderungen in Software und auch keinen blassen schimmer was das in Hardware bedeutet, oder? Und das Thema 2-3 Slot Grafikkarten, Abstände PCIe Slots usw. hast du auch noch nicht kapiert, oder?
Deine Statements lassen jedenfalls vermuten dass du nach 3 Seiten Thread keinen Schritt weiter bist.
Naja, dafür dass ich u.a. dazu gelernt habe, dass es bei den PCIe Slot versorgungen durch PSU problematisch werden kann und nun weiß was sich warum nicht eignet... schon weiter würde ich sagen.
Ich müsste noch auf @Kullberg 's antwort warten, sofern der gute heute die zeit findet, dann kann ich dir eine vollständige antwort geben.
Das Taichi x399 stand schonmal im Raum (und TR 2.Gen wollte ich eig vermeiden, da aktuell überteuert (im Juni noch für 450 zu haben gewesen)), aber wenn es nur so geht? (-> Wenn es denn überhaupt so geht).
Genau - und es gibt immer noch keine Information, ob die Anwendung von CPU power profitiert, oder nicht.
Das müsstest du evtl erläutern.
Da ich davon ausging, dass du im Schach-Deeplearning auch zwischen Preprocessing (==CPU only) und training(== mostly GPU durch CUDA, jaa teilweise auch CPU), könnte ich jetzt nur noch sagen dass schätzungsweise (durch extrapolation der 'Benchmarks' an einem 4 core Intel notebook-prozessor), eine 2920x oder bis 2950x ausreichend wäre, alles darüber wäre gut muss aber nicht, da Threadripper ohnehin schon 300€ über meinem MAXIMAL budget für eine CPU sind. (Hatte anfangs mit dem 1920x gerechnet, der 140€ gekostet hat)
,