Deep learning workstation auf budget zusammenstellen

da mir immer geraten wird: 2x 3080 sollten reichen... -> "reichen" ist relativ.
Ich weis nicht, ob du das gelesen hast. Deshalb nochmal der Vergleich.
@Thorsteen hat es oben ja schonmal gepostet.

Anhang anzeigen 531978
Quelle: https://timdettmers.com/2020/09/07/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance

Das macht 10% mehr Performance für 120% Aufpreis. Anstatt so unsinnig Geld zu verbrennen, investiere lieber 500€ mehr in einen Threadripper und kaufe dir 4x3080...... da hast du zum gleichen Betrag vermutlich die doppelte Leistung. (Anständige Kühlung vorausgesetzt)
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Das macht 10% mehr Performance für 120% Aufpreis. Anstatt so unsinnig Geld zu verbrennen, investiere lieber 500€ mehr in einen Threadripper und kaufe dir 4x3080...... da hast du zum gleichen Betrag vermutlich die doppelte Leistung. (Anständige Kühlung vorausgesetzt)

Aktuell muss man ja fast 1.800€ für eine einzelne 3090 einplanen, die Gigabyte dürfte auch nicht wirklich günstiger werden. Wenn man dann seine Pläne mit 3 x 3090 ansieht, dann ist man weit außerhalb jeglicher Komfortzone. 5.400€ aktuell für 3 Karten sind eine Hausnummer. Ich verstehe eh diese Fixierung auf "Ende diesen Monats" nicht, der Markt ist dafür viel zu sehr im Umbruch. Zen3 steht vor der Tür, vermutlich sogar Octachannel beim Threadripper im Laufe des nächsten Jahres, AMD scheint ja durch CUDA-Anwendungen raus zu sein, aber selbst bei Nvidia dürften noch einige nette Bauformen im Lauf des nächsten Jahres auftauchen. Die 20 GB VRam-Version kann man schon einmal ganz fest in den Kalender eintragen, wo die dann preislich liegen wird man sehen müssen.
 
Aktuell muss man ja fast 1.800€ für eine einzelne 3090 einplanen, die Gigabyte dürfte auch nicht wirklich günstiger werden. Wenn man dann seine Pläne mit 3 x 3090 ansieht, dann ist man weit außerhalb jeglicher Komfortzone. 5.400€ aktuell für 3 Karten sind eine Hausnummer. Ich verstehe eh diese Fixierung auf "Ende diesen Monats" nicht, der Markt ist dafür viel zu sehr im Umbruch. Zen3 steht vor der Tür, vermutlich sogar Octachannel beim Threadripper im Laufe des nächsten Jahres, AMD scheint ja durch CUDA-Anwendungen raus zu sein, aber selbst bei Nvidia dürften noch einige nette Bauformen im Lauf des nächsten Jahres auftauchen. Die 20 GB VRam-Version kann man schon einmal ganz fest in den Kalender eintragen, wo die dann preislich liegen wird man sehen müssen.
Hi, die 5.400€ sind nicht so viel für 3 Stück.
Wenn man eine Quadro Turing mit 48GByte GDDR6 nimmt zahlt man für eine schon 5.999.-€
 
Wenn man eine Quadro Turing mit 48GByte GDDR6 nimmt zahlt man für eine schon 5.999.-€

Dann zücke ich mal die A100 von Nvidia für 12.000€. :d
Spaß beiseite, mit den Monstern schießt man ja noch mehr am eigentlichen Ziel vorbei, da kann man sich gleich ein Netzwerk aus ein paar XBoxen aufbauen und dort rechnen lassen. :) WWenn man damit Geld verdient oder in der Forschung arbeitet relativiert sich der Preis dann eventuell, aber mir kommt das ganze Projekt hier ja eher wie ein sehr ambitioniertes Hobbyprojekt vor. Und da sollte man schon die Preisfrage stellen. Eine Kombi aus TRX40, 3960X, 4 x 3080 (kommende 20 GB Version) mit WaKü-Block sollte bei ähnlichen Kosten mehr Leistung und weniger Probleme machen. Und wenn der Threadersteller mal genauere Eckdaten genannt hätte, dann wären auch andere Möglichkeiten aufzeigbar. Weil es gibt auch Gehäuse die ganz entspannt 4 x 3 Slot GraKas aufnehmen. Nur ist man dann weit weg vom Mainstream.
 
Dann zücke ich mal die A100 von Nvidia für 12.000€. :d
Spaß beiseite, mit den Monstern schießt man ja noch mehr am eigentlichen Ziel vorbei, da kann man sich gleich ein Netzwerk aus ein paar XBoxen aufbauen und dort rechnen lassen. :) WWenn man damit Geld verdient oder in der Forschung arbeitet relativiert sich der Preis dann eventuell, aber mir kommt das ganze Projekt hier ja eher wie ein sehr ambitioniertes Hobbyprojekt vor. Und da sollte man schon die Preisfrage stellen. Eine Kombi aus TRX40, 3960X, 4 x 3080 (kommende 20 GB Version) mit WaKü-Block sollte bei ähnlichen Kosten mehr Leistung und weniger Probleme machen. Und wenn der Threadersteller mal genauere Eckdaten genannt hätte, dann wären auch andere Möglichkeiten aufzeigbar. Weil es gibt auch Gehäuse die ganz entspannt 4 x 3 Slot GraKas aufnehmen. Nur ist man dann weit weg vom Mainstream.
Guten Abend,

sind bei der 12.000€ A100 dann ECC für den VRAM dabei?

Bei AMD gibts das ab 3013.00€

3x HD 7970 hatte ich auch am laufen, unter 1kWh!
Für das 850W Netzteil nur möglich mit System @ Standard Takt ;)
 
sind bei der 12.000€ A100 dann ECC für den VRAM dabei?

40 GB HBM2 hat die verbaut. Wobei sich die Specs nicht wirklich wahnsinnig Leistungsstark lesen. :d

3x HD 7970 hatte ich auch am laufen, unter 1kWh!

Für Gaming (SLI) oder für Berechnungen?
In Seti@Home wurde mein 2 x 1080 Gespann dann vom Threadripper mit seinen 24 Kernen zersägt. :) Da sieht man dann erst einmal wieviel Bumms an Rechenleistung man heute unter der Haube hat, wo ich 2000 mit Seti@Home begonnen habe dauerte ein Paket schon mal einige Tage. Eine 2080 Ti haut das heute in 6-8 Minuten durch, CPU dauert etwas länger.
 
Ich weis nicht, ob du das gelesen hast. Deshalb nochmal der Vergleich.
@Thorsteen hat es oben ja schonmal gepostet.

Anhang anzeigen 531978
Quelle: https://timdettmers.com/2020/09/07/which-gpu-for-deep-learning/#GPU_Deep_Learning_Performance

Das macht 10% mehr Performance für 120% Aufpreis. Anstatt so unsinnig Geld zu verbrennen, investiere lieber 500€ mehr in einen Threadripper und kaufe dir 4x3080...... da hast du zum gleichen Betrag vermutlich die doppelte Leistung. (Anständige Kühlung vorausgesetzt)
Wir reden aneinander vorbei^^. meine antwort bezieht sich auf anzahl 2. Bei dem Preis leistungsverhältnis eine 3080 einer 3090 vorzuziehen ist natürlich vernünftig, (vorausgesetzt man zieht aus der 2,4 fachen menge an VRAM keinen vorteil, -> wäre bei mir jedoch der fall wenn ich vorausschauend plane. ... dass der preis unverhältnismäßig ist stimmt jedoch)

daher dürften 3080s es auch für die nächsten 12 monate tun. danach sollte jedoch mind. eine karte mit mehr VRAM her.
Vorausschauend wäre es Mmn nach der ersten oder zweiten 3080 nur noch 3090s zu kaufen.

Aber ich verstehe deinen standpunkt auf jeden fall :-)
Beitrag automatisch zusammengeführt:

Guten Abend,

sind bei der 12.000€ A100 dann ECC für den VRAM dabei?

Bei AMD gibts das ab 3013.00€

3x HD 7970 hatte ich auch am laufen, unter 1kWh!
Für das 850W Netzteil nur möglich mit System @ Standard Takt ;)
was haste deep learning technisch mit den dingern gemacht (sofern das kein sarkasmus ist)
Beitrag automatisch zusammengeführt:

AMD scheint ja durch CUDA-Anwendungen raus zu sein, aber selbst bei Nvidia dürften noch einige nette Bauformen im Lauf des nächsten Jahres auftauchen.
Haben AMD kerne bezüglich Tensorflow FP32 parallelisierungen irgendwelche nachteile?
 
Zuletzt bearbeitet:
Vorausschauend wäre es Mmn nach der ersten oder zweiten 3080 nur noch 3090s zu kaufen.

Wirklich vorausschauend wäre es zu warten. Wir stehen im Moment vor einer neuen Generation an GPUs und auch CPUs, die nächsten 6-10 Monate werden den Markt noch einmal durcheinander wirbeln. Von der 3080 wird mit hoher Wahrscheinlichkeit ein Modell mit 20 GB VRam erscheinen, definitiv günstiger als die 3090 und dann leistungstechnisch in der Nähe der 3090. Und mit dem Ramausbau dann auch in technischen Anwendungen ein Meilenstein. Und wenn dir der Ram nicht reicht, dann solltest du eh auf ein ganz anderes Modell wechseln, weil dann machen die 4 GB VRam bei der 3090 den Kohl auch nicht mehr fett. In meinen Augen fehlt es dir für dein Projekt an einem vernünftigem Lastenheft.

Haben AMD kerne bezüglich Tensorflow FP32 parallelisierungen irgendwelche nachteile?

Irgendwo stand hier im Thread das du Nvidia-GPUs benötigst, deine Software musst du am besten kennen, weil genau von der hängt alles ab. Wenn die auch mit AMD läuft dann würde ich erst recht mit dem Bau warten, weil vieleicht ist etwas passendes bei der AMD-Vorstellung dabei. Und selbst wenn nicht, in der Zwischenzeit dürften neue Revisionen der 30xx-Serie draußen sein, ihre Stabilitäts und Hitzeprobleme dürften noch spannend werden.
 
V.a. verstehe ich nicht, warum er sich scheinbar privat für seine (Doktor?)-Arbeit eine Deeplearning-Workstation bauen muss. Entweder es gibt das Geld vom Lehrstuhl, oder nicht, dann sollte man sich, wenn der Lehrstuhl trotzdem will, aber vllt. doch lieber was anderes suchen... Ansonsten geht's vmtl. um Deepfakes von der Ex, was ich bei der offensichtlichen Unwissenheit an manchen Punkten auch nicht ausschließen würde...

Btw.: da mein Lehrstuhl zwar Geld, aber kein "Flur-Know-How" hatte: spar' dir tensorflow und nimm py-torch (und mögliche Vorteile auf Clustern/bei der Performance sind den Aufwand einfach nicht wert, wenn das instutionalisierte Know-How nicht über `pip install tensorflow-gpu` hinausgeht, wonach dieser Thread deutlich aussieht....)
 
Für Gaming (SLI) oder für Berechnungen?
In Seti@Home wurde mein 2 x 1080 Gespann dann vom Threadripper mit seinen 24 Kernen zersägt. :) Da sieht man dann erst einmal wieviel Bumms an Rechenleistung man heute unter der Haube hat, wo ich 2000 mit Seti@Home begonnen habe dauerte ein Paket schon mal einige Tage. Eine 2080 Ti haut das heute in 6-8 Minuten durch, CPU dauert etwas länger.
Sowohl als auch, CrossfireX & Boinc Projekte jeder Art.
Am schnellsten sind sie bei Collatz und MilkyWay entsprechend werden sie dort auch sehr heiß 90°C+
Da musst auch das Netzteil einplanen, am Anfang ging es noch mit 3 Karten, aber im laufe der Zeit als die Auslastung besser wurde bei den Projekten hatte ich mit 2 Karten schon den Verbrauch von vorher 3 GPUs.



was haste deep learning technisch mit den dingern gemacht (sofern das kein sarkasmus ist)
Ich habe keine Praktischen Erfahrungen mit DeepLearning, aber wenn das System Tage lang daran herum rechnet würde ich nur mit ECC Speicher arbeiten.

Sarkasmus meinte ich damit Definitiv nicht. ;)
 
V.a. verstehe ich nicht, warum er sich scheinbar privat für seine (Doktor?)-Arbeit eine Deeplearning-Workstation bauen muss. Entweder es gibt das Geld vom Lehrstuhl, oder nicht, dann sollte man sich, wenn der Lehrstuhl trotzdem will, aber vllt. doch lieber was anderes suchen... Ansonsten geht's vmtl. um Deepfakes von der Ex, was ich bei der offensichtlichen Unwissenheit an manchen Punkten auch nicht ausschließen würde...

Ich denke eher das ist eine private Geschichte. Und selbst wenn er eine Doktorarbeit da drüber schreiben will, es sollte dann doch auch eine Kiste mit zb. 4 x 2060, die es ab 380€ gibt, völlig ausreichen. Oder sogar noch etwas darunter bzw. einer 2080 Ti, da gibt es bestimmt Unmengen an Lösungen die funktionieren. Oder muss man da Zeitwerte einhalten? So nach dem Motto, diese 400 Petabyte an Daten müssen in 60 Sekunden nach allen Primzahlen und Vielfachen von 42 durchsucht werden. Kann ich mir ehrlich gesagt nicht vorstellen.

Ich habe keine Praktischen Erfahrungen mit DeepLearning, aber wenn das System Tage lang daran herum rechnet würde ich nur mit ECC Speicher arbeiten.

Dann ist der Ryzen und auch der Threadripper aber raus! Weil, es sei denn die haben es geändert, bei beiden ist ECC nicht offiziell, dafür ist dann der Epyc zuständig. Wobei ich da keinen wirklichen Sinn drin sehe, dann kippt ihm halt ein Bit und im schlimmsten Fall sind ein paar Stunden Arbeit futsch. Und wer garantiert dir im Eigenbau das dein ECC auch das macht was du meinst? Dazu kommt das der um die 20-30% teurer ist und maximal 2666er sich auftreiben lässt. Also ich sehe nicht wirklich den Gewinn für ECC.

Da musst auch das Netzteil einplanen, am Anfang ging es noch mit 3 Karten, aber im laufe der Zeit als die Auslastung besser wurde bei den Projekten hatte ich mit 2 Karten schon den Verbrauch von vorher 3 GPUs.

Die Sache ist mir heute auf Arbeit durch den Kopf gegangen! Da fährt man gemütlich mit 1.600t durch die Landschaft und denkt sich so: "Die 3090 zieht 350@Stock, bis 390W zb. bei Gigabyte OC-Karten, das sind mal ebend 32,5A welche die Teile aus dem Netzteil saugen!". Und auch wenn bis zu 75W aus dem Slot kommen können, der Saft wird ihm ja vom Netzteil über die 12V-Schiene bereitgestellt. Also daheim mal auf einem kaputten Thermatake Rome mit 750W geschaut, da sind 62A auf der 12V-Schiene maximal rausholbar. Das wird im Endeffekt wohl darauf hinaus laufen das man pro GPU ein Netzteil braucht. Und klar gibt es Netzteile wie das Corsair AX1600i mit 1.600W, aber 90A über die beiden GPU-Anschlüsse zu saugen, das halte ich für sehr sportlich. Da kann man nur hoffen das die Hausratversicherung auch PC-Brände mit abdeckt. Ist spannend welche Probleme bei solchen Projekten immer wieder zu Tage kommen. :d
 
Threadripper und Ryzen Pro 4000 unterstützen ECC offiziel - und es gibt 3200er ECC RAM (hab ich selbst in Betrieb).

Dass es mit dem Netzteil eng wird, ist klar. Insbesondere dürfte es nur wenige Mobos geben, die auf mehr als 2 PCIe Slots 75 W bereitstellen können. Ich weiß nicht, ob das ASUS WS C422 Pro/SE das kann - es hat zumindest 2 8-polige CPU Stecker + 1 6 poligen Graka PCIe Stecker, die alle angeschlossen werden müssen, wenn man wenigstens 2 Grakas verwenden will. Ich hab 2 von diesen Mobos, allerdings 3 Grakas hab ich nicht probiert.
 
Zuletzt bearbeitet:
@Kullberg
Bei den ersten steht da aber Registered. Laufen die mit Ryzen?
 
Ryzen läuft nur mit UDIMMs. Die sollten alle unbuffered sein. Zumindest die Micron 32 GB Module, die ich habe, funktionieren mit einem 3900X und auch mit einem 4750G.
 
Ah dachte die Geizhals Liste sei schon auf unbuffered gestellt gewesen. War verwundert, weil der erste Treffer folgender war:
Registered buffered
 
Der ist doch unbuffered? Und ja, die Liste war auf UDIMM.
 
Btw.: da mein Lehrstuhl zwar Geld, aber kein "Flur-Know-How" hatte: spar' dir tensorflow und nimm py-torch (und mögliche Vorteile auf Clustern/bei der Performance sind den Aufwand einfach nicht wert, wenn das instutionalisierte Know-How nicht über `pip install tensorflow-gpu` hinausgeht, wonach dieser Thread deutlich aussieht....)
benchmark technisch schaut es aus als wären tensorflow & pytorch gleich auf bezogen auf LSTMs. oder liege ich falsch
Beitrag automatisch zusammengeführt:

Das wird im Endeffekt wohl darauf hinaus laufen das man pro GPU ein Netzteil braucht. Und klar gibt es Netzteile wie das Corsair AX1600i mit 1.600W, aber 90A über die beiden GPU-Anschlüsse zu saugen, das halte ich für sehr sportlich. Da kann man nur hoffen das die Hausratversicherung auch PC-Brände mit abdeckt. Ist spannend welche Probleme bei solchen Projekten immer wieder zu Tage kommen. :d
Damit ich das richtig verstehe: auf meinen Fall bezogen? Hatte jetzt nämlich so ein 1600w PSU eingeplant
kann man denn 3x 500 watt Netzteile einfach so in ein "normales" case anschließen?
 
Zuletzt bearbeitet:
Es gibt relativ normale Cases, wo man 2 Netzteile einbauen kann (hab sogar selbst so eins) - aber 3 dürfte schwer werden.
 
Damit ich das richtig verstehe: auf meinen Fall bezogen? Hatte jetzt nämlich so ein 1600w PSU eingeplant
kann man denn 3x 500 watt Netzteile einfach so in ein "normales" case anschließen?

Es gibt zwei Probleme, das erste sind die Anzahl der Stecker und das zweite, die Leistung der 12V Schiene. Lässt sich auch sehr einfach ausrechnen, Nvidia gibt 350W für die 3090 an, das sind etwas über 29A pro Karte. Also 90A allein für die GPUs und dann noch den Rest auf der 12V Schiene. Und an deiner Stelle würde ich mich mal langsam von Gehäusen verabschieden, das was du vorhast ist eher ein Mining-Rack.


Es gibt relativ normale Cases, wo man 2 Netzteile einbauen kann (hab sogar selbst so eins) - aber 3 dürfte schwer werden.

Ich biete 4 x PSU-Möglichkeit. :d
 
@Kullberg

1602358196351.png


Der Tisch ist ein ganz normaler, aber wenn ein 240 L Würfel drauf steht, dann schrumpft der optisch ein wenig. :d
Unten gehen je zwei PSU rein, gibt unterschiedliche Blenden dafür. Und oben gehen auch zwei rein, ist ja für zwei ATX-Boards gedacht.
 
@Kullberg

Anhang anzeigen 538136

Der Tisch ist ein ganz normaler, aber wenn ein 240 L Würfel drauf steht, dann schrumpft der optisch ein wenig. :d
Unten gehen je zwei PSU rein, gibt unterschiedliche Blenden dafür. Und oben gehen auch zwei rein, ist ja für zwei ATX-Boards gedacht.
Wie heißt das Schmuckstück?

Also:
Amper Stromstärke ist das Problem sagst du weil nicht jeder PCIe Slot 75w (sicher Watt? Nicht A? Ernste Frage, bin hardware-knowledge technisch noch nicht auf eurem Level und übersehe wie jeder Mensch Mal was) bereitstellt.

Was schließt 2x 800w PSU aus?
Zum Mainboard: ist das Taichi x399 weg vom Tisch?
 
u * i = p
Spannung * Stromstärke = Leistung (power)
Bei 12V entsprechen 75W (und das ist, was der PCIe Slot bringen muss, wenn er für Grakas geeignet ist) 6,25 A.
2 x 800W geht prinzipiell, 2 x 1000 W wären wohl besser. Allerdings ist das Bastelaufwand, mehr als 1 Netzteil zu verwenden. Es gibt spezielle Mining Netzteile, die bis 2 kw gehen.
X399 ist keine gute Idee, da man da nur Threadripper der 1. und 2. Generation verwenden kann.

@Thorsteen
Geiles Teil - aber das ist doch sicher für mindesten 2 Systeme in dem einen Case vorgesehen?
 
Wie heißt das Schmuckstück?

Das ist ein Thermaltake W200 mit einem P200 Unterbau, das ganze ist modular aufbaubar. In der Kombination als WP200 bietet es Platz für 6 x 560mm Radiatoren, das war, neben der Möglichkeit 2 x ATX-Boards zu verbauen, der Hauptgrund für das Gehäuse. Ist leider EOL und nur noch schwer zu beziehen. Preislich liegt es, so wie es dort steht, bei rund 650-700€, je nach Angebot.

Amper Stromstärke ist das Problem sagst du weil nicht jeder PCIe Slot 75w (sicher Watt? Nicht A? Ernste Frage, bin hardware-knowledge technisch noch nicht auf eurem Level und übersehe wie jeder Mensch Mal was) bereitstellt.

Die PCI-Spezifikation sieht maximal 5,5A aus dem Slot bei 12V vor, 12V x 5,5A = 66W. Die fehlenden Watt sind auf 3,3V spezifiziert, 3A bei 3,3 V macht 9,9W, und wie man sieht sind die angeblichen 75W aus dem PCI-Slot somit nicht ganz richtig. Das selbe ist es bei Netzteilen, da zu sagen mein Netzteil hat XXX W ist zwar irgendwie richtig, sagt aber eigentlich rein gar nichts aus. Man muss dann im Datenblatt schauen welche Ströme auf den einzelnen Schienen machbar sind, einige geben das sogar noch als Dauerlast und Spitzenlast an. Auch zwei Paar Schuhe.

Was schließt 2x 800w PSU aus?

Relativ wenig, eventuell mal schauen wie man das im Miningbereich macht, dort werden oft auch mehrere Netzteile verwendet um die Karten zu betreiben. Möglich ist es also definitiv.
Beitrag automatisch zusammengeführt:

Bei 12V entsprechen 75W (und das ist, was der PCIe Slot bringen muss, wenn er für Grakas geeignet ist) 6,25 A.

Schau mal in die Spezifikationen, 5,5A auf 12V und 3A auf 3,3V. Das ist das teuflische wenn man dann noch ein mieses Netzteil, gerade so auf Knopf genäht, in einem System hat, und der Besitzer dann laufend sporadische Abstürze etc. hat. Bei den meisten fällt es nicht auf weil die Netzteile, in wohl fast allen Rechnern, weit mehr liefern können als verbraucht wird.

Geiles Teil - aber das ist doch sicher für mindesten 2 Systeme in dem einen Case vorgesehen?

Habe ich ja, in dem Gehäuse steckt ein 3960X und ein 3900X, beide in einem WaKü-Kreislauf eingebunden (beim Zweitrechner ist allerdings noch eine alte luftgekühlte 1080 drin).
 
Zuletzt bearbeitet:
Planänderung:
Wasserkühlung geht auch machbar.

Plan ist 2x 3080 dann später noch 1-2x 3080. alle mit Wasserkühlung.
a) kann ich Radiatoren, schläuche etc. alles für 2 holen & später problemlos für 2 weitere aufrüsten?
Wieviel müsste ich draufzahlen für:
a) Wasserkühlung für die ersten 2
b) die Aufrüstung
c) Case? (hier sollte es dann doch leichter/billiger fallen als beim Aircooling oder?)
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh