HPC Workstation Radeon 7970 bzw. 7990

[chevydevil]

Hallo. Ich möchte mir eine HPC workstation zusammenstellen mit möglichst vielen AMD Tahiti GPUs, da ich ein maximum an double precision performance benötige. Wenn ich das richtig sehe kann ich aufgrund der driple slot Bauweise der Modelle der Radeon HD 7990 nur 2 davon auf diesem board unterbringen:

ASUS Z9PE-D8 WS, C602 (dual Sockel-2011, quad PC3-12800R reg ECC DDR3) (90-MSVDY0-G0EAY00T) Preisvergleich | Geizhals Deutschland

Ich habe bisher kein board gefunden, dass sonst noch 4x PCIE 3.0 x16 ermöglicht. Ich würde ungern auf die firepro-karten ausweichen, da ich ecc nicht benötige und das Preis-Leistungs-Verhältniss dann flöten geht.
Hat jemand einen Tipp für mich wie ich das realisieren kann? Alternativ wären natürlich auch 8 Radeon 7970 denkbar. Aber welches board kann so viele dual-slot Karten aufnehmen? Kennt vielleicht jemand wassergekühlte Modelle der angesprochenen Karten? Würde man mit einem Wasserkühlblock auf single-slot kommen?

Danke!

 

[Gubb3L]

Also um mal nen paar deiner fragen zu beantworten.
-8 Radeons auf einem board werden denke schwer umzusetzen. nicht nur das es kaum baord für so etwas gibt auch der platzbedarf ist im vergleich zu 3-4 7990 enorm.

-Du könntest die 7990 mit risern also flachbandkabeln die den pcie slot verlängern anbringen.
z.b. so einen hier wobei du die teile bestimmt auch günstiger kriegst.
http://www.alternate.de/html/product/Riser_Card_PCIe_X16_flexibel/579712/?

- eine 7990 oder 7970 kriegst du mit wakü auf single slot. dann erübrigen sich auch die meisten probleme.

 

[chevydevil]

Danke für die schnellen Antworten!

- eine 7990 oder 7970 kriegst du mit wakü auf single slot. dann erübrigen sich auch die meisten probleme.

Gibt es solche Karten "fertig" zu kaufen? Ich weiß noch nicht was mein Chef sagt, wenn ich ihm mitteile, dass es durch den Umbau keine Garantie auf die ca 900€ Karten gibt.

 

[underclocker2k4]

Was habt ihr denn an Kohle über?

Es gibt durchaus Möglichkeiten des externen Betriebs von Grafikkarten. Damit kann man einen PCIe Slot per Karte nach Außen legen und auf ein spezielles Gehäuse geben. In diesem Gehäuse ist dann ein MB mit entsprechenden PCIe Switches, welches dafür sorgt, dass man dort dann (ich sag ma ne Zahl) 10 GPUs
betreiben kann.

Das kann man dann natürlich wieder skalieren, indem man das Ganze mehrfach aufzieht.

Mit einer solchen Lösung bewegt man sich aber sehr schnell über 10k EUR.

Brauchst du denn dafür PCIe 3.0? Die GPUs rechnen doch mehr als sie Daten transferieren?!

 

[fdsonne]

Neja Karten mit Werks Wakü wären mir aktuell nicht bekannt, wenn Tahiti drunter schlummern soll.

Wichtig sollte Referenzdesign sein. Dann klappts auch mit Wasserkühlung.

Ggf. wäre auch Geforce Titan ne Alternative. Zwar Sack teuer, dafür noch mehr Leistung. Speziell die DP Leistung ist enorm, deutlich über Tahiti. Dazu der angeblich bessere Support im GPGPU Bereich seitens NV. Wobei ich dazu nichts genaueres sagen kann.
Von den Geforcens wird es auch Wakü Modelle geben. Leider hat das Ref. Layout nen DVI Turm, sprich zwei DVI Ports übereinander. Heist du bekommst bei den besagten 7 PCIe Slots auf dem Board auch nur 4 Karten drauf, maximal...
Oder arbeitest mit irgendwelchem Bastelzeugs oder externen Gehäusen oder ähnlichem.

 

[chevydevil]

Brauchst du denn dafür PCIe 3.0? Die GPUs rechnen doch mehr als sie Daten transferieren?!

Es wäre eher ein "nice to have". Das Problem ist, dass im Moment der GPU beschleunigte Teil meiner Andwendung eben nur das ist: ein Teil. Sprich es wird auch noch viel auf der/den CPUs gerechnet. Vorallem für Dual-Karten kann ich mir vorstellen ohne PCIE 3.0 dort relativ schnell einen Flaschenhals zu finden.

Was habt ihr denn an Kohle über?

Es gibt durchaus Möglichkeiten des externen Betriebs von Grafikkarten. Damit kann man einen PCIe Slot per Karte nach Außen legen und auf ein spezielles Gehäuse geben. In diesem Gehäuse ist dann ein MB mit entsprechenden PCIe Switches, welches dafür sorgt, dass man dort dann (ich sag ma ne Zahl) 10 GPUs
betreiben kann.

Das kann man dann natürlich wieder skalieren, indem man das Ganze mehrfach aufzieht.

Mit einer solchen Lösung bewegt man sich aber sehr schnell über 10k EUR.

Ok. Stimmt, solche GPUs racks habe ich auch schon mal gesehen. Ich kann noch nicht sagen wie viel Geld da rein gesteckt werden kann. Im Moment schaue ich mir an was geht und suche ggf. Angebote heraus. Ich vermute mal 10k wird das maximal schon gehen wenn ich von der Leistungsfähigkeit und dem P/L des Angebots überzeugen kann.

---------- Post added at 18:47 ---------- Previous post was at 18:44 ----------

eja Karten mit Werks Wakü wären mir aktuell nicht bekannt, wenn Tahiti drunter schlummern soll.

Wichtig sollte Referenzdesign sein. Dann klappts auch mit Wasserkühlung.

Ggf. wäre auch Geforce Titan ne Alternative. Zwar Sack teuer, dafür noch mehr Leistung. Speziell die DP Leistung ist enorm, deutlich über Tahiti. Dazu der angeblich bessere Support im GPGPU Bereich seitens NV. Wobei ich dazu nichts genaueres sagen kann.
Von den Geforcens wird es auch Wakü Modelle geben. Leider hat das Ref. Layout nen DVI Turm, sprich zwei DVI Ports übereinander. Heist du bekommst bei den besagten 7 PCIe Slots auf dem Board auch nur 4 Karten drauf, maximal...
Oder arbeitest mit irgendwelchem Bastelzeugs oder externen Gehäusen oder ähnlichem.

Ich arbeite mit OpenCL und da ist Nvidia leider sehr mieß was den support angeht. Die Titan habe ich mir auch schon angeschaut. Aber mehr als der doppelte Preis bei 1/3 mehr DP-Leistung gegenüber den Ghz Editionen der 7970 ist schwer zu verkaufen. Wenn ich nur vier single gpu Karten in den Rechner bekomme ohne zu basteln oder preislich durch die Decke zu gehen natürlich wieder eher ne Option.

Hach...

 

[fdsonne]

4x Tahiti XT als GHz Edition geht auch mit Luft schwerzfrei...
volle 7 Karten bei 7 PCIe Slots geht nur mit Wakü. Und das heist bei AMD händisch umbauen


Was eventuell ne Alternative ist, wenn du dir normale Tahiti GPUs besorgst und den Takt einfach selbst hochdrehst. Muss ja nicht mörder über default GHz Niveu sein. Sondern nur gleich hoch. Das spart dir bei vier GPUs grob über den Daumen den Preis einer Karte. Bei 7 schon fast von zwei...
Dafür bekommst du die Teile alle samt mit nem Fullcover Wakü Block bestückt. Fehlt nur noch der Rest der Wakü. Bei bis zu 7 Stück wird das aber auch nochmal richtig zu Buche schlagen.

 

[chevydevil]

4x Tahiti XT als GHz Edition geht auch mit Luft schwerzfrei...
volle 7 Karten bei 7 PCIe Slots geht nur mit Wakü. Und das heist bei AMD händisch umbauen


Was eventuell ne Alternative ist, wenn du dir normale Tahiti GPUs besorgst und den Takt einfach selbst hochdrehst. Muss ja nicht mörder über default GHz Niveu sein. Sondern nur gleich hoch. Das spart dir bei vier GPUs grob über den Daumen den Preis einer Karte. Bei 7 schon fast von zwei...
Dafür bekommst du die Teile alle samt mit nem Fullcover Wakü Block bestückt. Fehlt nur noch der Rest der Wakü. Bei bis zu 7 Stück wird das aber auch nochmal richtig zu Buche schlagen.

#

Das klingt sehr gut. Der Takt ist mir gar nicht so wichtig. Wo gibt es denn die fertig bestückten? Ich hatte jetzt die Idee auf das board hier:

ASUS Z9PE-D8 WS, C602 (dual Sockel-2011, quad PC3-12800R reg ECC DDR3) (90-MSVDY0-G0EAY00T) Preisvergleich | Geizhals Deutschland

2 7990 und eine 7970 zu packen. Also eine 7990 ganz oben, dann die 7970 dazwischen und eine 7990 ganz unten. Meint ihr das klappt? Gibt es Gehäuse die nach unten soviel Platz haben?

Thx

Edit: Jetzt habe ich gerade die hier gefunden:

http://geizhals.de/asus_ares2-6gd5_90yv03h0-m0na00_a890935.html

Davon würde ich doch 4 Stück auf das Board bekommen und hätte was ich will. Allerdings brauch ich dann auch 2 Netzteile. Krass wie schnell man doch an die Grenzen des machbaren kommt. (Zumdindest mit consumer hardware)

 

[Loopman]

Nö, da geht auch noch mehr. Wie oben schon erwähnt, externes Gehäuse und/oder Riserkarten.

Die Frage ist eher: Wieso macht man so etwas mit Consumerhardware? Wenn was nicht klappt hast du eventuell die komplette Hardware umsonst gekauft und darfst nachher doch irgendwas professionelles nachkaufen.

 

[chevydevil]

Nö, da geht auch noch mehr. Wie oben schon erwähnt, externes Gehäuse und/oder Riserkarten.

Die Frage ist eher: Wieso macht man so etwas mit Consumerhardware? Wenn was nicht klappt hast du eventuell die komplette Hardware umsonst gekauft und darfst nachher doch irgendwas professionelles nachkaufen.

Ich kann keine externen Gehäuse und Riserkarten für consumer Karten finden. Kannst du mir da einen link geben? Wie meinst du das: "nicht klappt"? Meine Simulationen laufen bereits auf consumer Karten und auch auf Multi-GPU Hardware. Der Grund für consumer hardware ist doch klar: Ich benötige die professionellen features nicht und kann daher die Kosten für die hardware um das Dreifache senken, ohne auf Leistung verzichten zu müssen.
Grüße