GPU-Server für die Analyze von mathematischen Algorithmen

[Erik4ever]

Hallo alle miteinander.

Ich benötige einen Server für die Analyze von mathematischen Algorithmen. Laut meinem Programmierer reicht eine hohe single precision weshalb ich dazu tendiere die Nvidia Geforce GTX 690 als GPU zu verwenden, da diese GPU momentan die stärkste GPU auf dem Markt ist.

Da ich eine möglichst hohe Rechenleistung benötige, möchte ich so viele GPUs wie möglich verwenden.

Da ich hardwaremäßig absolut nicht up to date bin brauche ich deshalb eure Hilfe.

Was für Systemkonfigurationen würdet ihr empfehlen?


Vielen Dank schonmal für eure Hilfe!!!!

 

[jdl]

Soll das ganze ins Rack?

 

[Kullberg]

Zunächst würde ich mal klären, ob Rechenfehler zulässig sind. Consumer Grakas machen nämlich welche. Und dann ist die Frage, wieviele Grakas in den Rechner sollen.

 

[fdsonne]

Hallo alle miteinander.

Ich benötige einen Server für die Analyze von mathematischen Algorithmen. Laut meinem Programmierer reicht eine hohe single precision weshalb ich dazu tendiere die Nvidia Geforce GTX 690 als GPU zu verwenden, da diese GPU momentan die stärkste GPU auf dem Markt ist.

Muss es NVidia sein?
Die AMD GPUs haben unterm Strich die stärkere Leistung. Speziell auch in SP. Effizienz geht zumindest Stand heute noch an NVidia. Sprich du bekommst aktuell bei NV mehr Performance für deinen Verbrauch.
In Sachen absolute Performance dürfte aber so ein Radeon HD7990 respektive FirePro S10000 "Cluster" mit eben einer bis? keine Ahnung -> die PCIe Slots voll sind das aktuelle Maß der maximal möglichen Performance sein.
AMD FirePro

Ansonsten wäre noch die Frage, inwie weit deine Anwendung(en) über die reine GPU Anzahl skalieren, wie viel VRAM benötigt werden und wie Kullberg schon frage, ob es Anforderungen an die Fehleranfälligkeit gib.

PS: wenn es in die professionelle Schiene gehen soll, wären ggf. sogar die Tesla Boxen interessant... wobei diese vom Preislichen her schon nicht ganz ohne sind.

 

[Everest2000]

Im MRT der Klinik wo ich öfters bin steht eine Kiste von Supermicro, ich könnte erfagren, was die genau nutzen:

Super Micro Computer, Inc. - GPU-Optimized Supercomputing Server Solutions

 

[jdl]

In Sachen absolute Performance dürfte aber so ein Radeon HD7990 respektive FirePro S10000 "Cluster" mit eben einer bis?

Die S10000 ist für Rack Server keine gute Wahl, da man die GPU Server nur halb bestücken kann, da die Karte sonst Kühlprobleme bekommt und sie generell zuviel Strom verbraucht. Wenn AMD fürs Rack dann sind die S9000 besser.

 

[Everest2000]

Eine W9000 wäre auch interessant oder .?. - Die Karte ist aktive gekühlt

 

[jdl]

Eine W9000 wäre auch interessant oder?

Definitiv nicht fürs Rack!

 

[Everest2000]

bei 1HE und 2HE klar aber bei 4HE geht das -> Cinemax und co nutzen ja zum Teil diese Karten in 4HE Servern für die Bespielung der 4k und 9k Kinoräume.

EDI:T Das Supermicro Geräte ist ein 4HE Gehäuse:

http://www.supermicro.nl/products/system/4U/7047/SYS-7047GR-TRF.cfm

Und das ist in einem Rakc eingebaut. Bei 1HE kann ich das verstehen, das die W9000 da nichts zu suchen hat.
Man weiß ja nicht was und wo ins Rack rein kommen soll.

 

[jdl]

bei 1HE und 2HE klar aber bei 4HE geht das -> Cinemax und co nutzen ja zum Teil diese Karten in 4HE Servern für die Bespielung der 4k und 9k Kinoräume.

Wenn die Karte Lüfter hat braucht man hinreichend Platz im Gehäuse, so daß die Karte ordentlich gekühlt wird. Es gibt ja auch 4HE Gehäuse mit Platz für 8 Karten, in diesen Gehäuse sollte man bei Vollbestückung ebenfalls keine Karten mit Lüfter verwenden.

 

[Erik4ever]

Hallo und vielen Dank für die vielen Antworten.

Die Karten sollten von Nvidia sein da das Programm in CUDA geschrieben wurde. Läuft also fast ausschließlich über die GPUs. Angedacht ist ein 4U Rackserver da dort mehr Karten reinpassen als in eine Workstation.

Fehleranfällig sollte das ganze nicht sein, wobei die Teslas doch ziemlich teuer sind. Für eine K20X bekommt man fast (je nach Preis) 3 GTX 690. Immerhin hat die GTX 690 genau wie die Tesla K10 2xGK104 GPUs.

Der Unterschied zwischen single und double precision ist mir auch noch nicht so ganz klar. Haben denn Karten mit einer hohen double precision auch einen höheren Datendurchsatz und berechnen alles schneller oder sind diese Karten nicht so fehleranfällig?

 

[Kullberg]

Die Rechenfehler entstehen im Speicher. Bei professionellen Grakas hat der Speicher ECC - da gibts dann halt keine Fehler.

 

[jdl]

Hallo und vielen Dank für die vielen Antworten.

Die Karten sollten von Nvidia sein da das Programm in CUDA geschrieben wurde. Läuft also fast ausschließlich über die GPUs. Angedacht ist ein 4U Rackserver da dort mehr Karten reinpassen als in eine Workstation.

Wenn nur Single Precision gefragt ist, dann ist die Tesla K10 die Karte der Wahl. Da sind zwei GPUs drauf und je 4GB Speicher. Die Frage die offen bleibt wieviel Rechenleistung ist schlußendlich gefragt? Soviel wie möglich und ist man bereit die Software weiter zu verändern, um das Ziel zu erreichen?

Falls ja, dann sollte spezielle HPC GPU Knoten angeschafft werden, und diese dann mittels Infiniband vernetzt werden. Die zu benutzende Software Schnittstelle wäre MPI.

Wenn das kein Thema ist, und die Software möglichst viele Karten ansprechen kann. Dann sollte es ein Server mit 8x Tesla K10 sein.

 

[fdsonne]

Die Titan GPUs haben doch auch ECC RAM? wenn mich nicht alles täuscht.
Liegen zwar preislich auch auf dem 690er Level, aber bieten A) mehr VRAM -> könnte Vorteile haben, B) deutlich mehr Performance pro GPU und C) volle DP Performance entgegen den GK104 GPUs...

Nachteil ist halt, man bekommt nur die hälfte der GPUs unter. Sprich bei 8 Slots wären das 8 GPUs... -> wärend die 690er 16 GPUs aufweisen kann/könnte.
Hier hängt es aber wohl stark davon ab, wie stark/gut die Software über die GPU Anzahl skaliert. Ebbt die Skalierung bei der doppelten Anzahl GPUs derart ab, das die absolute Mehrperformance der 690er nicht mehr zum tragen kommt, wären Titan Geforcens eine echte alternative zu teuren Tesla Modellen.

 

[Backbone]

HP SL270s. Bis 8 GPUs sind möglich. 2x SL270s passen in ein Chassis mit 4HE. Man sollte bei solchen Lösungen natürlich immer schauen wie man genug Strom an die Server ran bringt und vor allem wie man die Wärme auch wieder raus bringt...

 

[Erik4ever]

Die Software kann an die Hardware angepasst werden. Das sollte echt kein Problem darstellen.

Mir ist es sehr wichtig ein starkes und zuverlässiges System zu haben.

Ich werde mal meinen Programmierer fragen was für ihn alles machbar ist und inwieweit er die Software an die Hardware anpassen kann.

Falls er die Skalierung an die 16 GPUs der GTX 690 bzw Tesla K10 anpassen kann, würde ich mich für eins der beiden Modelle entscheiden.

 

[Kullberg]

Die Titan GPUs haben doch auch ECC RAM? wenn mich nicht alles täuscht.

Nach diesem pdf haben die kein ECC: http://users.csc.calpoly.edu/~clupo/media/GTXTitan.pdf

 

[Backbone]

Die Software kann an die Hardware angepasst werden. Das sollte echt kein Problem darstellen.[...]

Sagst du das, oder der Programmierer. Es ist alles andere als trivial komplexe Probleme so zu coden, das die massiv parallelen, aber vergleichsweise simplen Rechenkerne der Grafikkarten damit was anfangen können. Hinzu kommt, dass es nur dann schnell ist, wenns "in" der Grafikkarte statt findet. Das reinladen und wieder rausladen der Daten kostet auch Zeit.
Ich kenn einige Hochschulen bei denen war vor ein, zwei Jahren die Euphorie deutlich größer als heute. Die programmieren wieder auf x86-Techniik, damit läuft der Code vielleicht langsamer, dafür ist er schneller fertig programmiert und über die Laufzeit der Projekte auch leichter zu warten...

 

[jdl]

Die Titan GPUs haben doch auch ECC RAM?

Nein, die Titan liefert nur 100% DP Performance, daher wird sie gerne zum Entwickeln von CUDA Software genutzt. Die K20 ist deutlich teurer, sie gibt es in einer Workstation und einer Server Ausführung. Die K20x gibt es nur für Server.

- - - Updated - - -

Mir ist es sehr wichtig ein starkes und zuverlässiges System zu haben.

Dann auf keinen Fall eine Workstation- oder Gamerkarte im Server. Bei der hohen Packungsdichte in den Server gibt es schnell Problem mit der Kühlung. Am Ende stehst Du da und demontierst die Lüfter von den Karten, damit die Gehäuselüfter die Karte besser kühlen können.

Falls er die Skalierung an die 16 GPUs der GTX 690 bzw Tesla K10 anpassen kann, würde ich mich für eins der beiden Modelle entscheiden.

Wenn ihr bereit seit die Software anzupassen, solltet ihr wirklich über MPI nachdenken, das hätte der Vorteil, daß Ihr stufenweise erweitern könnt. Man kann dann Schrittweise einen Cluster aufbauen und kann entweder mehrere Instanzen parallel laufen lassen, oder nimmt alle Knoten für einen Job.

 

[fdsonne]

ahh OK, dachte mal irgendwo gelesen zu haben, das die Titan Karte mit ECC RAM kommt...
Aber wenn das nicht ist, dann machts natürlich Sinn über die Tesla Modelle nachzudenken...

 

[p4n0]

Wenn die ganzen Karten ins Rack sollen und dort womoeglich 24/7 belastet werden, wuerde ich mir sehr gute Gedanken um die Kuehlung machen.
vA Dual-GPU Boards werden - wenn sie sehr eng beianander liegen zu extremen Hitzkoepfen, welche wirklich nur bescheiden zu kuehlen sind.

Da helfen im geschlossenem Gehaeuse auch keine Deltafans mehr.

Habe da meine Erfahrungen aus dem Scrypt-Mining gesammelt.

Grueße

 

[Erik4ever]

Die nächste Frage ist auch wer mir so ein System zusammenbaut. Ich selber will mich da lieber nicht versuchen. Dafür ist das ganze zu Kostenintensiv. Auch wegen den GPU Knoten etc.

Gibt es hier denn CUDA-Programmierer die mein Programm an das System anpassen können? Zwecks Skalierung, Multi GPU und MPI? Ich kann meinen Programmierer nicht mehr erreichen....

 

[Backbone]

Die nächste Frage ist auch wer mir so ein System zusammenbaut. Ich selber will mich da lieber nicht versuchen. Dafür ist das ganze zu Kostenintensiv. Auch wegen den GPU Knoten etc.

Gibt es hier denn CUDA-Programmierer die mein Programm an das System anpassen können? Zwecks Skalierung, Multi GPU und MPI? Ich kann meinen Programmierer nicht mehr erreichen....

Hast du ne Vorstellung was sowas kostet?
Jemand der weis was er tut wird nicht für unter 70-80€ die Stunde antreten.

 

[Erik4ever]

Das ganze System wird schon ne Menge Geld kosten da kommt es darauf dann auch nicht mehr an. Außerdem will ich, dass die Software optimal läuft und die volle Leistung der GPUs ausnutzt. Falls das nicht der Fall wäre, könnte ich mir das Geld für die Teslas sparen.

 

[fdsonne]

Du schriebst doch oben, du hast jemanden, der dir die Software auf die Hardware anpassen kann?

 

[Erik4ever]

Ja, aber ich erreiche den Programmierer kaum noch....