[Kaufberatung] Allrounder Workstation (40+GB Mem, CUDA, 16+ Threads)

[MAFRI]

Heyho,

auch wenn mein SR-2 Setup nun wieder einwandfrei läuft, die Gedanken sind nicht weg und der Stress auch nicht, daher die Überlegung eine komplett neue zu bauen / kaufen ( wobei Kaufen, ich finde die Preise von HP etc. einfach zu überzogen, wenn dann auf ebay ein "bulk" kit und selber CPU+RAM+GPU+HDD rein, daher wohl ehr selbser bauen.

Folgende Dinge sollte so ein System erfüllen:
-Jeder CPU Core ( wenn Intel Lösung auch HT Thread ) - sollte min 2GB Ram zur Verfügung haben.
-Ich muss min. 6x Full HD Bildschirme ansteuern können ( DVI / HDMI )
-Root HDD sollte eine (Intel) SSD seien
-3-4 zusätzliche SATA/SAS Festplatten mit redundanz für Temp-Daten und VMs
-Min. 2x GbE NICs ( Teaming fähig )
-System muss so leistungsfähig seien, das es keine Belastung darstellt, da HDDs etc. 3 und mehrfach verschlüsselt sind ( nicht nur AES )
-System muss nahezu lautlos unter Last seien
-Ich will (wenn ich denn endlich mal wieder dazu käme) 4x Eve Online Client in FullHD darstellen können ( geht aktuell mit 3 Clients auf der 580 und einem auf der 470 )
-Min. 1000 CUDA Cores bei Desktop Karten in total ( Tesla Karten halte ich für zu teuer )
-Creative Soundkarte
-OS Windows 7 Pro ( und ein paar VMs in unity )
-Stromverbrauch geringer als aktuelles System



Was würdet ihr wie bauen? Und warum welche Komponenten? Oder vom aktuellen System weiterverwenden? Preislich sollte es je nach dem nicht über 3-4k Euros gehen. Ich bin mir selbst nicht sicher Ob intel oder AMD...
Postet doch einfach mal eure Ideen.

So, wenn es etwas zu verwursten gäbe oder jemand etwas davon verwusten würde, aktuell habe ich folgende Hardware in der Workstation oder aber frei rumliegen...
-2x Xeon E5520
-2x Xeon L5639 (Hexacores (ES))
-4x 750GB Seagate ES 7.2k
-1x Adaptec 5405Z
-2x Creative Titanium X-Fi
-2x Geforce 465GTX (würden auch mit 470er BIOS laufen)
-1x GeForce 580GTX 1,5GB
-1x GeForce 470GTX
-2x GeForce 8800GT 1GB
-1x 180GB Intel SSD
-2x DVD +/- RW S-ATA
-Wasserkühlung ( Aktuelles System Wassergekühlt bis auf die 550Ti (andere GPUs mit GPU only Kühlern )
-1x 1500W Netzteil Platinum
-6x 8GB DDR3 ECC reg. 1600Mhz CL11
-EVGA SR2
-und garantiert noch mehr gedöns



Sodale Grüße
MAFRI


Awswww jetzt hat das ICH10 Raid schon wieder ne Platte verloren!!! Drecks ding mit 3GPUs gibts nur BSODs auf dem SR-2,wenn ich den 5404Z dazuklemmen würde... da es eben einfachan Option ROM mangelt..

 

[bluesunset]

-4x 750GB Seagate ES 7.2k
-1x Adaptec 5405Z
-1x Creative Titanium X-Fi
-2x Geforce 465GTX (würden auch mit 470er BIOS laufen)
-1x GeForce 470GTX
-2x GeForce 8800GT 1GB
-1x 1500W Netzteil Platinum

Verkaufen. Wobei ich jetzt ned wüsste wo du das Netzteil her hast. Ein schönes 900 oder 1200 Watt Platinum sollte bei zwei aktuellen GPUs reichen.
Die ES sind zwar zuverlässiger, aber benötigen für die 750GByte noch drei Magnetscheiben. Kauf dir eher aktuellere mit 1TByte Plattern und davon dann einfach 8 Stück im Raid10. Regelmäßig halt Backups davon ziehen.

 

[MAFRI]

joa hab auch 1 TB ES und 2TB ES rumliegen, allerdings nur als Ersatzplatten für meine Server.. ( okay 7x 1TB ES sind wohl etwas viel Ersatz bei 6 im Einsatz )
Nun ja - ich brauch nicht mehr als 1,2TB lokal + root SSD + ca 100GB für installierte Programme, Rest rennt auf meinen Servern.

Am liebsten würd ich 4x 300GB 15k oder 3x 600GB 15k SAS an dem Adaptec nehmen, allerdings ist da das Porblem mit dem Option Roms und dem SR-2..... und den BSODs sobald der Kontroller eingebaut ist, wenn 3GPUs im System..
Allgemein traue ich dem EVGA SR nicht allzuweit über den Weg. Wenn ich überlege das andere Workstations bei mir Uptimes von bis zu 200 etwas Tagen hatten und bei dem SR-2 schon 4 Wochen toll sind.... meine Laptops haben teilweise länge uptimes...

 

[jdl]

Heyho,

auch wenn mein SR-2 Setup nun wieder einwandfrei läuft, die Gedanken sind nicht weg und der Stress auch nicht, daher die Überlegung eine komplett neue zu bauen / kaufen ( wobei Kaufen, ich finde die Preise von HP etc. einfach zu überzogen, wenn dann auf ebay ein "bulk" kit und selber CPU+RAM+GPU+HDD rein, daher wohl ehr selbser bauen.

Du postest zwar unter "Profi" willst aber definitiv kein Profi System, sondern eines auf Basis des Xeon E5 für den Heimgebrauch. Was willst Du damit wirklich machen? Außer "Eve Online Client" verrätst Du das nicht.

Momentan einer der besten Workstation Mainboards für Xeon E5 ist das Intel W2600CR2 - allerdings im proprietären Überformat. Als Alternative böte sich entweder eines der SuperMicro X9DAi oder X9DAE Baords - an jeweils im EATX-Format oder eines der Workstations Boards von Tyan im SSI-EEB Format. Dem Asus Z9PE-D8 WS (auch im SSI-EEB Format) kann ich persönlich nicht so viel abgewinnen.

Was die Grafikkarte betrifft: Solange damit gespielt wird, tut's eine normale Spielekarte. Für Single Precision CUDA kann man die Spielekarten auch noch nutzen. Aber für heavy duty workload sollte man doch besser zu den Tesla Karten greifen, da sie ECC haben und eine andere GPU haben werden. Momentan sind alle Geforce 600 auf GK100 basierend. Die erste GK110 Karte wird die Quadro K5000 sein. Wenn man Double Precision CUDA machen will, ist ein GK110 unverkrüppelt Pflicht; d.h. entweder Quadro K5000, K6000 oder Tesla K20. Wann es die erste GK110 Spielekarten gibt, ist bisher vollkommen unbekannt. Und man kann jetzt schon davon ausgehen, daß nVidia diese wieder verkrüppeln wird.

Wenn es nur ums Spielen geht, sind wenige hochgetaktete Kerne sinnvoller als viele etwas langsamer getaktete Cores. Daher eher zwei E5 2643 anstatt zweier E5 2687W.

 

[MAFRI]

@jdl arbeiten -> ich hab die Eckdaten angegeben und Freizeit, wenn sie denn mal da wäre, hab ich auch angegeben...
ASUS muss ich selber sagen gefällt mir weniger, vorallem was support etc. anbelangt. Da sind SM, Tyan etc. wesentlich besser. Bei SM schreibste ne e-mail mit deinem Problemen und erhälst ein passendes BIOS

und ich weiß wovon ich rede nur weil ich hier 3 jahre nichtmehr gepostet habe :P
Fürs reine Zocken / Lans habe ich mir mal ein Acer 4820G geholt, das reicht bei weitem, allerdings kaum Zeit und letztendlich spiele ic hwenn überhaupt mal EVE, meist auch nur 1-3 Abende im Monat. Sonst ist die Kiste zum Arbeiten da.
Für wen und was genau, das ist letztendlich egal.
Ich weiß das diese Aussage die Hilfe erschwert.
Es kommt nicht selten vor das 300+ Prozesse zeitgleich offen sind, desweitern muss das System doch recht lange durchlaufen.

Warum ich keine Komplett-Kiste will, weil das was man bei HP / IBM etc. an Service bekommt a) zu teuer ist und b) die System inzwischen P/L sehr teuer geworden sind.
Wenn ich da selbst was zusammenbaue, das kann ich mir auch 2x von dem Preis kaufen, welcher bei Systemhäuser fällig wird.
(und da muss man meist 24-48h warten bis Austausch, daher leiber dann einfach neukaufen und ende )
Was ich noch als Option erachte wäre sich ein Bulk HP/ IBM Chassie zu kaufen mit MB+NT+Kühler und den Rest reinklemmen.

Ich muss sagen ich hatte noch nei Probleme mit den Desktop Karten.
Hast du ein ggf. ein paar lnks zu dem GK110, die Newletter von NVidia, welche letzten via Mail kam hat nur "Neuer-Besser-Schneller" geschrieben.


Grüße

 

[jdl]

@jdl arbeiten -> ich hab die Eckdaten angegeben

Nein, nicht wirklich. Außer der Aussage Du brauchst viele Slots und CUDA, kann man da nichts wirklich herauslesen.

Bei SM schreibste ne e-mail mit deinem Problemen und erhälst ein passendes BIOS

Wir haben von denen einige hundert baugleiche HPC Boards. Einiges funktioniert immer noch nicht, das BIOS liefert zum Teil totalen Schrott an Informationen (IPMI CPU Temperatur funktioniert nicht wirklich). Ok, es sind AMD Boards mit Opteron 6100 drin, und AMD ist eh ein Thema für sich. Im großen Ganzen laufen sie aber.

Für wen und was genau, das ist letztendlich egal.

Ach ja? Solange Du nicht verrätst, ob Du DP CUDA machst oder nicht, kann man nicht sagen, ob Spielekarten eine Alternative sind.

Es kommt nicht selten vor das 300+ Prozesse zeitgleich offen sind, desweitern muss das System doch recht lange durchlaufen.

300 Prozesse sagt rein gar nichts aus. 300 gleichzeitige Rechenjobs können es nicht sein, denn dann würden wir über einen HPC-Cluster reden. Als warten die Dinger auf irgend was, und das ist entweder Storage-IO, Network-IO oder irgend einem externen Event.

Was ich noch als Option erachte wäre sich ein Bulk HP/ IBM Chassie zu kaufen mit MB+NT+Kühler und den Rest reinklemmen.

Ein Intel Chassis mit dem W2600CR2 böte sich an, gibt's mit Support.

Ich muss sagen ich hatte noch nei Probleme mit den Desktop Karten.

Niemand sagt die Geforce laufen instabil. Aber wenn man DP CUDA macht, laufen die Geforce brutal langsamer. Das lohnt sich nur für die Entwicklung um Geld sparen zu können. Als Produktionssystem ist das nicht sinnvoll.

Hast du ein ggf. ein paar lnks zu dem GK110, die Newletter von NVidia, welche letzten via Mail kam hat nur "Neuer-Besser-Schneller" geschrieben.

Der GK110 hat Hyper-Q das erlaubt jetzt bis zu 32 Threads auf einer GK110, die GK100 erlaubt nur einen Thread. Durch Hyper-Q wird die Karte besser ausgelastet, wenn man mehrere Threads benutzt.

Dann gibt's deutlich mehr DP Einheiten, die Tesla K10 (2xGK104) etwa ist nicht kastriert und liefert nur 1/24 der SP Performance im DP Mode. Der GK100 ist nur auf SP optimiert! Die genaue Performance des GK110 ist noch unbekannt. nvidia spricht aber von 3 facher Performance in DP der K20 gegenüber der Tesla M2090, diese Karte kommt auf 665 GFlops.

 

[MAFRI]

Meiste Anwendungen liegen im SP bereich, was CUDA betrifft ( ca 70%).Nun ja es ist kein HPC Cluster - das baue ich mir zur (Not) in VM (*würg*) auf meinem ESX Cluster , allerdings brauche ich sowas zZ nicht.Meistens warten die Prozesse auf Netzwerk I/O oder mich . Allerdings ist nicht viel mehr Netzwerktechnisch möglich, da dort ein Upgrad gerade nicht geplant ist. Da das vollständige verschlüsseln, kommt immernoch eine recht hohe Grundbelastung des Systemes hinzu.Desweitern, die aktuelle Leistung reicht sehr wohl, allerdings nach dem anauerenden Ärger mit oder durch das SR-2 verursacht, habe ich kaum einen Nerv mehr über dafür... meine Systeme davor, waren meist Supermicro / Tyan basierend.. habe mir das SR-2 aus einer "Laune" gekauft als sich ein SM Board verabschiedet hatte - großer Fehler..Desweitern, was wenn das nun auch läuft, was ist in 3 Wochen? 4 Wochen? was ist wenn es dann abschmiert ? und die sachen nicht vollständig gesynct ist mit den server ? und auch nicht TMP gespeichert sondern zum Teil (noch ) im RAM ist ? Ich traue dem SR2 nunmal kaum noch über den weg...

 

[jdl]

Preislich sollte es je nach dem nicht über 3-4k Euros gehen.

Da die Preise für zwei Xeon E5 2687W >1600 EUR liegen, wird alleine ein Barebone DualSocket System schnell über 4k liegen.

 

[MAFRI]

Was ist von der idee eines dual 16Core AMD zu halten ?Da ich mein System eh gerne leise habe - Cases sind genügend vorhanden, Netzteile auch etc, nur dann will ich 100% sicher seien keinen Müll zu kaufen.Dann würde ich gerne eine solide basis haben. Festplatten oder andere Kleinkram oder gar Desktop GPUs kann man immer neukaufen ohne das es einem Weh tut, je nach board gar im Betrieb wechseln...Oder Barebone ( z.b. SM ) etwas um die 1kE, und rest selber kaufen, nur welche Zusammenstellung dann?

---------- Post added at 22:37 ---------- Previous post was at 22:31 ----------

Verkaufen. Wobei ich jetzt ned wüsste wo du das Netzteil her hast. Ein schönes 900 oder 1200 Watt Platinum sollte bei zwei aktuellen GPUs reichen.

mit dem aktuellen system ist ein 1,1kw mal überforder gewesen, aher hab ich auf das 1,5 kw gewechselt

 

[jdl]

Was ist von der idee eines dual 16Core AMD zu halten?

Es gibt meines Wissens keine Workstations Boards mehr. Die CPUs selbst sind nur gut, wenn man viele Integer Threads hat und keine hohe Single Threadleistung braucht. Dazu haben Dual Opteron 6200 Boards weniger PCIe Lanes als Xeon E5 Boards.

 

[MAFRI]

Ob nun Server Board oder Workstation ist letztendlich egal. Ich habe nur eine sehr geringe Verwendung für non SMP kram, daher mein Gedanke es durch mehr Cores zu die höhere pro Core Leistung der Intels zu ersetzten.Wenn es allerdings keine tauglichen Boards noch genügend PCIe Lanes gibt, ist das so schon zum scheitern verurteilt.

 

[jdl]

Ob nun Server Board oder Workstation ist letztendlich egal. Ich habe nur eine sehr geringe Verwendung für non SMP kram, daher mein Gedanke es durch mehr Cores zu die höhere pro Core Leistung der Intels zu ersetzten.

Alle AMD und Intel Systeme mit mehr als einem Sockel sind non-SMP Systeme - es sind NUMA Systeme. Bei AMD sind alle Opteron 6000 CPUS schon zwei NUMA-Knoten in sich selbst. Mit all den Konsequenzen die sich daraus ergeben.
Wir haben Systeme mit Opteron 6100 für HPC. Die Dinger sind in Relation zu aktuellen Xeons langsam, mein Xeon E3 erreicht pro Core die ca. vierfache Leistung. Die neuen 6200 Opterons sind nur mit Integer Code überhaupt in Betracht zu ziehen. Bei FP Code lohnt sich das nicht, da nur 2x4 FP Pipelines vorhanden sind. Genauso viel wie bei einem Xeon E5 mit 8 Cores.

 

[MAFRI]

werde ich mich mal umschauen nach einem dual 2011 system