Auswerterechner für riesige (300gb+) Datensätze

[iwbt]

Hallo Leute 😀
Ich habe da so ein kleines Problem...
Bei uns auf der Arbeit produzieren wir riesige Datensätze die nachfolgend ausgewertet werden wollen. Dafür wollen wir bestimmte spezielle Programme verwenden welche diese Daten (Bilddaten) graphisch darstellen und auswerten. Leider rechnet kein Softwarehersteller damit dass solche Mengen zustande kommen und daher gibt es auch keine passenden System Empfehlungen...

Von dem was ich abschätzen kann sollte das System folgende Spezifikationen haben:
-128, besser 256GB Ram (ECC)
-8 oder mehr Cores (2 CPU's?)
-1-2 TB SSD Platz
-Netzteil welches den Einbau der schnellsten Single Core Grafikkarte (mit je mehr Ram desto besser) erlaubt.

Wenn möglich sollten dafür nicht mehr als 15.000€ draufgehen...

Für Vorschläge wäre ich recht dankbar da ich solche Dinger noch nie zusammengebaut habe...machte privat einfach keinen Sinn...

 

[BlackNinja03]

CPU:

Intel Xeon E5-2699V3 - 2.3 GHz - 18-Core - 36 Threads - 45 MB Cache-Speicher - LGA2011-v3 Socket | CPU Xeon 18 Core | CPU Intel | Komponenten | PC & Server | KLARSICHT IT - Ihr Online-Systemhaus

 

[2k5lexi]

Für 13000€ bin ich eher in dieser Richtung unterwegs:
2 x Samsung SSD 850 PRO 256GB, SATA 6Gb/s (MZ-7KE256BW)
2 x Intel SSD DC P3500 Series 1.2TB, PCIe 3.0 x4 (SSDPEDMX012T401)
2 x Intel Xeon E5-2680 v3, 12x 2.50GHz, Sockel 2011-3, boxed (BX80644E52680V3)
4 x Kingston ValueRAM DIMM Kit 64GB, DDR4-2133, CL15-15-15, reg ECC (KVR21R15D4K4/64)
1 x MSI NTITAN-Black-6GD5, GeForce GTX Titan Black, 6GB GDDR5, 2x DVI, HDMI, DisplayPort (V801-1266R)
1 x Supermicro X10DAi bulk (MBD-X10DAi-B)
2 x Noctua NH-D9DX i4 3U
1 x Nanoxia Deep Silence 2 anthrazit, schallgedämmt (NXDS2A)
1 x Sea Sonic Platinum Series 860W ATX 2.3 (SS-860XP2)

Ich denke nicht, dass es sich lohnt noch 3000€ Extra für eine Tesla oder Quadro die weitgehend identisch mit ner Titan Black ist, aber 12GB Ram statt 6GB hat auszugeben. Das wirst du mit euren Entwicklern klären müssen.

Ich hab keine Ahnung wie ihr eure Systeme aufsetzt, ich schätze aber, dass 2x 1,2TB Festplatte zum lesen und schreiben, sowie 2x System SSDs wegen Ausfallsicherheit, Klonen usw. passen sollten?
Dann haste noch 2000€für nen schicken Monitor, ein schickes Soundsystem, sowie Gaming Maus und Gaming Tastatur

 

[Digi-Quick]

Bei dem Mainboard und der Grösse der auszuwertenden Datensätze würde ich aber eher sogar diesen Speicher vorschlagen:

4x http://geizhals.de/kingston-valueram-lrdimm-kit-128gb-kvr13ll9q4k4-128-a894773.html?hloc=at&hloc=de

oder 16 x 64 GB LRDIMM, aber die scheinen nicht gerade verbreitet zu sein und extrem teuer was ich so bei kurzer Googlesuche gesehen habe. 1 Modul kostet dann ca. 2,5K€ oder mehr.

 

[iwbt]

Vielen Dank schonmal für eure Antworten! Ein paar Fragen hätte ich dann aber noch...
Bei der Wahl der CPU scheint ja klar zu sein dass ein 2011er Sockel Xeon zum Einsatz kommen wird... Aber der von Black Ninja gepostete Chip hat 18 Kerne sowie eine Taktrate von 2,3ghz während der von 2k5lexi gepostete Chip nur 12 Kerne, jedoch 2,5ghz hat. Wenn ich die Kosten für ein Gesamtsystem überschlage komme ich zu dem Schluss dass der 18er Xeon keinesfalls als Doppel CPU System in Frage kommen kann (CPU's alleine über 8000€). Wären denn also 2x E5-2680 schneller als 1x E5-2699?

Dann die Frage des zu verwendenden Speichers: Mit der Kombination des von 2k5lexi vorgeschlagenen Mainboards muss ich ja DDR4 Speicher verwenden, kann also nicht die von Digi-Quick vorgeschlagenen DDR3 LRDIMM's verwenden... Tut mir leid, hier kenne ich mich garnicht aus...: Was ist denn nun schneller? DDR4 mit ECC oder LRDIMMs als DDR3? Da sehr viel der Berechnungszeit Speicherabhängig ist, wäre das ein Knackpunkt...

Die vorgeschlagene Titan fällt leider aus da ihr die Programmierer einer der zu verwendenden Anwendung eine sehr langsame Dreiecksberechnung zuschreiben... (Was auch immer das heißen mag!) Gibt es schnelle Karten von ATI mit viel Speicher die ihr empfehlen könntet?

Das Lesen der Datensätze muss technisch bedingt leider über ein 1gbit Netzwerk geschehen... Daher muss ich mir über den lokalen Speicherplatz nochmal Gedanken machen. Die Dinger von Intel sehen aber ganz nett aus, kannte ich noch nicht...

PS: Da ich von ECC Ram keine Ahnung habe da bisher fast nie genutzt... Das jetzige System hat - denke ich einen defekten Ram Chip (ECC) und ist daher bei Berechnungen sehr langsam, stürzt aber selten ab. Wie wenn nicht mit Prime95 kann ich die Chips denn testen?

 

[Hamburger Jung]

MemTest

 

[PitGST]

Mit dem Rechner soll doch bestimmt Geld verdient werden oder?

Dann sind Hersteller wie Dell, HP oder Lenovo eure Ansprechpartner. Natürlich mit entsprechende Wartungsverträge.
Alles andere hat wenig Sinn, geht da mal etwas kaputt, kommt in kurzer Zeit ein Techniker vorbei.

 

[thom_cat]

sehe ich wie pit!
sowas schustert man in so einem sensiblen umfeld nicht mal eben selbst zusammen.

das muss ja dauerhaft gut laufen und bei störungen schnell zu beheben sein.

 

[Digi-Quick]

Ups, DDR4 hatte ich nicht gesehen/drauf geachtet - mein Fehler!

16x http://geizhals.de/crucial-lrdimm-32gb-ct32g4lfq4213-a1134118.html?hloc=at&hloc=de
ist dann leider etwas teuer

Zur Frage welche CPU(s) Schneller sind:
Grundsätzlich ganz klar 2x E5-2680, Natürlich insgesamt davon abhängig, wie gut die Programmierung auf Multicore skaliert.
1. geringfügig höherer Taktrate > geringfügig höhere Singlecoreleistung
2. entweder 48 oder 2x 24 Threads statt 36 Threads > Die Programmierung muss natürlich mehr Threads nutzen können
3. höherer Speicherausbau möglich , Pro Prozessor gehen max 512 GB, bei 2 Prozessoren also 1 TB

Die wichtigste zu klärende Frage ist, wie gut skaliert die Software auf mehr Cores, es nützt überhaupt nichts ein System mit 36 oder 48 Threads aufzubauen, wenn die Software z.B. nur 4 Threads paralell nutzen kann!

- - - Updated - - -

sehe ich wie pit!
sowas schustert man in so einem sensiblen umfeld nicht mal eben selbst zusammen.

das muss ja dauerhaft gut laufen und bei störungen schnell zu beheben sein.

Je nachdem wie gut mein Hardwarelieferant ist - wie schnell er im Zweifelsfall Ersatz liefern kann - bin ich schneller als HP und Konsorten.
Problem ist hier halt, daß es sich nicht gerade um "Standardhardware" handelt, was aber auch bedeutet, daß ein entsprechender Servicevertrag u.U. auch teurer ist als für ein Gerät aus Standardkomponenten.
Im Grunde genommen muß der Lieferant nämlich ein fast komplettes Gerät im Lager stehen haben, um die Servicezeiten einhalten zu können - hier genau auf den Vertragsinhalt achten, Reaktionszeit =! Fehlerbehebungszeit.

 

[error274]

thom_cat und pit haben schon recht.

Aber wenn du trotzdem selber zusammenstellen willst wäre die schnellste Grafikkarte, denke ich mal, die Nvidia Quadro k6000.

http://geizhals.de/pny-quadro-k6000-vcqk6000-pb-a988359.html

Kostet auch nur günstige 4200 euro

 

[thom_cat]

Je nachdem wie gut mein Hardwarelieferant ist - wie schnell er im Zweifelsfall Ersatz liefern kann - bin ich schneller als HP und Konsorten.
Problem ist hier halt, daß es sich nicht gerade um "Standardhardware" handelt, was aber auch bedeutet, daß ein entsprechender Servicevertrag u.U. auch teurer ist als für ein Gerät aus Standardkomponenten.
Im Grunde genommen muß der Lieferant nämlich ein fast komplettes Gerät im Lager stehen haben, um die Servicezeiten einhalten zu können - hier genau auf den Vertragsinhalt achten, Reaktionszeit =! Fehlerbehebungszeit.

was aber bedeuten würde, dass du im grunde deinen lieferanten fast vor ort haben musst.
ich kenne verträge zugegeben nicht aus eigener erfahrung bzw nicht details, aber reaktionszeiten innerhalb von 3-4 stunden sind schon drin.
und dass du den fehler in der zeit beheben kannst, ist leider genauso wenig gesagt.

dafür trägst du dann aber die verantwortung, dass es läuft und nicht der servicepartner.

 

[Digi-Quick]

Was nützen 3-4h Reaktionszeit, die ist nämlich keine "grosse Kunst"!
Per se erstmal gar nichts, wenn z.B. das Mainboard abgeraucht ist und der Techniker dann mitteilt, daß das ganze erst bestellt müsse und leider beim Distributor auch gerade keines Vorrätig sei. Selbst per Eilkurier aus Taiwan o.ä. dauert es dann mind. 2 Tage bis das Board da ist.

Das wichtige ist, ob die Zeiten bei erforderlichem Austausch definiert sind, ggf. mit saftigen Vertragsstrafen bei Nichteinhaltung.

Es kann u.U. billiger sein Austauschhardware selber auf Halde zu legen, bei entsprechend günstigerem Anschafffungspreis als das ganze von Haus aus wesentlich teurer von einem Systemhaus einzukaufen und dazu einen teuren Wartungs- und Servicevertag mit dedizierter Reaktions- und Reparaturzeit mit einer Laufzeit von sagen wir mal 5 Jahren zu kaufen.

Was müsste bei dieser Workstation auf Halde gelegt werden.
1 x Mainboard = 360 €
2-4 Speichermodule = 1400 € - 2800 € (wenn ich von den 32 GB Modulen ausgehe)
1 Prozessor = 1650 €
1 PCIe SSD = 1800 €
evtl noch die Graka = 4200 €
= ca. 6-11.000 €

Alle anderen Komponeneten sollten als relative Standardhardware auch kurzfristg zu beschaffen sein (notfalls per Kurier in 2-8h geliefert - je nach Entfernung)
gegen diese Summe muss man den Mehrpreis, den man eigentlich schon prinzipiell von "Haus aus" bei HP und Konsorten mehr zahlt und die Kosten für den Servicevetrag gegenrechnen.

Die Rechnung geht natürlich nur dann auf, wenn man in der Laufzeit einen Vorfall berücksichtigt, bei 2 oder mehr Vorfällen kommt man dann wiederum mit dem Servicevertrag günstiger weg - es ist eine schwierige Entscheidung.

 

[Fimbulvetr]

Grafikkarte mit möglichst viel VRAM: 8GB-Versionen der 290X, oder eben Titan Black. Was gibt's da schnelleres?
Höchstens wenn 8GB nicht ausreichen oder mit Double Precision gerechnet wird, wäre die FirePro W9100 (16GB) bzw derem passiv gekühlte Variante FirePro S9150 noch zu erwähnen, aber das war's dann auch schon. Und das alles eben unter der Annahne, dass AMD auch möglich ist - das hängt aber eben von der verwendeten Software ab.

 

[2k5lexi]

was aber bedeuten würde, dass du im grunde deinen lieferanten fast vor ort haben musst.
ich kenne verträge zugegeben nicht aus eigener erfahrung bzw nicht details, aber reaktionszeiten innerhalb von 3-4 stunden sind schon drin.
und dass du den fehler in der zeit beheben kannst, ist leider genauso wenig gesagt.

dafür trägst du dann aber die verantwortung, dass es läuft und nicht der servicepartner.

Oder man legt sich einfach 3000€ Hardware auf Halte, 1x CPU, 1x Mobo, 1x Graka und 2x Ram Riegel.

Auf den Dualsockel bin ich einfach nur gekommen durch die 256GB Arbeitsspeicher.

Zudem bin ich der Meinung dass ein System mit reduzierter Leistung immer noch besser rennt als ein Tagelanger Totalausfall. Und wenn dann mal fuer ne Woche nur 192GB Ram statt 256 drin sind - wayne? Gehts halt etwas langsamer. Wenn ich das aber so sehe ist das Thema eh die Gigabit Netzwerkanbindung. Der Rest ist viel flotter.

Wenn das System softwareseitig selbstbau ist und die Kohle da ist sich Ersatzteile auf Halde zu legen wuerd sehe ich keinen Sinn in einem Fertigsystem. Hardware und Softwarewissen scheint ja vorhanden zu sein.

 

[dA_iNci*]

Es gibt viel zu wenig Informationen über verwendete Software und deren Aufgabe. Zudem sollte euch der Hersteller sicher eine Grafikkarte empfehlen können, denn solche Programme werden vermutlich auch optimiert ?!
Standard-Consumerkarten fallen denke ich eh raus, da sie Treibertechnisch viel zu sehr beschnitten sind, erst recht wenn mit Doppelter Genauigkeit gerechnet werden soll. ( z.b. für Echtzeitsimulationen etc.)
SPECviewperf12: Synthetische Simulationen - AMD FirePro W9100 im Test: Hawaii auf Hochtouren?

http://www.tomshardware.de/amd-firepro-w9100-review-benchmarks,testberichte-241531-5.html

Werden denn überhaupt 2 CPU's benötigt ? Wenn du die Anforderungen nicht genau kennst baust du dir vielleicht einen teuren Flaschenhals zusammen. ( oder verschwendest tausende von Euro's für eine weitere CPU die vielleicht gar nicht benötigt wird, da der "Workload" zwischen GPU und CPU auch so ausreicht oder der RAM limitiert oder oder oder

Sowas sollte man schon genau abklären

(nur so meine Gedanken zu so einem teuren Projekt)

 

[Digi-Quick]

Das Lesen der Datensätze muss technisch bedingt leider über ein 1gbit Netzwerk geschehen... Daher muss ich mir über den lokalen Speicherplatz nochmal Gedanken machen. Die Dinger von Intel sehen aber ganz nett aus, kannte ich noch nicht...

Da von Datensätzen gesprochen wird, gehe ich davon aus, daß die Daten in einer Datenbank gespeichert sind.
Wenn ein Datensatz ca. 300GByte Gross ist, benötigst du nur zum Übertragen des Datensatzes über 1Gbit Netzwerk schon 300GByte/ca. 0,12 GByte = 2500 Sekunden bzw. ca 42 Minuten, in der Zeit wertet mit Sicherheit ein uralter 486er Rechner einen bereits übertragenen Datensatz aus.

Es muass ja auch wieder was zurückgeschrieben werden.

2 Möglichkeiten: entweder die Datenbank selbst kommt mit auf dieses System, oder aber es wird mindestens auf 10 GBE hochgerüstet.
Bevor man hier überhaupt über ein Hochleistungssystem nachdenkt, sollte man ersteinmal das Speichersubsystem der Datenbank selbst betrachten, welche Datenraten können hier überhaupt geliefert werden.