Multi-Sockel-Hardwaretreff Part 2

Ok - nun genutzt wird die mit einer Clusterfähigen Renderserver und für meine Mutter in der Medizintechnik, die Software ist auch CLusterfähig -> diese richtet mein Bekannter aber ein, er kennt die Software besser als ich ;).
Platz ist eher das kl. Problem, das die wohnung exakt die gleichen Maße hat, wie in der ich Wohne^^ und auch die Decke packt das, das Gebäude war ein ehemaliges Ärztezentrum und da (aus Gespärchen) sind die Decken extra stark gebaut.

Es hat mich halt nur interessiert, aktuell fahre ich ein Bladecenter (hier aus dem Forum gekauft) mit HS22 Blades und das läuft ziemlich gut - ok ist Stromtechnisch super aber es läuft. Die anderen Systeme haben alle (sind 4HE/5HE) alle Seasonics mit 80+ Gold und mehr.
Das bladecenter wird auch bei mir nach und nach wieder ersetzt :), da wie du schon sagt, es besser ist ein einzelnen Server zu warten/umzurüsten als so ein Blade, des Weiteren -> die Kiste sind "leichter" zu bewegen. Leistenbruch Nummer 2 lässt grüßen :/.

Aktuell stelle ich die ältesten Systeme (1366 und sogar 771) auf LGA2011 um.

EDI:T
Auch wenn das hier ein Multi-Sockelthread ist: Bei mir stehen viele gemischte Systeme Up und DP, vorallem die UP Xeons von intel sind für kl. Renderjobs extrem genial - zum Beispiel: Proxys für einen Film zu erstellen oder Faltungräume berechnen. Die großen DP xeons nutze ich halt für Maya/Renderman und medizinische Anwendungen.
Meine Wokrstation (siehe Systeminfo) ist ein rein für die Musikkomposition/Musikbearbeitung da.

Virtualisierung hab ich aktuell noch nichts großes am Start, höchsten auf meiner Officegurke (Xeon E3-1200v2) rennt neben Windows 7 in einer VM -> Mac OS X und Linux. Eventuell werde ich auch was größeres im Bereich Virtualisierung machen, das Problem aktuell ist halt das irgenwie keine VM-Host die Audiokarte ordenliche und sehr latenzarm durch reicht.
Div. Kunden (Kinos und Shopping-Malss) fragen halt schon nach sowas nach, weil die einfach weniger Systeme haben wollen. Nur das Audioproblem muss irgenwie in beseitigt werden.

PS: RME ist da auch schon am oberlegen, bezüglich diesem Problem.
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
fdsonne schrieb:
In Grunde agieren die Dinger doch wie "normale" Bladecenter bzw. Blades...
Zum Vergrößern anklicken....
Es sind eben keine Blades! Sondern ganz normale Server in einem gemeinsamen Gehäuse. Wenn ich mich an die Preise korrekt erinnere, sind die Dinger deutlich günstiger wie 8 bzw. 12 1U Server.
 
Wenn du überwiegend Software hast, die die CPU Leistung in einer einzigen Anwendung "verpulvert", dann verliert virtualisierung ansich schonmal seinen eigentlichen Hauptgrund für den Einsatz... Denn du willst deine Ressourcen ja dann idR nicht geshart und somit möglichst optimal belastet ausnutzen. Sondern schaffst dies ja mit der nativen Software auf dem Node ebenso spielend.

jdl schrieb:
Es sind eben keine Blades! Sondern ganz normale Server in einem gemeinsamen Gehäuse. Wenn ich mich an die Preise korrekt erinnere, sind die Dinger deutlich günstiger wie 8 bzw. 12 1U Server.
Zum Vergrößern anklicken....

habe ich auch nicht gesagt!? :wink:
Sondern ich sagte, die agieren doch wie normale Blades... Eben nicht pauschal zusammen, wie es ein insich geschlossenes Clustersystem tun würde, sondern wie normale Blades als Single Instanzen...
Du kannst mit dem ersten Einschub Sache A machen, wärend der zweite Node was ganz anderes macht. Eben wie ein Bladesystem auch...

Worauf willst du mit der Aussage hinaus!? Die Frage ist halt, was der Spaß am Ende im Vergleich wirklich kostet... Zu dedizierten 1HE Pizzablechen fallen ja einige Sachen hinten runter. Könnte also schon sein, das es günstig(er) ist. Ob man damit aber im Vergleich zwischen P/L besser fährt? Müsste man sich mal genau angucken... Die E3 Xeons sind halt auch bei 10 Stück nur Quadcores mit SMT. Nimmt man die kleineren, ist das P/L sehr gut, nimmt man die größeren, sinkt das P/L sehr stark bei nur unwesentlich mehr Leistung.
 
Zuletzt bearbeitet:
Everest2000 schrieb:
schonmal sowas in den Händen gehabt bzw. sogar von Supermicro, interessant wäre halt die Performence eventuell für mittleres Rendering und ähnliches.
Zum Vergrößern anklicken....
Wie haben von verschiedenen Anbietern (auch SM) Twin² Systeme mit IB. Für bestimmte Workloads wäre es ganz interessant, diese auf die von Dir verlinkten SM Boxen auszulagern, wenn man auf IB verzichten kann. Man kann zwar bei den MicroCloads IB nachrüsten, aber mir erscheint das preislich nicht wirklich attraktiv. Die Frage ist halt, welche Software soll auf diesen MCs laufen? Ggf. wären Twin² sinnvoller.

- - - Updated - - -

fdsonne schrieb:
habe ich auch nicht gesagt!? :wink:
Sondern ich sagte, die agieren doch wie normale Blades... Eben nicht pauschal zusammen, wie es ein insich geschlossenes Clustersystem tun würde, sondern wie normale Blades als Single Instanzen...
Zum Vergrößern anklicken....
Ein Bladesystem hat eine Backplane, diese Boxen nicht. Ein Cluster wird auch nur durch Software und spezielle Interconnects (und die sich noch nicht einmal notwendig) zu einem Cluster, typischerweise nutzt man für diese Interconnects mittlerweile Infiniband, früher gab's auch so Sachen wie Myrinet. Weil die Innovationszyklen bei den IPC Verbindungen andere sind als bei den Blade Centern, nimmt man für HPC i.d.R. keine Blades, das lohnt sich nicht.

fdsonne schrieb:
Du kannst mit dem ersten Einschub Sache A machen, wärend der zweite Node was ganz anderes macht. Eben wie ein Bladesystem auch...
Zum Vergrößern anklicken....
Das geht bei einem Cluster trivialerweise auch.

fdsonne schrieb:
Worauf willst du mit der Aussage hinaus!?
Zum Vergrößern anklicken....
Es gibt keine interne proprietäre Backplane, sondern jede Vernetzung erfolgt über Standardtechnologie außerhalb der Box.

fdsonne schrieb:
Die E3 Xeons sind halt auch bei 10 Stück nur Quadcores mit SMT. Nimmt man die kleineren, ist das P/L sehr gut, nimmt man die größeren, sinkt das P/L sehr stark bei nur unwesentlich mehr Leistung.
Zum Vergrößern anklicken....
Man muß dem Drang widerstehen die schnellsten CPUs zu kaufen. Sinnvoll sind bei Großinstallationen immer nur die Systeme mit dem besten Preisleistungsverhältnis. Wenn ich statt 8 Xeon E3 mit maximaler Taktrate 12 mit etwas niedrigerer Taktrate bekommen, sind diese immer schneller. Einzig in ganz wenigen Szenarien in denen man wirklich die hohe Single Threadleistung braucht, machen die teuren CPUs Sinn.
 
jdl schrieb:
Ein Bladesystem hat eine Backplane, diese Boxen nicht. Ein Cluster wird auch nur durch Software und spezielle Interconnects (und die sich noch nicht einmal notwendig) zu einem Cluster, typischerweise nutzt man für diese Interconnects mittlerweile Infiniband, früher gab's auch so Sachen wie Myrinet. Weil die Innovationszyklen bei den IPC Verbindungen andere sind als bei den Blade Centern, nimmt man für HPC i.d.R. keine Blades, das lohnt sich nicht.
Zum Vergrößern anklicken....

Keine Ahnung, wie es aktuell da auf dem Markt ausschaut, aber ich hab auf der Arbeit noch ein betagtes Fujitsu Bladecenter stehen, da gehen zen DP S771 Blades rein... Klar, da ist auch ne Backplane vorhanden, aber die Blades agieren im Grunde alle samt komplett unabhängig. Das einzige, was hintenraus wirklich nur über die Backplane geht, ist die NIC Anbindung. Dafür gibts vier NIC Blades -> jedes Blade hat quasi vier NICs physisch hinten raus, die irgendwie über die Backplane geschleift werden. Der Rest ist komplett eigen (außer die Stromversorgung)
Sprich eigener RAM, eigene CPU Sockel, eigenes internes Storage, eigene USB Ports, eigene VGA/PS2 Aus/Eingänge, eigene PCI/PCI-X/PCIe Slots... Im Grunde also vollständig eigene Server. Drückt man in die PCIe Slots ne Quadport NIC, kann man sogar hintenraus die Backplane sparen...
shared sind dann nur noch die Spannungsversorgung und das KVM Blade -> für die KVM Features, die es ja seinerzeit noch nicht intern auf den Boards/Chipsätzen gab.
Also effektiv nicht wirklich anders, als bei dem hier verlinkten SM Kisten... Oder steh ich auf dem Schlauch?

jdl schrieb:
Das geht bei einem Cluster trivialerweise auch.


Es gibt keine interne proprietäre Backplane, sondern jede Vernetzung erfolgt über Standardtechnologie außerhalb der Box.
Zum Vergrößern anklicken....

Ich meinte eher sowas wie die RX900 Büchsen von Fujitsu... Gibts sicher von anderen Herstellern ebenso... Da hast du intern so ne Art "Blade" als CPU Modul bzw. RAM Modul. Und kannst hochskallieren. In der S2 Ausführung aktuell bis 8x 10 Kern E7 Intels und 4TB RAM. Nur laufen diese CPU/RAM Module faktisch nicht einzeln sondern sind intern QPI angebunden... Das ganze agiert dann halt zusammen als ein System.

Wobei ich gestehen muss, geclustert war da wohl ziemlich der falsche Begriff :fresse:
 
Zuletzt bearbeitet:
Interessant zu wissen wie das mit Blade und diesem Supermicrogerät funktio0niert^^ - man lernt halt immer was dazu. Nunja bei meinem Bladecenter ist halt auch diese Backplane drinne, da geht irgenwie alles drüber. Es gibt bei manche Blades von IBM eine PCIe Erweiterung für das entsprechende Blade -> diese kann aber nur ein Blade nutzen oder ..?ß..
 
fdsonne schrieb:
Keine Ahnung, wie es aktuell da auf dem Markt ausschaut …
Zum Vergrößern anklicken....
Es ist noch immer so, daß BladeCenter mehr oder minder stark die IO Anbindung über ein zentrale Backplane führen.

fdsonne schrieb:
Also effektiv nicht wirklich anders, als bei dem hier verlinkten SM Kisten... Oder steh ich auf dem Schlauch?
Zum Vergrößern anklicken....
Die SM MicroClouds teilen sich nur die Netzteile und die Lüfter, der Rest ist vollkommen getrennt. Schau Dir mal im Vergleich dazu die BladeCenter von SM an.

fdsonne schrieb:
Ich meinte eher sowas wie die RX900 Büchsen von Fujitsu... Gibts sicher von anderen Herstellern ebenso...
Zum Vergrößern anklicken....
Das ist ein normaler Xeon E7 Server nur mit speziell geformter Platine. 8 CPUs sind bei Xeon E7 die natürliche Obergrenze und die Koppelung via QPI ist auch Standard, ergo nichts besonderes. Anders sieht das etwa bei einer HP SuperDome oder einer SGI UV aus. Bei der SuperDome wird mittels CrossbarSwitches die einzelnen NUMA Knoten zu einem großen NUMA System gekoppelt. Der wesentliche Unterschied zu einem Cluster besteht nun darin, wie der Arbeitsspeicher organisiert ist. Bei einem Cluster hat man einzelne Knoten, bei denen man auf Speicher anderer Knoten nicht zugreifen kann. Bei einer SuperDome geht das aber! Das ist natürlich langsamer, aber es geht. Dabei wird die Cache Kohärenz gewährleistet -> ccNUMA. Früher gab es Systeme bei denen das nicht der Fall war.

Interessant wäre es nun mehrere Xeon E7 Knoten á 8 Sockets zu einem System über CrossbarSwitche zu koppeln.
 
Anstatt aufwändiger Crossbar Switche reicht auch die eine oder andere Dual Port Infinibandkarte mit 56 Gbit/sec je Port und Richtung und aktuell 0,7 µsec Latenz. Die Roadmap sieht noch 100Gbit/sec mit 0,5µsec sowie 160/200Gbit je Sekunde und weniger als 0,5µsec Latenz bei Mellanox vor.
 
fdsonne schrieb:
Das war auch meine Idee... Aber Mafri meinte, das geht imho nicht in seinem Fall...
Zum Vergrößern anklicken....
Durch die PCI-X Nic auf PCI Port gehn a Port 10Mbit ergo das reicht dicke - und vlan nicht möglich ;)

Werd die Hardware wohl 2 Monate verschieben müssen, einfach zuviel anderes zZ zu tun. muss das nur vor Ende März hinbekommen - sonst wirds zu warm :d

Grüße
 
bluesunset schrieb:
Anstatt aufwändiger Crossbar Switche reicht auch die eine oder andere Dual Port Infinibandkarte mit 56 Gbit/sec je Port und Richtung und aktuell 0,7 µsec Latenz. Die Roadmap sieht noch 100Gbit/sec mit 0,5µsec sowie 160/200Gbit je Sekunde und weniger als 0,5µsec Latenz bei Mellanox vor.
Zum Vergrößern anklicken....
Das stimmt zwar, aber dann fehlt noch immer die Software um aus einem Cluster ein ccNUMA System zu machen. ScaleMP bietet so etwas an, falls das jemand sucht.
 
Hat zufällig jemand ne Quelle für nen günstiges Gehäuse in das man 24 3,5" SATA Platten packen kann, das günstigste was ich gefunden habe ist dieses von Inter-Tech für knapp 350€
 
;) naja da wirds dann eher schwierig. Weil 24 HDDs ist natürlich einen gute Hausnummer. In meinen Lian Li V2000 habe ich maximal 21 HDDs rein bekommen. inkl 2x 4x Adapter in 3x 5,25" Laufwerken. Wenn man dort andere nehmen würde dann gehen dort auch nochmal 2 mehr rein gehen aber dann bist du auch maximal bei 23 Stück. Mit bissel gebastel würde über dem Netzteil dort nochmal 3-4 rein gehen denke ich.
Welchen Cube von Lian Li meinst du denn den alten V343B oder das neue Lian Li PC-D8000?
Bei 19" hast du ja schon geschaut. Wenn dir 16 reichen gibt es ja die SuperMicro X7DBE 1x Intel Xeon Dual-Core 5150 2660Mhz 8192MB SATA2 2x Gigabit LAN bis zu 16HDD
Hier noch der Link zum Sammelthread.
 
Wusste gar nicht das es von diesem Cube schon nen Nachfolger gibt :p Aber 16 sind definitiv zu wenig, werde ich wohl mal ebay eine Zeit im Auge haben und wenn sich da nichts ergibt das Inter-Tech bestellen.
 
-INU- schrieb:
Wusste gar nicht das es von diesem Cube schon nen Nachfolger gibt :p Aber 16 sind definitiv zu wenig, werde ich wohl mal ebay eine Zeit im Auge haben und wenn sich da nichts ergibt das Inter-Tech bestellen.
Zum Vergrößern anklicken....
Wie gesagt wenn du so eine Lian Li V2000 bzw V2100 bekommen kannst wäre das eine gute Möglichkeit. Da gehen unten 12x HDDs rein und dann überm Netzteil nochmal 4 Stück und dann nochmal 9-11 in den 5,25" Schächten.

Siehe dazu hier ein Bild von meinem Server

Fileserver Feichti



Ich hab mal bei Ebay geschaut. Die V2000 gehen teilweise für ca 75-110€ weg. Und dann halt noch die Rahmen zb Xigmatek 4in3 Modul, 5.25" Festplattenkäfig bzw für die 5,25" 2 x Lian Li EX-34NX komplett schwarz, Festplattenkäfig oder 2 x Lian Li EX-H34SB schwarz, SAS/SATA II Wechselrahmen.

Ist halt die Frage was du haben willst Dekstop/Big-Tower Case oder eben 19" ;)

Ich bin zur Zeit auch am überlegen ob ich bom Big-Tower Case weg gehen soll zum 19" bin mir da aber noch nicht ganz schlüssig ;).

Vorteil vom 19" wäre alle HDDs wären Hot-Swap fähig ;). Aber ich habe kein 19" Rack somit würde das Case nur im Keller auf einem Regal liegen.

Vorteil fürs Big-Tower Case wäre das passt besser aufs Regal und ich habe maximal 8 HDDs Hot-Swap fähig.
 
Zuletzt bearbeitet:
Das 19er würde ich einfach aufrecht hinstellen und nen kleinen Rahmen aus Aluprofilen basteln, damit dollen drunter passen :d

Den LianLi werde ich mal in ebay als Suchanfrage speichern, sieht aber auch schon recht eng da drin aus bei dir. Aktuell habe ich noch nen Rebel 12 von Sharkoon, da passen 22 Platten rein, aber jetzt ist das so eng das jeder HDD-Wechsel zur Qual wird. Diese 4 in 3 Adapter, wo man einen ganzen Adapter ausbauen muss um eine Platte zu tauschen machen das ganze dann auch nicht unbedingt einfacher.
 
-INU- schrieb:
Diese 4 in 3 Adapter, wo man einen ganzen Adapter ausbauen muss um eine Platte zu tauschen machen das ganze dann auch nicht unbedingt einfacher.
Zum Vergrößern anklicken....
Da hast du recht dann müsstest du schon die mit Hot-Swap nehmen. Die werde ich mir jetzt glaub anschaffen. dann kannst du die bequem von vorne einzlen ein bzw ausbauen.

Warum brauchst du denn 24HDDS? 2x 12er Raid 5/6?
 
Bei 24 hot swappable Platten in einem Gehäuse führt eigentlich nichts an einem 19" Case vorbei. Das Intertech 4U-4324L ist da eigentlich die praktikabelste Lösung, da es vergleichsweise günstig ist.

Es gibt 4 in 3 Module mit Hot Swap Funktion, aber mir fällt nur das Lian Li PC-V343 ein wo man auf die Art 24 Platten unterbringen kann. Ich hatte eine Zeit lang mal zwei Xigmatek Elysium voll damit, hab ich teilweise aber schon wieder zurückgebaut. Der Rest kommt bald auch weg. Die Module liegen noch bei mir im Regal, falls die jemand haben will...:)
Es gibt auch 5 in 3 Module, damit kann man das Ganze etwas dichter packen, aber in einen Elysium Tower passen so, als Beispiel, trotzdem "nur" 20 Platten. Von den Kosten her läge die Lösung eigentlich auch über dem Intertech Case.
 
Ein 4in3 Modul mit Hotswap? Was willst denn dafür? ;-)
Dann bring ich meinen midi Tower auf 16x3,5 und 2x2,5. Das sollte sehr lang ausreichen.
 
Eine Frage ;)
kann ich beim Supermicro X10SLH-F retail (MBD-X10SLH-F-O)
Typ: 1x Intel Sockel-1150 • Chipsatz: Intel C226 • Speicherslots: 4x DDR3, dual PC3L-12800E, max. 32GB (UDIMM), N/A (RDIMM), N/A (LRDIMM)
auch normale DDR3 RAM einbauen ? hab mir zwar ECC bestellt die brauchen aber noch bis sie da sind. Dann könnte ich den Server derweil mit normalen dann schon aufsetzen ;)
 
Feichti schrieb:
Eine Frage ;)
kann ich beim Supermicro X10SLH-F retail (MBD-X10SLH-F-O)
Typ: 1x Intel Sockel-1150 • Chipsatz: Intel C226 • Speicherslots: 4x DDR3, dual PC3L-12800E, max. 32GB (UDIMM), N/A (RDIMM), N/A (LRDIMM)
auch normale DDR3 RAM einbauen ? hab mir zwar ECC bestellt die brauchen aber noch bis sie da sind. Dann könnte ich den Server derweil mit normalen dann schon aufsetzen ;)
Zum Vergrößern anklicken....

Nope, geht nicht. Die X10 Boards supporten NUR UDIMM mit ECC. UDIMM ohne ECC funktionieren nicht!
 
DunklerRabe schrieb:
Nope, geht nicht. Die X10 Boards supporten NUR UDIMM mit ECC. UDIMM ohne ECC funktionieren nicht!
Zum Vergrößern anklicken....
Bist du dir sicher ;)

Hab gerade das hier noch gefunden :)
http://www.hardwareluxx.de/community/f101/super-micro-x10sla-non-ecc-978354.html

Question
Which X10 boards support both ECC and Non-ECC UDMIMM on Client OS?

Answer
Only the boards using Intel C226 Chipset.

Examples include following:

X10SAE

X10SLH-F

X10SLE-HF

Und nachdem ich ja das X10SLH-F bestellt habe, sollte es ja gehen.
 
Ich bin mir da sehr sicher, weil ich zwei X10SLL (C222) habe, die mit non-ECC Speicher nicht laufen. Die Specs laut Supermicro für dein X10SLH lesen sich identisch zum X10SLL (und auch allen anderen X10 Boards).
Wenn das X10SLH mit non-ECC UDIMM läuft, dann muss Supermicro mal die Beschreibung des Boards auf ihrer Website korrigieren! :d

http://www.supermicro.com/products/motherboard/Xeon/C220/X10SLH-F.cfm
Up to 32GB DDR3 ECC 1600MHz UDIMMs in 4 sockets
Zum Vergrößern anklicken....
Supports up to 32 GB DDR3 ECC Un-Buffered memory (UDIMM)
Zum Vergrößern anklicken....
1600MHz ECC DDR3 SDRAM 72-bit, 240-pin gold-plated DIMMs
Zum Vergrößern anklicken....

Beim X10SLL steht das gleiche und da bedeutet es ECC only! In der Tested Memory List für das X10SLH ist auch nur ECC RAM drin.
 
Zuletzt bearbeitet:
Jup da hast du recht ;)
Aber die Frage ist warum es dann extra diese FAQ gibt:
Super Micro Computer, Inc.. - FAQ Entry
Ich werde es glaub einfach mal testen, und euch dann bescheid geben obs geht. Weil wie bei dem FAQ beschrieben bei dem X10SAE steht auch:
• Up to 32GB DDR3 1600MHz ECC/non-ECC UDIMMs in 4 sockets

Mal guggen muss das Board und CPU erst mal haben ;)
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh