Beowulf Cluster Projekt | WPrime Weltrekord fürs Forumdeluxx

Techtrancer

Techtrancer

Urgestein
Thread Starter
Mitglied seit
21.08.2007
Beiträge
15.705
Ort
Wien
also es geht drum, dass ich/wir (einige vom luxx) gerne wprime auf nem beowulf cluster benchen würden um dadurch falls möglich den WPrime Weltrekord ans Forumdeluxx zu holen

geplant ist dies durch die verbindung von sehr vielen rechner per internet

abstriche an rechenleistung gäbe es zum einen wegen der VM und zum andren wegen der lahmen internetverbindung

aber eventuell können diese abstriche durch eine hohe coreanzahl wettgemacht werden

zu schlagen gilt es einen intel server mit 32 cores

da ich aber mit linux und vmware bisher noch fast garnichts zu tun hatte möchte ich fragen ob wer von euch ein how to für einen beowulf cluster und für den aufbaue eines VM auf so nem cluster bei der hand hat?

vorab besten dank für eure hilfe!
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hier ne grobe aber Hilfreiche Anleitung hatte es mit bissl Probieren damit hinbekommen 4 PC zum Clustern zu bewegen. Alternativ kannst du es erstmal auch mit einer Live-CD und ein paar Testrechnern versuchen ob du damit auch einigermaßen klar kommst.

Wenn Ihr das übers Netz machen wollt, werdet ihr um VPN nicht drumrumkommen. Ob euer Vorhaben mit WPrime klappt kann ich nicht sagen, da ich das Programm nicht kenne.
 
ich wär dabei, sammt meiner Systeme - könnte die Plattentauschen um es direkt drauf laufen zu lassen und nicht erst ne VM zu machen ;)

wie würde das ganze den genau ablaufen, bzw. an welchem datum?
 
Die Idee ist erst heute Nacht entstanden und es muss erstmal genau geprüft werden, wie das überhaupt zu realisieren ist.

Ich habe hier 2x i7 Systeme aber leider keine Dual-CPU Boards :(
 
@Techtrancer

Ich denke das wird keine vernünftigen Ergebnisse erzielen, da die Berechnungszeiten und die Aufgaben ans System einfach viel zu gering sind. 32m hat man ja in gut 4,5sec und 1024m nach ca. 2min abgefrühstückt. Bis da mal übers Internet irgendwas zustande kommt, ist der Bench schon durch. Wenn es jetzt hier um Berechnungszeiten von 1-2 Stunden gehen würde, die durch 32 oder 64 Kerne halbierbar wären, ok, aber so sehe ich da eher schwarz, lasse mich aber gerne vom Gegenteil überzeugen.

Einzig ein privates Netzwerk mit mehreren Clients, die schon hochtaktende 16 Kerne haben, könnten im 1024m noch was schaffen.
 
Zuletzt bearbeitet:
Wenn ich das nun richtig verstehe könnte ich mit meinen beiden System im VErbund bei mir zu Hause doch noch einiges herausholen.

Würde dann wie folgt aussehen:

W3540 @ 5,1Ghz @ 8 Threads
i7 920 @ 4,4Ghz @ 8 Threads
 
Wenn ich das nun richtig verstehe könnte ich mit meinen beiden System im VErbund bei mir zu Hause doch noch einiges herausholen.
Zum Vergrößern anklicken....

Das halte ich auf jeden Fall für realistischer als, z.B. drei bis vier Rechner übers Internet, die höchsten jeweils 4 Threads am Start haben.
 
E8600 & W5200 wären hier auch noch, aber ich glaube ein Zusammenschluß mit i7 System wäre dann wieder eher kontraproduktiv?
 
also unter linux wärde es auf jeden fall mit der dualcore zusammen besser laufen

abstriche durch ne lahme internetverbindung hast du ja nicht, wenn alles vorort aufgebaut ist

wie sehr sich die abstriche durch eine VM aufs gesammtergebniss auswirken und ob du durch die mehrleistung die abstriche wettmachst weis noch keiner
 
Techtrancer schrieb:
also unter linux wärde es auf jeden fall mit der dualcore zusammen besser laufen

abstriche durch ne lahme internetverbindung hast du ja nicht, wenn alles vorort aufgebaut ist

wie sehr sich die abstriche durch eine VM aufs gesammtergebniss auswirken und ob du durch die mehrleistung die abstriche wettmachst weis noch keiner
Zum Vergrößern anklicken....

Du siehst die Sache wie schon gesagt etwas zu optimistisch... Mir ist keine Virtualisierungssoftware bekannt, welche Clusterfähig ist...

Und selbst wenn es sowas geben würde, macht ein derartiger Cluster nur Sinn, wenn alle CPUs gleich schnell sind und alle CPUs die gleiche Rechenlast bekommen. Weil WPrime die Threads hintereinander abarbeitet, der Prozessor, welcher zuerst fertig ist, wartet solange bis die langsamste CPU auch fertig ist mit seinem Rechenteil.

Und wir reden hier über Bereiche von wenigen Sekunden... Wenn da der Task nur ne halbe Sekunde auf die langsame CPU warten muss, ist das schon verdammt viel, gerade im 32M Test...
 
Also fassen wir mal zusammen:
übers Internet wird es zu langam!
alle CPUs sollten gleich schnell sein, gleiche CPU, gleicher Uncore, gleicher RAM etc!

Ne andere Idee:
Man trifft sich irgendwo, bastelt so viele i7 Systeme zusammen wie möglich, verbindet diese mit Gigabit-Netz und dann könnte das gehen?

Gibt es denn eine Windows Software, die diese Aufgabe bewältigen kann?
Ich stelle mir das gerade wie ein Gameserver vor. Der Server startet WPrime und lagert dann die Berechnungen auf die Clients aus... könnte das gehen?
Kommt man da ohne VM aus, denn da sfrißt ja wieder Performance...

Wenn das alles läuft könnte man hingehen und sagen, wir takten die Systeme einzeln hoch und schauen, ob es was bringt. Wenn eine asymmetrische Taktung hilfreich ist, könnte man diese i7 Systeme auch hart mit Kaskade/LN2 takten und dann mit 5,5GHz benchen. Natürlich nur, wenn diese Systeme dann nicht auf den auf 4,5GHz getakteten 920 warten müssen.

Wäre mal eine Aufgabe für die kommende Session... i7 Bencher versammelt euch :d
 
mit nem switch wird so ein cluster ja aufgebaut
du braucht nichtmal komplette systeme
glaub dass funkt auch wenn du blos eine festplatte pro cluster hast
einzig ein CD/DVD laufwerk pro PC brauchst du

ich finde leider nicht mehr die seite wo sich einer aus ein par intelboards und 5 quads einen gebaut und mit der rechenleistung von nem imac verglichen hat
 
Zuletzt bearbeitet:
loopy83 schrieb:
Gibt es denn eine Windows Software, die diese Aufgabe bewältigen kann?
Ich stelle mir das gerade wie ein Gameserver vor. Der Server startet WPrime und lagert dann die Berechnungen auf die Clients aus... könnte das gehen?
Kommt man da ohne VM aus, denn da sfrißt ja wieder Performance...
Zum Vergrößern anklicken....

Wie gesagt, das Problem ist und bleibt die Software...
Wir müssten am besten irgendwie an den Sourcecode von WPrime rankommen, dann könnte man diese Software mehr oder weniger effizient Clusterfähig machen ;)

Wenn wir WPrime nicht anpassen können, dann geht es nur über eine Software, welche vorhandene Ressourcen (sprich CPUs) in eine virtuelle große Einheit zusammenfasst, oder andererseits vorhandene CPUs zusammen in eine einzellne Einheit durchscheinen lässtl auf der wir ein Windows aufsetzen...
Eine Art Virtualisierungssoftware wie VMWare ESX + Clusterfähigkeit und die Möglichkeit die physisch vorhandenen Cores in eine einzige VM zu übergeben würde also auch funktionieren.

Alles andere wird nix...

Da ich an ersteres nicht glaube und letzteres wohl nicht geht (wobei ich das heut abend austeste) werden wir wohl keine Chance haben.


Vllt kann die Windows 2003/2008 HPC Edition was reißen, aber ich glaub auch hier muss die Software speziell für den Clusterbetrieb angepasst werden (sprich ersteres müsste der Fall sein)

EDIT:
Nur um euch das mal zu verdeutlichen, die Kiste dort hat 32x Core 2 Hexacores von Intel als CPUs, sprich das Teil hat 192 Cores ;)
Da reichen ein paar i7 PCs nicht aus um ausreichend Performance zu bringen, da müssen wir schon dickere Geschütze auffahren ...
 
Zuletzt bearbeitet:
Meldet euch wenn die Infrastruktur steht und Ihr noch nen Rechner zum anstöpseln über I-NET sucht. ;)

Btw. wenns klappt wird Intel vermutlich fürchterlich zurück schlagen ;)
 
Das wird nix...
Also ich hab mich mal durch ne 2008HPC Edition durchgearbeitet, so recht funkt das nicht...

Die ESX Geschichte kann man auch vergessen, da gehen in der Virtuellen Maschine nur maximum 8 CPUs bei der Enterprise Plus Version.
Ergo, nicht machbar das ganze, vllt in ner Linux Umgebung, aber das wäre dann im HWBot nicht zugelassen...
 
hmm hab den Thread mal vor ner Zeit verfolgt...und habe ich das jetzt richtig verstanden ?? Das Problem ist das das wPrime nur einen Thread hat, den auf alle verteielt und dann auf das schwächste Gleid in der KEtte warten muss...und dazu noch auf dem mit der Beschissnensten Verbindung zum Inet....

Ist dieses Projekt mit dem PS3 Projekt wo man seine PS3 Rechenleistung 5 Min den Forschungsinstituten zur Verfügung stellt, zu Vergleichen ??

...

Hmm schreibt mal ne Antwort ^^ Würde mich mal interessieren.

MfG:amdpc

P.S.: [Achtung, IRONIE] Falls Rechenleistung benötigt wird...mein AMD K6 mit 166 MHZ wird uns den Sieg bringen ^^
 
amdpc schrieb:
hmm hab den Thread mal vor ner Zeit verfolgt...und habe ich das jetzt richtig verstanden ?? Das Problem ist das das wPrime nur einen Thread hat, den auf alle verteielt und dann auf das schwächste Gleid in der KEtte warten muss...und dazu noch auf dem mit der Beschissnensten Verbindung zum Inet....
Zum Vergrößern anklicken....
Die WR's für 32m und 1024m liegen bei 1,92s bzw. 14,23s

Da ein Phenom II 3GHz pro thread & berechnungsschritt schonmal ~3s braucht... :-/

Ein WR Versuch wär somit definitiv I7 exklusiv
 
Zuletzt bearbeitet:
könnte eventuell hinhauen!

hab gestern VMware bei mir @ home installiert und XP, ubuntu und debian draufgeklatscht und meine dualcore wird im Wm XP im taskmannager als eine einzelne singelcore angezeigt!

werd wenn ich heut heimkomm gleich mal testen wie die belastung der beiden cores ist, wenn ich im VM Xp prime anwerfe
 
Zuletzt bearbeitet:
Ist das ganze hier eigentlich auf Eis gelegt? Finde solche Sachen eigentlich sehr spannend... :angel:
 
Ich sehe nich inwiefern uns das hilft.

Das größte Problem ist doch dass wPrime nicht clusterfähig programmiert wurde, was bedeuted dass die CPU-Kerne der Knoten im OS, wo wPrime ausgeführt wird, nutzbar sein müssen und zwar für jedes programm...

openmosix bedeuted zudem noch Linux, was wiederum emulation (sowas wie wine od. ne VM) benötigt um wPrime auszuführen und das ganze womöglich zu sehr ausbremst....

aber das haben wir hier ja schon ausführlich besprochen, nicht dass wir uns im kreis drehen ^^
 
Zuletzt bearbeitet:
@Noiseless
Da muss ich mich bei dir teilweise entschuldigen, beim MOSIX Projekt gibts ja noch coMosix.
Werd das mal austesten weil ich im inet nicht wirklich gscheite infos drüber finde^^

openMosix ist ein SSI Cluster, aber ob das auch mit coMosix unter Windows funktioniert :confused:
 
Zuletzt bearbeitet:
das problem ist in wm ware max 8cores...
evtel mit xen?
aber was wäre wenn man unter dem linux ein win emuliert?
 
Zuletzt bearbeitet:
Proxmox kann von Haus aus 16 Cores und ist für Umme!
Könnte auch nen 8 Core-Sys beisteuern...
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh