Wie 2 Server als HPC Cluster verbinden

[Klaus83]

Hallo zusammen,

habe aktuell einen fujitsu primergy tx1310 mit Proxmox zuhause. Auf diesem läuft ein NAS, 2x Ubuntu, Server2012 und ein Win10.

Das läuft soweit alles sehr gut nur ab und zu bringe ich ihn an seine Grenzen von der CPU. Mir ist klar das es keine Highperformance Hardware ist.

Nun habe ich mir einen HP Dl380 g8 mit 2 Xeon E5 2680v2 und 128Gb RAM gebraucht zugelegt. Dient als mein neues Spielzeug
Dieser soll aber nur bei Bedarf laufen, auch wenn ein Server normalerweise 24/7 läuft.

Physikalisch würde ich diese dann mit einer 10 GB Nic verbinden.

Gibt es Lösungen für eine Art HPC oder besteht nur die Möglichkeit die VM zu kopieren und dann auf dem HP zu starten. Dient nur der zum austoben zuhause, kein Produktivsystem.

Bitte nicht die Hände übern kopf zusammenschlagen

Schonmal vielen Dank

 

[Stueckchen]

Moin,
Was stellst du dir denn vor? Über das Netzwerk rechnen, einen Loadbalance / Jobs verteilen?

 

[Klaus83]

Eine genaue Vorstellung habe ich noch nicht, da ich nicht weiß was sinnvoll und möglich ist.

Meine Wunschvorstellung wäre wenn z.B. die Win10 VM etwas rechenintensives machen muss, den HP zu starten und dessen Rechenleistung zu nutzen. Am liebsten ohne das ich die Win10 VM herunterfahren muss, die HDDs synchronisieren etc.

Wenn das praktisch nur mit viel Aufwand verbunden wäre, und anders mehr Sinn macht, wäre ich dafür natürlich auch offen.

 

[passat3233]

So etwas ginge theoretisch per Live Migration der VM von einem Server auf den Anderen.
Während der Migration kann man normal auf der VM weiterarbeiten.
Wie schnell die Migration geht, hängt natürlich von der Geschwindigkeit des Netzwerkes und der Größe der VM inkl. virtueller Platten ab.
Nach dem Umzug hat man dann die höhere Rechenleistung des anderen Servers zur Verfügung.
Die Zuweisung an RAM und virtuellen Prozessorkernen an die VM ändert sich allerdings nicht.
Man profitiert also nur von der höheren Performance der Prozessoren und evtl. des Festplattensystems.

 

[Stueckchen]

Die Frage ist: Willst du einfach die VM Live Migrieren oder einen bzw. mehrere Prozesse auf dem HP laufen lassen.

Geht beides, die Live Migration ist vll sogar einfacher.

 

[martingo]

Wie funktioniert denn die Verteilung der Prozesse unter Proxmox? Davon höre ich das erste Mal. Sind das die Ressourcenpools? Oft gesehen, noch nie getestet

Was meiner Meinung nach mit 10G auch gut gehen sollte, ist Shared Storage auf dem Fujitsu, dass die VMs immer dort liegen und der HP nur die Daten vom Fujitsu zieht.
Habe ich bisher aber auch noch nie verwendet weil meine Clusternodes bisher immer dauerhaft liefen.

Oder man verwendet das Ceph HA Cluster, dafür bräuchtest Du aber sinnvollerweise noch einen dritten Node. Das kann aber auch ein Raspberry Pi o.ä. sein weil es da nur ums Quorum geht (dass bei einem Ausfall jeder Node weiß, ob er der Fail ist (weil er die anderen beiden nicht mehr erreicht) oder ob er jetzt aktiv sein soll). Alternativ könntest Du dem Fujitsu auch ein 2er Quorum geben wenn der immer läuft und dem HP ein 1er. Dann wird der HP aber nicht automatisch übernehmen, wenn der Fujitsu mal aussteigt.

Möglichkeiten über Möglichkeiten

 

[Stueckchen]

Wie funktioniert denn die Verteilung der Prozesse unter Proxmox?

Nein das meinte ich nicht. Aber man kann wenn die Software es kann ja nen Job Manager benutzen. Bei Linux z.b Slurm. Ka was es da bei Windows gibt.
Oder wenn die Software es kann halt einen MPI-Cluster aufsetzen. Was bei HPC ja eig Standard ist, aber glaube hier geht es nicht wirklich um HPC.