Server Cluster

[Gelöschtes Mitglied 271956]

Hallo ich habe eine frage zu Server Clustern. Mich würde mal interessieren wie ich ein Cluster aus mehreren server aufbaue um die Rechenleistung zu steigern. Das ganze System soll später aufrüstbar sein. Die einzenden Server sollen per lan (40GE oder 100GE) an einen switch angeschlossen werden und sollen somit ihre Leitung bündeln. Welches Betriebssystem verwendet man da so und müssen die Anwendungen die auf dem Server laufen speziell für Cluster Computing ausgelegt sein? Kann man auf dem Cluster ein Normales Betriebsystem laufen lassen wie z.b Windows dem dann die Leistung aus den Servern zu verfügung steht? Danke schonmal im Voraus.

 

[Brokk]

Du musst den Clustern Arbeit verschaffen. Die Frage sollte sein was die machen sollen.


Hast du ein bestimmte Anwendungen die du benutzen willst?

Ich beschäftige mich zum Beispiel grade mit Terminal Server und Co. Da geht's bei mir dann ums Failover und Loadbalancing und um die unterbrechungsfreie Anbindung nach aussen (WAN Failover etc).


Google mal nach Raspberry Pi Cluster. Da gibt's Projekte und How To's die die ganze Sache anschaulich machen könnten.


Mit Windows Desktop Betriebsystemen kommst du da nicht weit ....


Alles was auf nem Pi Cluster läuft sollte auch unter einem "richtigem" Linux zum laufen zu bekommen sei. Frag mich nicht wie .....


ESX Hyper V also VM hosts kann man auch Clustern (Failover Load balancing etc.) Die Frage bleibt trotzdem " Was soll drauf laufen?

Ich meine mal gelesen zu haben das unter OSX (Mac) bestimmte Programme (Videoediting) andere Macs als Recource verwenden können. Ich meine das geht aber nur mit Mac Pro und OSX Server .....




Gesendet von meinem SM-N950F mit Tapatalk

 

[Gelöschtes Mitglied 271956]

Geplante Anwendungsgebiete wären die Video Transkodierung und Video Sharing über z.b. einen Plex Server. Zudem solle er als Datei server fungieren. Für den Plex server wird die Rechenleistung benötigt das File Sharing braucht ja fast nichts.

 

[l1xe]

Normal hat man erst ein richtig definiertes Anwendungsszenario und wenn dann noch von vorn herein klar ist, dass das ein einzelner Rechner nicht packt, macht man sich Gedanken über einen Cluster.

Als Software für Datencluster gibt es z.B. Hadoop, Rechencluster ... Spark, Datenbankcluster ... Cassandra.

Wenn Videotranskodierung das Szenario ist und man quasi das Transkodieren eines Videos als Arbeitspaket sieht, könnte man ein Distribution Framework verwenden. Das startet auf vielen Clusterknoten Workerprozesse, die dann von einem Masterserver über eine Queue mit Arbeit versorgt werden. Dazu gibt es Frameworks -> Celery, Gearman... Solche Systeme sind sehr gut skalierbar und man kann viele hunderte oder tausende Knoten hinzufügen. Internetfirmen verwenden soetwas um im Hintergrund Videos zu kodieren, Bilder zu bearbeiten, Mails zu verschicken uvm.

 

[-INU-]

Wie wäre es denn wenn du dir einen Thread für alle Fragen eröffnest, denn einen praktischen Hintergrund scheint das alles nicht zu haben.
Aber zur Frage, Plex skaliert nicht über mehrere System, es gibt aber ein par Projekte die den Transcode auslagern und auch verteilen können. Wie weit die sind weiß ich nicht, da sie aber teils unterschiedliche Ansätze verfolgen müsste man sich eben erst für ein konkretes Szenario entscheiden bevor man dann die Hardware zusammensucht.

 

[Colttt]

Allein schon die 100G Anbindung, wofür? Um nen bissl video von A nach B zu kopieren?

Normalerweise werden Cluster gebraucht um komplexe mathematische Aufgaben zu lösen und nicht um nen bissl Plex zu machen.

Allein für so nen 100G switch bekommst du schon nen Kleinwagen (von den Optiken ganz zu schweigen)

 

[danielmayer]

ist sowas wie RipBot264 gemeint? Transcoding über mehrere Windows-Rechner.
100G ist dafür sicherlich Overkill, 10G muss man erstmal auslasten.
für professionelles Clustering wurde ja seinerzeit Infiniband entwickelt, aber das Aufsetzen solcher Cluster ist nichts für Leute, die -Entschuldigung- im Linux-Know-How noch an der Oberfläche kratzen.
Der Raspi-Hinweis oben wäre auch mein Tipp. hol dir Mal drei davon und teste mit ceph/glusterFS mal ein wenig.

 

[Colttt]

für professionelles Clustering wurde ja seinerzeit Infiniband entwickelt,

Das ist auch schon "out" mittlerweile gibts Omnipath [emoji6]

 

[danielmayer]

jaja
"seinerzeit" und 40G Infiniband geht für 80€.
Transcoding-Cluster-Anleitungen gibt's ein paar.
hier z.b. (sorry, per Mobiltelefon):
All the Pretty Little Ponies - My Little Cluster - Carolyn Van Slyck

 

[0x78375823]

Bei Video Encoding benötigst Du nur einen Hardware Encoder der H.265 in Echtzeit verarbeiten kann. Da benötigst Du kein 10GE oder 100GE da reichen 1GE aus! Brauchst halt nur eine Nvidia GPU die hat ja praktisch über 2000 Recheneinheiten. Da brauchst du keinen Intel CPU Cluster müll mehr!

Ich habe mal einen Myrinet Cluster zwischen Köln-Aachen und Sankt Augustin aufgebaut. Damals waren es Maximal 2 GBit/sek. auf dem Cluster haben wir Linux ausgeführt und verteilte Java Anwendungen entwickelt. Damals gab es Youtube noch nicht XD

 

[Zyrusvirus]

Bei dem oben genannten Szenario verstehe ich immer noch nicht warum ein Cluster? Was sollen das für Videos werden?
Schon allein solche Systeme zu unterhalten. Und wenn ich Plex lese, gehe ich nicht davon aus das bei dem Anwendungsszenario eine mittlere oder große Firma hinter steht?
Muss den anderen anschließen. Ich hab auch mal anfragen mich mit Clustern zu beschäftigen und das ist absolut nichts für Leute "die mal da so etwas" machen wollen.
Sonst kauf dich doch in die Cloud ein. Azure macht da gute Angebote.