Rechner für Netzwerkrendering

[akiro]

Hi,

ich plane den Aufbau einer kleinen Renderfarm für V-Ray und Maxwell Render. Starten werde ich erstmal mit 4 oder 5 Rechnern (plus Workstation), im Laufe der nächsten Monate soll dann auf 10 - 15 Nodes aufgestockt werden - mal sehen, wie schnell die ganze Sache anläuft...

Die Frage ist jetzt, welcher Prozessor oder welches System hat das beste Preis-Leistungs-Verhältnis. Wobei die Software-Lizenzen und der Verbrauch zwei nicht zu vernachlässigende Faktoren sind. Es wäre daher in einem gewissen Rahmen also am günstigsten möglichst wenige aber dafür stärkere Systeme zu haben.

Ich kalkuliere außerdem in jedem Fall mit der Übertaktung der Systeme. Ich arbeite jetzt seit ca. 10 Jahren so ziemlich ausschließlich mit übertakteten Rendersystemen ohne irgendwelche Probleme. Daher kommt preis-leistungsmäßig nur Übertaktung in Frage.

Bisher war ich daher eigentlich von i7 920 @ 3,5-4GHz ausgegangen. Jetzt habe ich aber vermehrt gelesen, dass die neueren 920er nicht mehr so gut zu takten sind und ein xeon w3520 oder i7 930 aktuell besser sind.
Außerden hab ich jetzt ein paar Reviews zum Phenom x6 gesehen, wo dieser P/L-technisch und vom Verbrauch her ziemlich gut aussah. Betrachtet man das Komplettsystem kommt man mit nem AM3 ja schon um einiges billiger weg.
Bei nem AM3-System hab ich doch auch nur Dualchannel, oder? Da ich als Minimum 8GB pro Node benötige wäre das dann mit 4x2GB wohl auch günstiger als nen i7-System mit Triple Channel und 6x2GB.

Die Fragen wären jetzt:

- Welcher Prozessor besitzt momentan das beste Potenzial? i7, Xeon oder Phenom?!? (P/L und Übertaktung)

- welches Board, RAM und Luftkühler sind empfehlenswert und möglichst kostengünstig?

- Macht ein Board mit Onboard-Grafik Sinn oder ist eine billige PCIe Karte besser hinsichtlich Übertaktung und P/L?

- Gibt es eigentlich Probleme bei der Übertaktung mit 4 oder 6 Speichermodulen?

- gibt es aktuell bestimmte Batches die ein gutes Übertaktungspotenzial haben und gibt es Händler, die Batch-Nummern angeben oder auf Nachfrage mitteilen können? Oder anders gefragt: wie/wo kaufe ich am besten?

- Ich gehe von einem normalen Gbit-LAN aus. Alles andere (Infiniband & Co) wird zu teuer. Jetzt wäre die Frage, ob eine Bündelung von jeweils zwei 1Gbit Leitungen möglich ist. Und wenn ja, was muss die Hardware dafür erfüllen?


Eine Menge offener Fragen... Ich hoffe, hier kann mir jemand weiterhelfen. Wäre super, mal ein paar Einschätzungen zu hören...
Schon mal Danke im Voraus!

Gruß,
akiro

 

[underclocker2k4]

Es reicht eine Thread zu dem Thema. Für die Zukunft, einfach einen Mod ansprechen, damit er deinen Thread verschieben kann. Spart uns Arbeit(wir müssen jetzt auch aktiv werden) und dir "Ärger".

 

[biu]

Also vom Rendern sowie Renderfarmen habe ich recht wenig Ahnung, aber vielleicht hilft dir das weiter: Building home linux render cluster

lg

 

[akiro]

Es reicht eine Thread zu dem Thema. Für die Zukunft, einfach einen Mod ansprechen, damit er deinen Thread verschieben kann. Spart uns Arbeit(wir müssen jetzt auch aktiv werden) und dir "Ärger".

sorry... ich gelobe Besserung und werd's nicht wieder tun!
Ist die Anfrage hier denn nun richtig platziert oder wär sie im Übertakterforum doch besser aufgehoben?!?

@biu
Danke für den Link. Das Projekt kenn ich schon - nicht schlecht, aber die Komponenten sind mittlerweile etwas outdated, da schon 2 Jahre alt

 

[underclocker2k4]

Du bist hier, denke ich, schon besser dran.

Bei den OClern wird richtig übertaktet. Das solltest du vermeiden. Innerhalb gewisser Grenzen bleiben, dann ist die Welt OK.

 

[Morpheus2200]

Schonmal über dual Xeons 56xx nachgedacht?
Ich weiss nicht was deine Softwarelizenzen kosten, aber das kann sich rechnen.
Ich habe mal eine Renderfarm betreut, selbst arg überteuerte dual MAC Pros waren da Preis/leistungsmäßig dank lizenzgebühren nicht wesentlich teurer als übertaktete Core2 Quads.
Wie viel Platz steht denn zur verfügung und wie siehts mit kühlung aus?

 

[Vagabund]

Einfach mal die Softwaredoku konsultieren. Einige Programme können das Rendern beliebig outsourcen, wobei da auch ewig viele verschiedene PCs arbeiten können. Ich denke mal, du solltest von deinem Programm ausgehend mal schauen was sich lohnt (vlt. AMD optimiert?).

 

[H_M_Murdock]

V-Ray und Maxwell kenn ich leider nicht, kenn's aber vom Mental Ray mit dem verteilten Bucket-Rendering.

Ich geh mal davon aus, dass deine renderer ähnlich gut skalieren wie Mental Ray, du also bei der Kernzahl pro Node nicht wirklich ein allzu enges Limit nach oben hast.

Dann würde P/L - sofern pro System und nicht pro Socket oder gar Cores lizensiert wird - IMHO ein Dualsocket System mit 2 Hexacores am besten hinhauen.

Interessant wär zu wissen wie du die Systeme unterbringst.
Tower oder Rack? Lautstärke egal oder nicht?
Fürs Rack hat Supermicro recht interessante Lösungen bei denen du 2 Systeme auf 1 HE bzw. 4 Systeme auf 2 HE packen kannst die auch verhältnismäßig günstig sind.
Dabei hast du pro System 2 CPU Sockets, pro Einheit mit 2 bzw. 4 Systemen aber nur rel. wenig Platzbedarf und was die Stromversorgung betrifft einen recht anständigen Wirkungsgrad.

Das mit dem Übertakten ist so ne Sache.
Schlicht aus dem Grund weil da wohl mit 99,9% (wobei ich da jetzt auch nimmer auf dem aktuellsten Stand bin) nichts geht was erwähnenswert wäre.
Von EVGA gibts ein Board das gut zu übertakten ist, das kostet aber ne Menge Asche und braucht sehr große Gehäuse (XL-ATX).

 

[Morpheus2200]

Die Supermicro twin² (2he 4 dual-Xeon Systeme) nutze ich @work. Preis/Leistungsmäßig sind die sehr ordentlich und man kann (kühlung vorausgesetzt) sehr dicht packen.
Nebenbei gibts noch ein Redundantes Netzteil für wenig Aufpreis und mehrverbrauch. Dazu IPMI onboard als sehr nettes feature wenn du die Kisten remote verwalten möchtest.

Ich denke das Dual-lösungen momentan atraktiv sind weil die Boards nicht so viel mehr kosten und speicher verhältnismäßig teuer ist. Wenn du 8GB/System als minimum ansetzt machen sich die Speicherpreise stark bemerkbar.

Netzteil usw. muss man auch nciht doppelt kaufen. Sind schon einige Vorteile.

 

[MAFRI]

Bei dualsockel kann er nicht übertakten ....
Es sei denn er nimmt dieses EVGA SR2 - wobei sowas sinnlos ist.


Grüße
MAFRI

 

[Morpheus2200]

Warum sinnlos?
0815 X58 Bretter kosten schnell um die 300 Euro, Prozessoren kosten ähnlich viel und Speicher müsste er nur die hälfte kaufen. 2. Netzteil, 2.HD, evtl. Grafikkarte, Gehäuse und Betriebssystem/Renderclient-lizenz da lässt sich schon einiges wieder einsparen.

 

[MAFRI]

sinnlos - wenn übertaktet werden soll,
billiger wären allerdings besagte twin oder dual twin systems

 

[Morpheus2200]

Übertaktet werden soll doch nur wegen preis/leistung oder?
Wenn die dual-Systeme da mithalten können spricht doch nichts dagegen oder habe ich hier irgendwas nicht verstanden.

 

[fdsonne]

Neja ausgehend von aktuellen Desktop Systempreisen und dessen, was dort an Leistung durch OC drin ist, kommt man wohl auch mit Dual Sockel Systemen nicht wirklich auf einen grünen Zweig. Es sei denn, man bekommt Teile eventuell gebraucht.

Man müsste mal genauer untersuchen, wie gut die Software pro Renderknoten skalliert.
Ich könnte mir Vorstellen, der Leistungsunterschied zwischen zwei aktuellen Quadcore Systemen im Vergleich zu einem Dual Sockel Quadcore System mit sonst gleichem Restaufbau dürfte doch ziemlich groß zugunsten des Dual Sockel Systems sein...

Wenn die Skallierung brauchbar ist, dann würde ich hier vorerst zu vier AMD Hexacore AM3 Systemen raten. Das ganze auf 3,5-4GHz prügeln und schon rennt der Hase.
Für das Geld aller vier Systeme kommt man auf jedenfall keine aktuellen Dual/Multisockel Systeme mit gleicher/ähnlicher Leistung. Wenn natürlich die Skallierung äußerst schlecht übers Netz ist, dann machen wenige dicke Renderknoten hingegen wieder mehr Sinn.

Vllt sogar Dual 12 Core AMD Kisten

 

[Morpheus2200]

Ja beim AM3 sieht die Rechnung schon anders aus, da ist man nicht gezwungen eines von den für Desktops überteurten X58 Boards zu nehmen.

Ein Supermicro twin kostet z.B. mit 4x Xeon 5620 + 6x2GB RAM ca. 4k euro + MWst. Listenpreis. Da ist an Hardware alles dabei was man so braucht. Gehäuse, Netzteil, HD und der Rechner als kleinen Bonus gibts mit IPMI nette wartungsoptionen.

4 Systeme auf X58 basis sind nicht viel günstiger. Und dann kommts halt auf die Softwarekosten pro Rechner an, die 4 Desktops kosten da halt doppelt so viel.
OS setze ich mal mit ca. 100 Euro an, jetzt kommts drauf an was ihr an Plugins usw. lizensiert habt, kann je nach Lizenzmodell schnell ganzschön teuer werden.

Ich hab das ein paar Monate mitgemacht mit den übertakteten Desktops, dann geht mal da ein Netzteil kaputt, dann wieder hier der Speicher oder auch mal ne HD. Langweilig wirds nicht damit.
Jetzt kümmer ich mich um ein paar twin^2 Kisten und nach Strom/Kühlungsausfall muss ich an ca. 1% der Systeme den Speicher nochmal prüfen (nicht 1 und 2GB Module kombinieren das mögen die nicht so).
Nervig genug aber deutlich weniger Aufwand als mit Desktops.

 

[fdsonne]

S1366er SingleSockel Desktop Boards gibts ja auch ab 100€. Kein Plan ob das was taugt
Ansonsten halt aktuelle S1156er Systeme nehmen. Der Nachteil der wenigen PCIe Lanes sollte hier nicht ins Gewicht fellen...


Das mit den Lizenzen ist aber ein gutes Argument. Aber da habe ich keine Ahnung was die genannten Software da an Geld verschlingt.

 

[Morpheus2200]

Selbst mit 100 Euro Board ist man bei einem i930/Phenom X6 bei ca. 800 Euro ohne Software für ein System.
Lizenzen hängen meist davon ab was an Erweiterungen genutzt wird. Man kann module für fast alles zu den schon gekauften Lizenzen dazukaufen. Extra beleuchtung, charakter-animationen, Software zum generieren von Geländen usw. einige dieser Plugins kosten halt pro Rechenknoten. Da kann echt ganzschön was zusammenkommen. Nicht zu vergessen halt die Kosten für OS und das Renderprogramm/evtl. die software um verteilt zu rendern an sich. Ich glaube das sind üblicherweise ein paar hunderter pro Kiste. Die große Frage ist nur wie viele. Man kann mit 200 € hinkommen, es kann aber auch deutlich mehr werden. Richtig böse wirds wenn verschiedene Renderprogramme genutzt werden, denn dann darf man in der Regel auch wieder fleißig Erweiterungen dazukaufen. Bei 800€/System kann man schon für Hard und Software ähnlich viel ausgeben.

Mich interessiert noch wie du die Kühlung realisierst, die 4-5 Nodes werden noch keine Schwierigkeiten machen, aber bei 15 sieht das schon anders aus.
Spätestend nach 10 nodes solltest du auch mal drauf achten aus welchem Kreis die ihren Strom ziehen. Meist sind 230V leitungen mit 16A abgesichert, das sind knapp über 3.5kw die du da ziehen kannst bevor die Sicherung auslöst. Normalerweise bekommst du aber schon früher Probleme, da die Lastaufnahme nicht ganz gleichmäßig ist.

 

[wagich]

leicht OT, aber kennst du www.benchwell.com? Dort findest du Leistungsdaten von Maxwell mit sehr vielen verschiedenen Prozessoren. Damit solltest du dir zumindest ein gutes Bild der Prozessorleistungen (und auch den OC-Gewinnen) machen können.

P/L bei Maxwell zwischen mehr Nodes oder mehr Cores ist relativ simpel: wenn zwei Maschinen + 445€ + 1x Windows billiger sind als ein dual-node, dann nimmst du die ein-sockel-lösung.

Nicht vernachlässigen würde ich aber auch den Stromverbrauch und die zusätzliche Hitzeentwicklung (-> Stromverbrauch Kühlung) der single-nodes durch die doppelt vorhandene Infrastruktur (Festplatte, Board, Netzteil).

Ich gehe davon aus, dass das P/L der dual-systeme das der single-socket-systeme schlägt, sobald du sämtliche Kosten (eben auch versteckte und indirekte) mit einbeziehst. Besonders wenn dann Twin/Quad-Nodes zum Einsatz kommen, die dich nochmals deutlich am Gehäuse und an der Stromaufnahme sparen lassen.

[Edit]
Habe noch schnell Preise nachgeschaut: ein Supermicro Twin-Node mit 2x (2x 2.66 GHz Hexacore, 12GB RAM, HDD) kostet 6800€ + Software für 2 Nodes und ist 1U.

 

[akiro]

Hey, hier ist ja richtig was los! Cool, hatte schon gar nicht mehr damit gerechnet.

Erstmal ein riesen Dankeschön für alle Tipps!!!

Die Überlegungen decken sich im Großen und Ganzen auch mit meinen Erkenntnissen.

Zum Thema Softwarelizenzen:
Bei V-Ray gibt's mit einer Lizenz 10 Node-Lizenzen, also bis 10 Rechner wäre erstmal Ruhe, darüber müsste dann was drauf gerechnet werden pro zusätzlicher Box.
Für Maxwell hab ich momentan 5 aktuelle Lizenzen für Rechner, mit denen ich auch erstmal starten würde. Für den weiteren Ausbau stehen dann noch 6 weitere alte Lizenzen zur Verfügung, die ich für 200€ pro Lizenz updaten kann... also Summa Summarum 11 Rechner... danach wird's teurer (~500€ pro zusätzliche Node License)
Und dann kommt natürlich nicht Windws dazu... wobei ich gerade am überprüfen bin, ob die Linux-Version von Maxwell eine Alternative sein könnte. Muss mal sehen, ob das schon alle Funktionen voll unterstützt und wie der Speed so ist. Dann würde zumindest das BS weg fallen.
Generell skaliert Maxwell ziemlich gut im Netzwerk. Wenn man die verzögerungen für die Verteilung der Daten im Netz mal außen vor lässt, kann man von fast von einer Addition der Leistungen entsprechend der Rechner ausgehen. Bei V-Ray ist es glaub ich etwas schlechter...

Aber grundsätzlich denk ich auch, dass es gut wäre, die Rechneranzahl möglichst gering zu halten, da sich alles multipliziert (Speicher...) und der Verbrauch wahrscheinlich auch höher ist.
Diese Rechnung ist aber eben nicht mehr ganz so einfach, wenn man von übertakteten Systemen ausgeht, denn da wird's für die überproportional teureren Dual-Systeme schnell eng.
Das SR-2 hatte ich auch schon fest im Visier seit es Ende letzten Jahres angekündigt wurde - aber wann das hierzulande mal erhältlich sein wird, und ob überhaupt in angemessenen Stückzahlen, steht denk ich noch in den Sternen... wahrscheinlich wird's dann auch noch so unverschämt teuer, dass es sich eh nicht mehr lohnt - zumal ja wie schon erwähnt auch noch die Gehäuseproblematik dazu kommt...
Tja, nen einfaches, übertaktungsfähiges Dualboard, ohne diesen ganzen Zig-Grafikkarten-Schnickschnack das hätt schon was.

Meine Hoffnung war (ist) ja immer noch, dass was taktbares für die neuen Opterons rauskommt... oder jemand eine Lösung findet, wie's sonst gehen kann...
Ich glaube, dann wären so ein paar Dual 8cores und vielleicht ne Dual 12core Workstation schon was Feines.

@wagich: Ja benchwell kenn ich schon, damit hab ich auch schon gerechnet - ist leider noch nicht für Maxwell Render v2 aktualisiert, die Ergebnisse sollten sich aber prozentual gesehen in etwa decken.

@Fr@ddy: Danke für die Hinweis, die Stromversorgung muss ich noch überprüfen. Kühlung sollte zu Beginn noch kein Problem sein - wenn's dann mehr werden (>10) muss ich mir wohl was einfallen lassen...

 

[fdsonne]

Also aktuelle AMD Platformen im Dual Sockel Bereich kannst du zumindest etwas übertakten, erwarte aber da keine Wunder, denn es gibt soweit ich weis kein Board, was dir die VCore der CPUs einstellen lässt. Sprich du OCed nur mit Standard Spannung und da kann schnell ruhe sein...

Ob da was kommen wird, bleibt abzuwarten, ich denke aber mal eher nicht.

Das SR-2 von EVGA soll es wohl aktuell schon in Europa geben, in einem Französischen Shop habe ich es letzens für 699€ gesichtet, was aber gemessen am US Preis von 599$ erheblich mehr ist...

 

[Morpheus2200]

Wie läuft das übertakten bei den Multisockel AMDs?
Geht das über Software?

Vielleicht wird sowas dann ja doch noch interessant. Hat nur mehr als 8GB RAM sobald man alle Speicherkanäle bestückt ;-)
https://www.pyramid.de/shop/system.php?bk=CPYSH1UASM0030

Ich teste die gerade mit 6174er CPUs. Leider nur über remote-Zugriff und unter linux, daher kann ich nicht für dich relevantes ausprobeiren.

 

[fdsonne]

Jupp, das geht idR mit einem Softwaretool, was den Ref. Takt der CPUs anhebt.

 

[arch3990]

...rendere recht viel mit Maxwell (1.71) - habe hier momentan insgesamt drei Knoten:

4x 8439SE 2.80 GHz - Benchwell: 3m23s - 3167.38
2x X5560 2.80 GHz - Benchwell: 4m58s - 2159.91
1x i7-980X @ 4600 (H20) - Benchwell: 4m14s - 2533.05

unter Luft läuft der 980X @ 4200 - Benchwell: 4m37s - 2318.00

Denke, dass die 980er vom Preis Leistungs-Verhältnis als Renderknoten sehr gut sind (was das Gesamtsystem anbelangt) Kostenpunkt so ca. 1400 -1600 Euro, je nach Grund-Konfiguration (wenn keine weiteren besonderen Ansprüche gestellt werden). Die CPU ist halt leider sehr teuer - beim Rest kann man für einen Renderknoten auf relativ günstige Standardkomponenten zurückgreifen,

Man sieht, dass ein 980er luftgekühlt mit boxed Kühler bei 4.20 GHz schon die DP-Xeon Systeme mit W5590 CPUs schlägt - bei deutlich geringerem Systempreis.

Wichtig bei Maxwell ist auch ein schnelles Netzwerk - nicht am Switch sparen! Am besten einen separaten "Server" mit sehr schnellen HDDs (Raid).

Erst seitdem ich den Maxwell Manager auf einem kleinen Fileserver mit E5200 und 6x HDD im Raid0 laufen lasse ist die Performance beim Netzwerk-Rendern einigermaßen in Ordnung, da ja die "Zwischenstände" nach jedem SL-Level erst zwischen gespeichert werden und die Dateien je nach Auflösung oder Verwendung von ML seeeehr groß werden - ein langsames Netzwerk oder langsame HDDs kosten dann richtig Zeit. Das Raid0 ist allerdings nur als schneller "Pufferspeicher" gedacht. Sicherung auf Raid 1 folgt nach Beendigung des Renderns.

 

[akiro]

Super! Danke für die Vergleichswerte - das hilft schon mal sehr! Hatte nen übertakteten i7 980 bisher nur schätzen können. Im Forum gab's nur Werte für Maxwell v2... Sieht ja doch ganz gut aus im Vergleich zu den Dual-Systemen.
Die Hinweise bzgl. Switch sind auch gut - kannst Du denn was empfehlen im Hinblick auf "nicht sparen"?!? Wie ist das denn mit Kanalbündelung bei Gbit-switches? Kann man das machen und vor allem, bringt's was?

Ich hatte eigentlich vor, die Workstation als "Server" zu nehmen. Kann man es nicht so einstellen, dass erst der fertige Job auf den Server zurück geschrieben wird?
Raid0 + 1 habe ich auch geplant.

Vielleicht warte ich doch noch auf das SR-2 zumindest für die Workstation... und pack dann erstmal zwei 32nm-Quads rein und später zwei Hexas.

 

[fdsonne]

Mit nicht sparen am Switch ist wohl eher eine Maschine gemeint, welche erstens ein echter Switch ist und nicht so ne Desktop Gurke und zweitens bisschen mehr Bumms unter der Abdeckung hat.
Wenn du da so nen günstig 24 Port GBit Switch hinstellst, der bei Volllast auf allen Ports intern aber diesen Speed gar nicht verarbeiten kann, hast du am falschen Ende gespart...

Trunken der Ports ist sicher eine Möglichkeit den direkten Datendurchsatz recht effizient und einfach zu erhöhen. Bedenke aber, das du eben idR bei nem Trunk auch zwei gleichzeitige Datentransfers in die selbe Richtung brauchst um 2xGBit Speed zubekommen...
Für die Renderknoten macht das wohl weniger Sinn. Aber für den Zentralen Server, von dem die Daten geholt werden, der die Daten verteilt und der das Ergebniss empfängt von allen Rechenknoten macht das hingegen wieder schon Sinn. Da dort dann theoretisch jeder Knoten seine eigene NIC nutzen könnte, sofern du so viele Ports trunken willst...
Ich denke mal das musst du dann selbst nachmessen, wie die Auslastung ist und wie es Sinn macht zu bauen.

Und wie arch sagte, ein schneller zwischenspeicher ist auch von Vorteil um anständigen Speed zu bekommen, gerade wenn es darum geht, gleichzeitige Zugriffe zu bewältigen.

 

[arch3990]

Super! Danke für die Vergleichswerte - das hilft schon mal sehr! Hatte nen übertakteten i7 980 bisher nur schätzen können. Im Forum gab's nur Werte für Maxwell v2... Sieht ja doch ganz gut aus im Vergleich zu den Dual-Systemen.

...diesen Thread im MAXWELL-Forum kennst Du ja wahrscheinlich schon:

Maxwell Render

...hier sind einige Vergleichswerte mit der Benchwell-Datei von MX 1.7.1 auf 980X und verschiedenen neuen Systemen mit MX 2:

2x Intel Xeon X5680 (12+12=24x) @3.33: 3m 15s - 3261.91
4x AMD Opteron 6147 (48x) @2.2: 2m 10s - 4862.09

Habe jetzt mit meinem System (4x 8439SE) mal auf MX 2 nachgemessen:

4x 8439SE@3.1 (24x): 3m 09s - 3261.91 (mit MX 1.7.1 3m 04s )

Die Hinweise bzgl. Switch sind auch gut - kannst Du denn was empfehlen im Hinblick auf "nicht sparen"?!?

genau das was fdsonne vollkommen richtig hier schreibt:

Mit nicht sparen am Switch ist wohl eher eine Maschine gemeint, welche erstens ein echter Switch ist und nicht so ne Desktop Gurke und zweitens bisschen mehr Bumms unter der Abdeckung hat.
Wenn du da so nen günstig 24 Port GBit Switch hinstellst, der bei Volllast auf allen Ports intern aber diesen Speed gar nicht verarbeiten kann, hast du am falschen Ende gespart...

...hatte am Anfang einen Netgear-Desktop-Billig-Switch - das Abspeichern der einzelnen SLs dauerte teilweise vieeeele Minuten - ist auch logisch: Die einzelnen MXI Dateien, die am Schluß "zusammengeschmolzen" werden haben bis zu mehreren Gigabyte. Wenn jetzt, was insbesondere bei Beginn des Renderns (SL 1-7/8/9, etc., je Komplexität der Szene) mehrere Renderknoten Ihre 3-4 GB an SL - Zwischenständen parallel übers Netzwerk auf den Rechner mit dem MX Manager schicken, dann wird es bei langsamem Switch und langsamem HDD-System enorm zäh - da bringen Dir die schnellsten Renderknoten gar nichts, weil am Anfang die Zeit zum Abspeichern der Dateien drauf geht und die Renderknoten mehrere Minuten gar nichts machen (außer übers Netzwerk abzuspeichern)... Je mehr Renderknoten man dann noch an einem schwachen Switch hat desto schlimmer wird das ganze. Das gleiche gilt wie gesagt auch für das HDD-System des Rechners auf dem der MX Manager läuft.

Die Effektivität eines MX Netzwerk-Render-Systems hängt also nicht nur von den Renderknoten ab sondern vor allem auch vom Gesamtpaket.

ich hatte eigentlich vor, die workstation als "server" zu nehmen. Kann man es nicht so einstellen, dass erst der fertige job auf den server zurück geschrieben wird?

Ich (persönlich) würde grundsätzlich den MX Manager nicht auf einem Rechner laufen lassen, der entweder gleichzeitig als Renderknoten arbeitet oder an dem anderweitig weiter gearbeitet wird. Wenn der Rechner mit dem Manager aus irgendeinem Grund ausfällt, dann hast Du eine Riesen-Sauerei. Im besten Fall kannst Du dann die Zwischenstände auf den einzelnen Knoten von Hand zusammen - "Mergen". Außerdem stört es unter Umständen sehr, wenn man gerade im Photoshop eine Riesen-Datei bearbeiten möchte und gleichzeitig die Renderknoten Ihre GBs auf denselben Rechner schaufeln.

Wenn Du die Workstation nur zum Modelling/Editing/Nachbearbeiten einsetzten möchtest und sowieso übers Netzwerk bzw. einzelne Knoten nur zum Rendern einsetzt, reicht Dir für die Workstation ein "einfacherer" Prozessor. Hier ist die Investition in eine leistungsfähige Grafikkarte viel sinnvoller. Meine WS besteht aus einem schnöden 920er - nicht übertaktet/alle Energiesparfunktionen aktiviert, da die Kiste den ganzen Tag rennt - dafür steckt eine gescheite Quadro FX drin. Wenn ich Rendern will schick ich die Sachen dann auf einen der "leistungsfähigen" Renderknoten. Für die oben genannten Anforderungen reicht mir die Konfiguration auch bei komplexen Szenen völlig aus. Alles ab 2-4 Kerne aufwärts langweilt sich eh. Die Zeiten in denen man wie mit alten Raytracern mal ein Quick'n Dirty Rendering gemacht hat sind mit Renderern wie Maxwell sowieso vorbei. Auf der Workstation kann man dann den MX Monitor laufen lassen und den Render Prozess steuern. (Die WS hat bei mir nicht mal 1000,- gekostet )

Der Manager/Server ist bei mir ein E5200 (auf einem P45 microATX), der auf 2.0 getaktet ist und somit mit nur 0.9 V VCore den ganzen Tag laufen kann. Die Renderknoten verbrauchen unter Vollast ja eh schon genug
Das Raid 0 besteht aus 6 schnellen und günstigen SATA Platten (6x je ca. 30,- = 180,-) am Onboard-Controller. Dies ergibt dann diese Leistung:





Im Server steckt dann noch eine Raid-Karte, an der das Raid 1 hängt, auf das dann die Projektdateien gesichert werden. Der Server hat (ohne Raid 1) keine 400,- gekostet und ist für die Zwecke als schneller Netzwerk "Zwischen"-Speicher und MX Manager absolut zufriedenstellend.

Ab einer bestimmten Anzahl eingehender Verbindungen (Renderknoten) braucht es dann halt noch ein Server-BS auf dem Manager.

Die Renderknoten sind rein auf CPU Leistung und Speicherausstattung ausgelegt - gutes Netzteil (120-200,-) / VGA: FX370 (30,-) / HDD: 250GB (30,-), etc....

Wichtig ist noch:

- Wie steuerst Du die Renderknoten - dritter oder vierter Monitor + KVM Switch oder per RD?

Muß man sich auch gut überlegen - ab einer bestimmten Anzahl Renderknoten wird es schnell mal unübersichtlich (und damit uneffektiv)

Vielleicht warte ich doch noch auf das SR-2 zumindest für die Workstation... und pack dann erstmal zwei 32nm-Quads rein und später zwei Hexas.

...erscheint mir persönlich unlogisch:

Wenn Du das System als standalone Render/Workstation einsetzt ok - wenn Du aber eh eine Renderfarm möchtest reicht es doch, wenn die Renderknoten die Render - Leistung bringen und der Rechner, an dem man den ganzen Tag sitzt ruhig, kühl und sparsam ist...

Eine WS auf SR-2 Basis kostet einen Haufen Geld und die Vierkerner @Standardtakt werden dabei langsamer sein als ein übertakteter 980er.
Wenn Du mit dem SR-2 übertaktest, wirst Du im Dauerbetrieb keine Freude haben. Alle die mit dem Ding Dauerlast fahren wollen, rüsten es gleich mal auf H20 um (frag mal jcool). Alleine das MB wird so verdammt heiß, dass das Ding unter Dauerlast + übertaktet @ Standard Kühlung nicht lange überleben wird (aber evga hat ja einen sehr guten Support ) - wir kennen die Geschichte vom "Skulltrail" (hatte zwei davon)...

...von der Effizienz (bzw. Stromverbrauch) möchte ich lieber gar nicht reden.

Möchte zum Schluß betonen, dass ich hier nur meine Erfahrungswerte (und die Schlüsse, die ich daraus gezogen habe) dargestellt habe. Es gibt sicher viele Möglichkeiten, so eine Renderfarm vernünfig und effizient aufzubauen - das hängt auch vom persönlichen "Workflow" ab...

 

[akiro]

Danke für die ausführlichen Antworten!!!

@arch3990
Vielleicht muss ich dann doch mein "Konzept" nochmal überdenken...
Ein separater Manager-Rechner macht sicher Sinn - und die 600MB/s bei Dir sehen ja schon gut aus.
Da könnt ich ja dann vielleicht einfach nen bestehenden Quad für nehmen. Wieviel RAM hast Du denn in denn bei Dir in dem Teil stecken? Ist ja wahrscheinlich auch nicht grad wenig oder? Hatte halt gedacht, der Workstation generell etwas mehr zu geben und dann den gleich als Merge-Rechner zu nehmen.
Aber um nochmal nachzufragen, kann man es nicht so machen, dass die MXIs erst zum Schluss gemerged werden und davor nur auf dem Client bleiben? Hatte gedacht, dass das so auch funktioniert?!?

Die Rendernodes würden nur über RD gesteuert - in der Hoffnung, dass normalerweise alles rund läuft und ich da eigentlich nie drauf gucken muss... k.A. ob das realistisch ist mit dem v2 Netzwerkrendering.

Ich hatte gedacht, lieber ne dickere Workstation zu nehmen, da ich die Testrenderings ja nicht immer auf's Netz schicken will. Ich hab jetzt noch nicht die neuen Möglichkeiten getestet direkt vom PlugIn aus im Netz zu rendern, vielleicht geht das ja problemlos und alles automatisch. Aber grundsätzlich denke ich schon, dass es es zu umständlich ist, jeden kleinen Materialtest auf's Netz zu schicken.
Die Workstation wird auch komplett wassergekühlt, also Wärme und Lautstärke wären denk nicht so das Problem. Aber ist schon richtig, ich bin mir da auch noch nicht sicher, ob das mit nem sr-2 so sinnvoll wäre, grad in Hinblick auf Stromverbrauch und Wärmeentwicklung und man muss ja dann auch erstmal passende Kühler finden...

Vielleicht nehm ich dann doch einfach nen 980x - bzw. ich hab ja immer noch die Hoffnung, dass demnächst doch nen 970 rauskommt, der etwas günstiger wird.

@fdsonne:
Ja, ob das Zusammenschalten wirklich Sinn macht, muss man dann wohl testen... ich wollte ja nur grundsätzlich erstmal wissen, ob's überhaupt funktioniert und ob's was bringt, da ich im Netz bisher keine eindeutigen Ergebnisse dazu gefunden hab.
Was für nen Switch wär denn so empfehlenswert/sinnvoll?

 

[arch3990]

Der Manager/Server ist wie gesagt eine ganz kleine Kiste und kommt mit 4 GB problemlos aus. Wenn der Manager läuft, ist die Speicher-Auslastung ja nicht so groß (hab' ich zumindest bis jetzt bei mir so festgestellt). Bei den Render Nodes sieht das natürlich je nach Szene ganz anders aus....

RD ist eigentlich ok - finde halt, daß wenn der Remote Rechner nicht mehr angesprochen werden kann, weiß ich nicht wirklich was passiert ist - per KVM kann ich jeden Rechner direkt ansprechen - die Diagnosemöglichkeiten sind etwas besser. Bin auf jeden Fall von RD wieder zurück zur KVM-Lösung.

Das mit der dicken Workstation kann ich absolut nachvollziehen. Hatte ich auch früher so:

Q6600 -> X5482 auf Asus Z7S (= sehr warme Kiste vor allem bei diesen Temperaturen) -> i7-920

Der Q6600 @ 3.60 GHz war echt zu schwach für MX - wenn man dann, wie Du sagst Material-Tests machen möchte wird es zäh. Die X5482@3.60GHz@H20 waren ok aber das Dingen hatte trotz Wasserkühlung eine ordentliche Hitzeentwicklung. Mit dem 920er @stock bin ich wie gesagt zufrieden und für Materialtests in geringeren Auflösungen reicht es (außer man arbeitet massiv m. Displacement-Maps ). Der 920er macht bei mir problemlos auch die 4.20 GHz und ist damit ne ganze Ecke schneller als die 5482er:

1x Q6600@ 3.60 - 14m21s
2x X5482@ 3.60 - 08m28s
1x i7-920@ 4.20 - 07m01s

Halte einen 980er für einen guten Kompromiss - bei dem kann man on-the-fly nicht nur den FSB verändern sondern auch den Multi ohne einen Neustart...

Dank dem 980er muß man dann schon auf übertaktete Hexa-Xeons zurückgreifen um eine deutliche Verbesserung zu bekommen...

 

[akiro]

Muss ich dann mal testen, ob ich noch nen zusätzlichen Manager-Rechner hinstelle... brauch ich dafür eigentlich auch ne Maxwell-Lizenz oder läuft der ohne?

Also der Trend geht bei mir zur Zeit in Richtung 980...
War zwar doch wieder am überlegen, ob ich nicht auf das SR-2 warten soll, aber ich bin mir nicht so sicher, ob sich der Mehraufwand (finanziell und zeitlich) lohnt, zumal bisher noch kein Wasserkühler für das Teil angeboten wird - keine Ahnung, wann das Ding von EK wirklich kommt...

Außerdem hatte ich gedacht, nen e5620 nehmen zu können. Aber die haben ja nur nen 18er Multi... da das sr-2 ja anscheinend nicht so auf hohe Taktungen steht, wär's damit wohl schwierig in respektable Höhen vorzudringen.
Wenn ich jetzt nen e5630 oder größer brauche, lohnt sich die Sache m.E. schon nicht mehr... da stell ich mir doch vielleicht lieber noch ne Renderbox mehr für hin.

Leider liegt der Preis der 980er irgendwie grad ziemlich hoch (~960€), die Einführung des 970 war da nicht sehr förderlich... hatte eigentlich gehofft, es würde sich mal wieder in Richtung 900€ bewegen.


Was würdest Du denn als Board vorschlagen für die WS mit 980er und für die möglichst billigen Nodes mit 920er? Und... würdest Du z.Zt. noch nen 920er kaufen oder besser nen 930 oder w3520? Die kosten ja immerhin nen bissel mehr... aber gibt es noch gute 920er? und wie groß ist die Chance einen zu bekommen?

 

[arch3990]

Bei Version MX 1.7.1 ist es so, dass man für den Manager keine extra Lizenz braucht und neben der Standard Lizenz noch drei weitere Lizenzen für die Renderknoten verfügbar hat - denke, dass das mit dem Manager bei Version 2.x genauso ist, abgesehen davon, dass man die Lizenzen für zusätzliche Renderknoten nun einzeln erwerben muß.

Maxwell hat übrigens diese Woche (bis Sonntag) noch 50% WM-Discount - will hier allerdings keine Werbung machen - hat mich jedoch dazu bewogen, mir mal ein Upgrade auf V2 zu ziehen.

Ich hatte ein P6T6 WS Revolution im Einsatz - das hat mit dem 980er problemlos funktioniert - momentan läuft der 980er auf einem REIII - geht auch sehr gut.

In meiner WS werkelt ein 920er auf einem ASRock X58 Extreme mit OCZ-1600 Platinum - Die Kombination läuft sehr stabil - Der Prozessor läßt sich wie gesagt auch ohne Probleme mit 4.20 GHz (21x200) betreiben. 4.60 GHz (21x220) waren auf dem Asrock auch noch kein Problem - dann aber mit guter Wasserkühlung und entsprechenden Einstellungen im Bios ...

Habe aber keine Erfahrungen mit weiteren 920er gemacht.