Cluster Video Encoder

H

hattabatatta

Enthusiast
Thread Starter
Mitglied seit
20.07.2008
Beiträge
735
Ort
Good old Austria
aloha zusammen.

ich hab keine ahnung in welchem bereich des forums ich das sonst posten soll.
jedenfalls hab ich folgende frage:

kennt jemand von euch unter windoof funktionierende video encoding software die clusterbetrieb unsterstützt?

anstoß dafür so etwas zu machen war bei mir jener, dass ich über die feiertage meine komplette dvd sammlung auf meinen mediaserver gerippt habe.
im endeffekt is der jetz bummvoll und mehrere terrabyte an platz sind erst mal weg.
da ich viele serien auf dvd habe und die sich mit der methode die ich verwende (geht am einfachsten und schnellsten aber wie genau verrate ich aus rechtlichen gründen nicht...zumindest nicht öffentlich hehe. in unserem land zwar furzegal aber das is ja ein deutsches forum und da is das heikel) nur raw in einem mkv container rippen lassen sind die einzelnen folgen dementsprechend groß.
dies möchte ich nun gern komprimieren...sprich alles verdivx´n (geiles wort hehe) oder sonstige codecs nehmen...mal schaun was bessere ergebnisse bei hoher geschwindigkeit liefert.

aber mir graut da ein wenig davor...zumal der mediaserver nicht unbedingt die high end maschine ist (anm.: ein ibm xseries wo debian mit nem samba server drauf läuft) is an ein encoden aufm server nicht zu denken...es sei denn er läuft ein jahr durchgehend lol
bei den hunderten gigabyte braucht der sicher so lang :)

alternative...alles einzeln via lan kopieren...encodieren und dann wieder zurückspielen.
is zwar mit gbit lan schnell da und auch schnell wieder dort...trotzdem mühseelig und dauert auch saulange.

abhilfe.
alle meine rechner die ich habe (sind immerhin 4 die in betrieb sind und noch 2 die ich fix zusammenbauen kann) zusammenschliessen und gemeinsam rechnen lassen.
stichwort distributed encoding respektive clusternetzwerk
nun mit linux gibts da einige möglichkeiten und findet sich auch ganz schnell was.
ich hab aber echt keine lust alle rechner (bis aufn mediaserver alle mit windoof) mit nem neuen os zu versorgen.
also muss es ja was mit windoof geben.

gibts auch.
zum einen gibts vidomi, was aber nur mpg und avi dateien codieren kann und ausserdem seit jahren nicht mehr weiterentwickelt wird.
und zum anderen gibts noch den media encoder cluster, der is aber ausser extrem verbuggt nur noch extrem verbuggt und da funktioniert auch gar nix.
an abhilfe beim hersteller (so wies aussieht ein einzelner mensch der sich nicht mal um sein forum schert) is da nicht zu denken. wird frühestens in 2 jahren was sein das ding :)
achja und beim doom9 forum hab ich auch diese selbstentwicklungen elder (tolles howto...nämlich gar keins...intuitives programm...fehlanzeige) und x264farm (installation alleine braucht wahrscheinlich ein abgeschlossenes informatik studium) gefunden. tjo...für mich eindeutig nix

wisst ihr da nicht eventuell irgend ne möglichkeit?
wie siehts denn mit den windoof server os teilen aus? immerhin gibts ja ein 2003 cluster teil und das 2008 hpc server os soll ja auch gut für sowas laufen (2008 gibts sogar noch als rc2 zum download)
wobei sich da aber auch die frage stellt ob das betriebssystem nun automatisch JEDE prozessorlast auf die nodes aufteilt oder obs auch erst recht wieder das programm können muss.

naja...auf zum frohen diskutieren und eventuell der einen oder anderen tollen hilfe
 
Zuletzt bearbeitet:
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Zuletzt bearbeitet:
AH okay, hätte die Unterliste unter GPU Optimierung anschauen sollen. My fault.
 
naja das mit den platten herumschieben is nicht gerade so einfach.
in meinem mediaserver sind viele 320er uscsi platten drinnen und die passen halt nur da rein :)

hm hätte das wirklich gerne alles mittels clusternetzwerk erledigt weil da wäre ich bei weitem schneller als echtzeit gewesen.

werd mir aber mal die cuda teile anschauen...wenn die sli supporten wäre ich mit sicherheit auch weit über echtzeit...zumindest auf der gaming maschine
 
also ich hab mir jetz sowohl badaboom als auch mediacoder mal angesehen.
badaboom liefert ja echt grottenschlechte ergebnisse und wirklich schnell isses auch nicht.

mediacoder is da eindeutig besser.
zumindest was die verwaltung betrifft denn immerhin kann man hier mehrere jobs auf einmal eingeben und die nacheinander abarbeiten lassen.
und scheinbar supportet das programm auch sli denn ich bezweifel dass eine 88er gtx (bzw. ultra) einen encodingwert von 100-110 fps schafft. oder was meint ihr?

und das ergebnis is auch sehr in ordnung.
eine band of brothers folge die raw etwa 3,5gb groß war schrumpft man h264 codiert auf 900mb zusammen bei annähernd gleichbleibender qualität (den unterschied sieht man wirklich nur wenn man genau hinschaut).
blöderweise dauert das trotzdem pro file noch immer ganz schön lange :( (viel spass bei der menge an files die ich gerne codieren möchte)
da wär halt cluster encoding nochmal um ne ecke schneller.

vielleicht lass ich mich ja dazu hinreissen mit cluster knoppix live cd´s was zu testen.
da kann ich dann auch gerne meine erfahrungen dazu schildern
 
Zuletzt bearbeitet:
Das Problem beim Cluster ist das die Berechnungen am ende nur so schnell sind wie der langsamste PC. Wenn einer mit 4GHz daher kommt und einer mit 2 GHz kann man sich die Sache sparen und gleich nur den 4GHz rechnen lassen. Cluster macht nur Sinn wenn alle Rechner gleich schnell sind.
 
@andy
das stimmt aber so nicht.
es kommt auch immer sehr stark drauf an wie "intelligent" die clusterlösung is.
wenn man es so macht wie es vidomi in der vergangenheit gemacht hat, nämlich einfach das file zu splitten und unabhängig von der leistung der rechner dieses einfach abarbeiten lässt dann hast du natürlich recht.

nach dem prinzip wie es dieses verbuggte tool media encoder cluster macht isses definitiv ein absoluter leistungsgewinn.
hier schnappt sich einfach jeder rechner einen kleinen teil des gesamten und rechnet den ab. alles was davon fertig ist (es wird frame für frame abgerechnet) wird wieder zurückgeschickt an das "clusterhirn".
wenn von 1000 frames eben rechner a nur 300 frames rechnen kann weil er nicht schneller is und rechner b aber die restlichen 700 isses in summe immer noch viel schneller abgerechnet als wenn rechner b alle 1000 frames rechnen muss.

würde das tool gscheit funzen würde ich das sowieso preferiert nehmen. weil das is wirklich scheiss schnell.

abgesehen davon ist cluster sowieso nicht gleich cluster. stichwort failover, high performance und so weiter.


@omnium:
was meinst du mit welches profile?
beim cuda encoder oder wie?
 
also cuda encoder hab ich auf high und dort die ganzen haken auf der rechten seite angehakt.
rest auf standard gelassen

links hab ich vbr mit 100 getestet.
liefert für meinen geschmack ein ordentliches bild (seh auf der röhre sowieso fast keinen unterschied :) ...am beamer hab ichs noch nicht getestet)
ach ja und beim format natürlich h.264 und als container mkv
 
auf codergrid ist genau dieser media encoder cluster den ich schon angesprochen habe.
absolut verbugtes teil. und der entwickler kümmert sich scheinbar auch absolut nicht drum.
man beachte das zugespammte forum.

das aus dem doom forum hab ich auch schon angesprochen.
verdammt kompliziert
 
weshalb möchtest du divx/xvid benutzen? selbst bei sd-material, bietet sich x264/mkv an. ich habe z.b meine ganzen tv-aufnahmen so bearbeitet.
ich empfehle dir dazu das programm:
"auto-mkv"! das ist von der einfachheit sehr an auto-gtk angelehnt, nur eben sehr viel mächtiger. notfalls kannst du damit auch in divx enkodieren.
schau es dir einfach mal an!

Gruß
g.m
 
ich hab ja geschrieben ich werd mal schaun was gute ergebnise bei guter geschwindigkeit bringt.
und da überzeuge ich mich gerne selber davon weil ich kenne h264 files wo dir schlecht wird und divx files wo du denkst das is eine bluray.

gut natürlich dezent übertrieben aber ich schreibe es so um die relation zu verdeutlichen :)

auch so sachen wie gordian knot etc. sind mir bestens bekannt.
mir ging es in diesem thread um software die auch clustering supportet.
nicht mehr und nicht weniger.

aber ich hab sogar schon was gefunden.
is zwar nicht für windoof sondern für den mac...aber man kann hier auch windoof pc´s einbinden und mitarbeiten lassen.
das sieht intressant aus und werd ich mir mal zur brust nehmen
 
Avisynth and WME and WMP11 for VC1 Encoding
Zum Vergrößern anklicken....

ich glaube, das hab ich selbst noch nichtmal installiert;)
das von nero ist anscheinend ein freier-codec. das greift nicht tief ins system ein. .net-framework ist pflicht, klar. sehr viele programme nutzen das aber mittlerweile, so das man da nur noch schwer drum rum kommt:)

Gruß
g.m
 
so nun wieder eine kleine rückmeldung meinerseits zum eigentlichen thema.

mit dem mac funzt das schwerstens einfach und auch absolut genial gut.

in ein paar minuten ist der cluster eingerichtet und sämtliche windoof rechner verbinden sich ebenfalls darauf.
mittels einer kleinen java app sind die windoof rechner mit einer zeile code in der comand line mit dem mac cluster server verbunden und man kann sogar die prozessorleistung bestimmen die zur verfügung gestellt werden darf.

am mac selbst lassen sich die einzelnen rechner spitzenklasse einfach verwalten.

zum konvertieren gibts auch eine software die das clustern nativ unterstützt...allerdings wird die schon länger nicht mehr weiterentwickelt und ich muss mich nach alternativen umsehen...aber sie funzt zumindest.

besonders witzig siehts in der clusterverwaltung aus wenn ein cluster bestehend aus 4 rechnern, einem notebook und dem mac, eine gesamte leistung von fast 40ghz anzeigt :d
da kann auch kingpin einpacken lol
natürlich absolut kein reeler wert aber dennoch witzig.

habe nochmals als vergleichstest das gleiche band of brothers file mit h264 codiert.
bei meinem trisli rechner habe ich rund eine viertel stunde gebraucht.
leider hab ich bei dem cluster jetz nicht genau gestoppt aber das war schon verdammt schnell.
ich schätze mal so irgendwas bei 2-3 minuten.
die qualität is aber mehr als mittelmässig...liegt aber auch daran, dass ich mich mit dem programm noch absolut nicht auskenne.
aber egal...ich muss sowieso eine alternative finden.

auf jeden fall stelle ich mir DAS unter richtiger konvertierungsgeschwindigkeit vor und deswegen habe ich auch besonderen wert darauf gelegt alles mittels cluster zu machen.
ich glaube ich werde aus meinen alten teilen noch 2 rechner zusammenschustern müssen um noch mehr rauszuholen :)
 
Zuletzt bearbeitet:
verbugter Media Encoding Cluster

hattabatatta schrieb:
auf codergrid ist genau dieser media encoder cluster den ich schon angesprochen habe.
absolut verbugtes teil. und der entwickler kümmert sich scheinbar auch absolut nicht drum.
man beachte das zugespammte forum.

das aus dem doom forum hab ich auch schon angesprochen.
verdammt kompliziert
Zum Vergrößern anklicken....

Hallo zusammen,

ich bin der Entwickler vom Media Encoding Cluster und muss "hattabatatta" zustimmen das der Encoder z.Z. noch viele bugs inne hat, zu dem hat er auch recht das unser Forum dafür zu gespamt wird, was jedoch nicht stimmt ist, das ich mich nicht darum kümmere.
Es ist ein privates Projekt von mir und bin z.Z. auch der alleinige Entwickler an diesem Projekt.
z.Z. mache ich massive umstellungen an der Build umgebung, daher werden keine automatischen Builds mehr erzeugt, ich hoffe auch die Spam flut im Forum in den griff zu bekommen, das raubt mir eine menge Zeit die ich besser für die Entwicklung gebrauchen kann.

Ab dem 1.2.2010 werden wieder die automatischen Builds gestartet, dann sollten die bekannten bugs behoben sein.

Falls jemand von euch interesse hat an dem Projekt mit zu arbeiten, ich könnte gut hilfe gebrauchen. Bug Reports wären auch vom grossen nutzen für mich.


Gruß,
framebuster
Media Encoding Cluster
 
Zuletzt bearbeitet:
also sorry wenn ich so ehrlich bin aber jedes forum wo ansatzweise was über cluster encoding besprochen wird mit werbung für codergrid.de zu befeuern und tägliche autobuilds auf den server schmeissen die sich offensichtlich nicht im geringsten voneinander unterscheiden und tagelang den spam stehen lassen is für mich kein "sich drum kümmern".

es is natürlich hammer wenn man das alles alleine entwickelt und raubt auch einiges an zeit.
aber dann muss man sich eben hilfe holen (und das möglichst via website ;) ) und nicht sagen, dass man sich drum kümmert.

is eben meine sicht der dinge so leids mir tut :)

vor allem versteh ich nicht warum man dies in einer doch eher wenig verbreiteten sprache wie erlang macht, dann auf c portiert, wieder mit erlang weitermacht, wieder auf c portiert.

was ich so rauslese ist ja auch das ziel der plattformunabhängigkeit. warum dann nicht gleich in java programmieren?
da findest du auch sicherlich wesentlich mehr helfer
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh