Workstation für Videobearbeitung im 4K Bereich

[Gemil]

Guten Tag allerseits,

momentan bin ich dabei mir ein neues System zusammen zu stellen. Es wird überwiegend für den professionellen Videoschnitt mit der Adobe CC / Cinema 4D genutzt werden.
Derzeit wird ein System bestehend aus einem i7 3930k, 16GB Ram und 580 GTX eingesetzt. Leider reicht die Perfomance nun leider nicht mehr aus um mit professionellem 4K Material entsprechend zu arbeiten.

Die Ansprüche an das System sind gerade im Bezug auf das Dateimanagement sehr speziell. In meinem jetzigen Rechner werkelt für die Bearbeitung (!) der Projekte ein HW Raid (LSI 9260 mit 8x2TB HDDs). Die Lagerung der Dateien erfolgt redundant auf externen Datenträgern (NAS / mehrere externe HDDs).

Ich möchte gerne meinen Dateiworkflow mit dem neuen System verbessern. Derzeit wird alles über USB 3.0 übertragen - was leider mit derzeit knapp 110 - 120MB/s pro Kopiervorgang einen großen Zeitaufwand/Flaschenhals für das Überspielen der Daten darstellt.
Also was ist entscheidend:
-> Schnelles HW Raid für die Bearbeitung der Projekte - kann hier event. mein alter HW Raid Controller weiter genutzt werden? (LSI 9260)
-> Schnelle Datenübertragung von/zu externen Speichermedien (in meinem Fall SSDs + XQD Speicherkarten...derzeit habe ich nur USB 3.0 Lesegeräte hierfür...gibt es etwas schnelleres? Thunderbolt, eSata?)
-> Schnelles PC System - event. SLI Lösung
-> Es soll ein komplett neuer PC gekauft werden, incl. 4K Monitor
-> Die derzeitige externe Archivierung soll zur Langzeitarchivierung umfunktioniert werden. Interne Festplatten sollen immer die derzeit aktuellen Projekte abrufbar machen.


Da wir bei so einem System von einem relativ großem Budget sprechen, mache ich vorerst keine maximal Angabe. Jedoch möchte ich nur die wirklich benötigten Sachen kaufen.
Das System soll z.b. nicht übertaktet werden und benötigt auch keinerlei "Gaming" Features. Dafür muss es 24/7 tauglich sein.


Bisher habe ich folgendes mir überlegt:

CPU: Intel Core i7-5820K
Motherboard: ?
Grakas: 2x Nvidia GTX 970 // oder alternativ 1x Nvidia GTX 980
Ram: GeIL EVO Potenza DIMM Kit 32GB Quad Kit, DDR4-2400, CL15-15-15-35
Netzteil: EVGA SuperNOVA 750 G2 750W
Gehäuse: Nanoxia Deep Silence 5

Festplatten:
-> System: M.2 oder express SATA SSD mit min 240GB
-> Dateibearbeitung: Entweder altes Raidsystem (incl. 8x 2TB), oder übernahme des Raidcontrollers + 4x 512GB SSD
-> Archivierung / kleine Dateiablage: 4x Western Digital AV-GP 3TB, 64MB Cache, SATA 6Gb/s (WD30EURX) (Über Raid des Mainboards)
-> Dateiübertragung: Gibt es etwas schnelleres als USB 3.0 für Windows um Sachen von einer SSD zu lesen? Habe hier von speziellen Thunderbolt Karten gehört, jedoch weiß ich nicht wie es hier mit der kompatibilität zu Windows aussieht und was man hier an externen SSD Reader benötigt.

Monitor:
-> Es wird kein Profi 99,X% Adobe RGB Color Monitor benötigt (ich nutze für das Colorgrading einen eigenen speziellen Monitor). Er muss jedoch UHD Auflösung unterstützen und min. 26" haben.
-> An dem System werden insg. 4 Monitor angeschlossen. (Triple Screensetup, Mitte wird durch einen 4K Monitor ersetzt...4ter ist speziell für Colorgrading)
-> Samsung U28D590D ?


Zum Schluß noch die alles entscheidende Frage...lohnt es sich schon von der Perfomance her auf ein X99 System umzusteigen? Oder sollte man hier noch ein paar Monate warten oder gar komplett dem 1150 Sockel vorziehen derzeit? Immerhin wird dies eine sehr große Anschaffung, dementsprechend wäre ich euch dankbar wenn es schon ein paar Erfahrungsberichte/Tests mit so einem Setup gibt die ihr mit mir teilen könntet.

Derzeit ist es mir nur möglich eine 4K Spur gleichzeitig in Echtzeit zu bearbeiten. Ich würde dies gerne auf 3 - 4 Erhöhen (durch die bessere GPUs vorallem).

mit freundlichen Grüßen

Gemil

 

[trooper]

Bitte den Mod doch erstmal, es in das "Workstation" Forum zu verschieben.

MfG

 

[thom_cat]

Bitte den Mod doch erstmal, es in das "Workstation" Forum zu verschieben.

MfG

ich sehe es wie du, mit den anforderungen ist das hier der falsche bereich.
deshalb

 

[Gemil]

Danke fürs verschieben

War mir leider nicht sicher ob das direkt ins Profi Forum soll (da ich ja schon noch auf normale Endanwender HW zugreife)

 

[fdsonne]

Also rein von dem, was du dir da vorstellst, würde ich keinesfalls einen Wechsel machen. Warum?
Der 5820K ist einfach mal nicht schneller als der vorhandene 3930k.
Ein Wechsel kostet dich aber Geld für das Mainboard und Geld für den Speicher, dazu ca. 50% Aufpreis für DDR4 im Vergleich zu den DDR3 Modulen.

Das macht unterm Strich überhaupt keinen Sinn...

Dazu kommt, der 5820k ist in Sachen PCIe Lanes abgespeckt, der 3930k hingegen nicht! Was dir gerade bei zwei GPUs, einem Raidcontroller und womöglich noch einer schnellen Schnittstelle nicht reichen wird.

Zwei GPUs bekommst du mit aller größter Warscheinlichkeit auch in das alte System. Eine Erweiterung in Form einer Schnittstellenkarte ebenso.
Du musst dich nur entscheiden, was du da genau vor hast.

Der reine Speed von vier 512GB SSD mit entsprechendem Raidlevel ist um Welten besser (je nachdem, ob Random Access oder Sequentieller Zugriff) als der der acht 2TB HDDs.
Wenn dir also der Platz von 1TB (Raid 10), 1,5TB (Raid 5) oder 1TB (Raid 6) reicht, dann lieber dort investieren. Ggf. muss man den Raidcontroller tauschen, wenn der nicht genügend Speed bringt um die Geschichte voll auszufahren.

Auch solltest du dir Gedanken über die Datenhaltung generell machen. Auch Thema Backup fällt da mit rein.
Ne Single HDD in Form einer 2-xTB 7,2k HDD machst du nicht über eine Schnittstelle anklemmen, die weit schneller USB3.0 agiert. Warum? Die HDD wirds nicht stemmen können...
Die Frage ist also, was stellst du dir dann da hinten vor? Einen reinen Fileserver mit entsprechend Bumms? Ein fertig NAS mit entsprechend Bumms? Oder gar was ganz anderes?

Und um was für Datenmengen sprechen wir denn hier überhaupt? Was wird denn initial bei so einem Vorgang heute über USB3 übertragen?
110 - 120MB/sec sind ein knappes Gigabit/sec. Das heist, willst du mehr, wäre sowas wie 10GBE eine Maßnahme. Sinds zwei Systeme, die direkt miteinander verbunden sind, dann kost das auch nicht unbedingt die Welt! Bei mehr wie zwei Systemen wirds da schon eher teurer. -> reiner Bandbreitenvorteil liegt im Bereich Faktor 10!
Mehr ist das mit 40GBE oder anderen Geschichten machbar... Auch sowas wie IPoverInfiniband wäre eine Möglichkeit, da man das Equipment der letzten oder vorletzten Generation häufig hinterhergeschmissen bekommt. Du hast ca. 1/8 der Bandbreite als Overhead. Bei 20GBit/sec Durchsatz aber immernoch 16GBit/sec nutzbar, was schon ordentlich ist.
Da sprechen wir dann schon wieder über Dimensionen, wo du mit vier SSDs, wenn sie alle samt vollspeed lesen, schon fast ans Limit deines Storage kommen wirst!



Heist also unterm Strich:
- ich würde nicht den ganzen PC tauschen, zumindest nicht, wenn es ein Hexacore i7 werden soll! Tausch macht erst ab Okacore i7/Xeon Sinn!!
- die alte GPU rausschmeißen, wenn sie limitiert und die beiden neuen in den PC drücken
- das Storage sowohl auf Quell als auch auf Zielseite für deine Kopiejobs überarbeiten/überdenken.
- ggf. weg von USB3 auf andere Techniken. Empfehlungen dazu aber erst machbar, wenn das Storagedesign halbwegs fix ist...

 

[Gemil]

Also das vorhandene System wäre Multi GPU fähig. Daher habe ich hier derzeit auch schon mit der Lowcost Variante gespielt, nur die GPU zu erneuern.

Generell mal eine Kosten frage...wenn ich direkt auf ein Dual CPU Board und Xeons gehen würde - was macht da derzeit sinn?
Wenn ich da preislich einfach nur mal für nen 2011v3 System im Preisvergleich suche, wäre dies Preislich zu den von mir oben beschriebenen System kein großer unterschied.
Hier die von mir herausgesuchten Komponenten:
2 x Intel Xeon E5-2620 v3, 6x 2.40GHz, Sockel 2011-3, boxed (BX80644E52620V3)
2 x Crucial DIMM Kit 32GB, DDR4-2133, CL15-15-15 (CT4K8G4DFD8213)
2 x Zotac GeForce GTX 970, 4GB GDDR5, 2x DVI, HDMI, DisplayPort (ZT-90101-10P)
1 x Supermicro X10DAi retail (MBD-X10DAi-O)


Nochmal kurz mein derzeitiges Storage Konzept:
1. Phase: Aufzeichnen.
Pro Drehtag werden ca. 600 - 900 GB an Daten produziert

2. Bearbeiten:
Die Materialien werden alle über USB 3.0 Schnittstellen Geräte von den SSDs und anderweitigen Speicherkarten auf das 8x2TB HDD Raid kopiert.

3. Clips/Filme fertig:
Alle genutzten Materialien werden auf ein externes NAS (2x 1GB/s angebunden) geschoben zur Archivierung. Das NAS verfügt insg. über 24TB Speicherplatz
Zusätzlich werden die Materialien auf einer externen Festplatte per USB 3.0 gesichert aus Redundanz gründen.

4. Überlauf
Wenn das NAS voll ist, werden die letzten archivierten Dateien gelöscht.
Die Kopie auf externen HDD bleibt dauerhaft existent.


Mein derzeitiges Problem:
Die Kameras die wir verwenden zeichnen alle überwiegend direkt auf SSDs auf. Diese sind alle SATA3 tauglich und können die Schnitte bis ans Maximum bedienen
Bei schnellen Projekten ist es wichtig, das wir noch am selben Drehtag einen Clip fertig bekommen. Wenn wir jedoch über eine Geschwindigkeit von USB 3.0 zuerst alle Daten kopieren müssen, heißt dies Effektiv zwischen Dreh und Postproduktion vergehen knapp 1 - 2 Stunden Wartezeit. Und diese Zeit wird sogar noch kritischer wenn wir eine Liveproduktion machen, wo noch viel mehr Daten anfallen und die Speicherkarten regelmäßig entleert werden müssen, damit die Kamera's weiter aufzeichnen können. Wenn wir derzeit mehr als 4 Kameras gleichzeitig einsetzen, kommt ein Computer mit dem Entleeren der Speicherkarten nicht mehr hinterher - die Karten werden schneller beschrieben als wir sie Leerkopiert bekommen.
-> Wohlgemerkt...alles noch in normalen 1080p derzeit.
Bei dem Umstieg auf 4K werden sich die benötigten Speichermengen in etwa verdoppeln bis verdreifachen.

Platztechnisch komme ich derzeit soweit hin - jedoch ist halt das Nadelöhr nach wie vor USB 3.0 bei den Zeitkritischen Sachen.

Bei der Archivierung auf NAS oder externen HDDs gibt es so derzeit keinen zeitkritischen Faktor.

 

[Kullberg]

Sollen die Grakas im SLI laufen?
Das klappt mit nem Supermicro Board nicht. Da ginge nur das ASUS Z10PE-D8 WS.

p.s. Du solltest herausfinden, ob Deine Programme mit vielen langsamen Cores etwas anfangen können. Wenn nicht, sind 2x E5-2620 v3 keine gute Wahl.

Mit reg. ECC RAM kommst Du bei Xeon Boards besser weg.http://geizhals.de/crucial-dimm-kit-32gb-ct4k8g4rfs4213-a1134127.html

Zum Thema Datenübertragung: E-SATA sollte wesentlich schneller sein - aber mit Lösungen auf dem Gebiet kenne ich mich nicht aus.

 

[Morpheus2200]

Wie wäre es denn mit 4x2.5" Einschüben für die SSDs aus den Kammeras und einem zweiten Satz SSDs?
Dann kannst du die Daten direkt über SATA auslesen und spart dir den USB Umweg. Weiterdrehen wenn die SSDs voll sind wäre damit auch möglich.

Ein X99 System bietet natürlich auch einen kleinen Vorteil bei den Schnitstellen für Massenspeicher. Aber ob das den Aufpreis wert ist?

Was für ein Raid lvl fährst du auf den 8x2TB? Und wie ist die Performace? Ich denke mal sequentiell ist bei den Datenmengen interessant.

 

[jdl]

Hier die von mir herausgesuchten Komponenten:
2 x Intel Xeon E5-2620 v3, 6x 2.40GHz, Sockel 2011-3, boxed (BX80644E52620V3)
2 x Crucial DIMM Kit 32GB, DDR4-2133, CL15-15-15 (CT4K8G4DFD8213)
2 x Zotac GeForce GTX 970, 4GB GDDR5, 2x DVI, HDMI, DisplayPort (ZT-90101-10P)
1 x Supermicro X10DAi retail (MBD-X10DAi-O)

Sinnvoller ist es auf schneller getaktete CPUs mit wenigen Cores zurückzugreifen z.B. zwei Xeon E5-2637v3 (4@3.5GHz) oder E5-2643v3 (6@3.4GHz), das paßt besser zu Euren Anforderungen. Mehr Cores lohnen sich wirklich nur, wenn die Software damit auch umgehen kann.

Mein derzeitiges Problem:
Die Kameras die wir verwenden zeichnen alle überwiegend direkt auf SSDs auf. Diese sind alle SATA3 tauglich und können die Schnitte bis ans Maximum bedienen
Bei schnellen Projekten ist es wichtig, das wir noch am selben Drehtag einen Clip fertig bekommen. Wenn wir jedoch über eine Geschwindigkeit von USB 3.0 zuerst alle Daten kopieren müssen, heißt dies Effektiv zwischen Dreh und Postproduktion vergehen knapp 1 - 2 Stunden Wartezeit.

Wichtig bei USB 3.0 ist es, daß die Peripherie unbedingt UASP kann. Dann sind Dauertransferleistungen >400MB/s mit USB 3.0 möglich. Notfalls fürs Importieren eine zusätzliche USB 3.0 Karte einbauen, die pro Port einen USB Controller nutzt, dann kann man parallel mehrere SSDs aufs RAID kopieren.

Und diese Zeit wird sogar noch kritischer wenn wir eine Liveproduktion machen, wo noch viel mehr Daten anfallen und die Speicherkarten regelmäßig entleert werden müssen, damit die Kamera's weiter aufzeichnen können. Wenn wir derzeit mehr als 4 Kameras gleichzeitig einsetzen, kommt ein Computer mit dem Entleeren der Speicherkarten nicht mehr hinterher - die Karten werden schneller beschrieben als wir sie Leerkopiert bekommen.

Was für Karten nutzt ihr?

- - - Updated - - -

Das klappt mit nem Supermicro Board nicht.

Geforce SLI geht mit dem X10DAX oder dem X10DRG-Q

 

[Kullberg]

Geforce SLI geht mit dem X10DAX oder dem X10DRG-Q

Stimmt. Aber Das X10DAX ist noch nicht lieferbar und das X10DRG-Q hat ein proprietäres Format - dafür braucht man ein SuperChassis 747TQ-R1620B und das ist höllisch laut.

 

[jdl]

Stimmt. Aber Das X10DAX ist noch nicht lieferbar und das X10DRG-Q hat ein proprietäres Format - dafür braucht man ein SuperChassis 747TQ-R1620B und das ist höllisch laut.

Boxx hat die Vorgängerplatine auch schon verbaut.

 

[Kullberg]

Boxx hat die Vorgängerplatine auch schon verbaut.

Jau - echtes Schnäppchen. Ich fürchte nur, dass die die speziell dafür angefertigten Gehäuse nicht einzeln (und günstg) rausrücken