Videoschnitt Server für 4 Clients

[fard dwalling]

Hallo zusammen,

was wäre eine sinnvolle Zusammenstellung für genannte Aufgabe? Es geht darum, das 4 Clients gleichzeitig auf ein Storage zugreifen und Filmmaterial bearbeiten wollen.
Eine Überlegung wäre, hier auf ein NAS von QNAP oder Synology zurückzugreifen TS-531x oder DS1517, welches mind. 4 Gigabit Ports oder gar einen 10GBit Port hat. Bei den Preisen kann ich dann aber auch den Beispielserver aus dem Hardwareguide 2018 nehmen und mit einer PCIe Karte auf 4x Gigabit oder 1x 10GBit aufrüsten.

Was gilt es bei den Platten zu beachten? Sind hier 3,5" HDDs überhaupt überlegenswert oder sollte man besser SSDs einsetzen? Ich mein, eine reine Datenübertragung von 500MB/s mit HDDs hinzukriegen, ist im RAID5 machbar, aber wenn 4 Clients auf unterschiedliche Daten zurückgreifen, wird es wahrscheinlich nix mehr.
Platzmäßig würden auch um die 4 TB ausreichen.

Vielen Dank für eure Tipps, ich bin gespannt.

VG

PS: Ach so, Budget, also es sollte nicht exorbitant werden. Umso günstiger umso schöner. So das es als vernünftig durchgeht.

 

[Trambahner]

Arbeiten die 4 Leute tagein/tagaus damit? Aufösung SD, HD, 4K?

Das ist IMO bereits Fall für entsprechende Datacenter-SSDs, die für ordentlich Schreibvolumen gerated sind, wenn auf dem Storage aktiv gearbeitet werden soll.
HDDs kommen da IMO nur noch als "Endlager" der Videos in Frage.

 

[fard dwalling]

Ist je immer so eine Woche im Jahr.
Auflösung denke ich mal, bis Max HD. 4K nein.

 

[besterino]

Eine Woche im Jahr? Dafür lohnt sich ja nix zu kaufen - kann man sowas nicht online mieten?

 

[Trambahner]

Da würde ich bzgl. Bearbeitungs-Storage nix machen; ausser passender Aufbewahrung.
Die Arbeitsdateien können da doch problemlos auf den Clients gehalten werden. Wenn die nur HDDs haben, dann vielleicht den Clients ne allgemein brauchbare SSD spendieren.

 

[fard dwalling]

Es geht ja darum, das in dieser Woche viele Videoaufnahmen aufgenommen und bearbeitet werden sollen. Und eben alle 4 Clients auf einen Datensatz zugreifen. Daher der Zentrale Storage.

 

[Digi-Quick]

Pflichten:
mind. 1x 10 GBE = ca. 2 GBit pro Client (evtl. 2-4x per Trunking verbinden könnte nett sein)
(4x 1GBit bringt dir da garnix, da pro Client max. 1GBit zur Verfügung steht, darüber möchtest du nicht Videos bearbeiten, Schneiden, rendern)

Mindestens 2 (Source und Target) SSD Highload ArbeitsVolumes für Hohe Dauer-Last (also keine Samsung Evos oder Pros sondern eher sowas wie Intel 540S
Je Nach Datenmenge und gewünschtem Redundanzlevel dann Raid 0, 10, 5, 6, 50, 60

 

[fard dwalling]

Erstmal vielen Dank für eure Ideen und Vorschläge.
Ich werde jetzt nochmal nahelegen vielleicht nur das Material auf denn storage zu lagern und zum bearbeiten auf den Client zu ziehen.

 

[martingo]

Danke. Das ist für Dein Szenario die einzig ansatzweise sinnvolle Möglichkeit.

 

[gea]

Prinzipiell geht das mit dem zentralen Storage schon.
Da man zum Schneiden teils unkomprimierte Daten hat muss man zuallererst schauen, welche Datenrate benötigt wird.

z.B. Uncompressed video - Wikipedia
Für HD Video würde ich auf jeden Fall versuchen, minimal ca 150 MB/s zu erreichen. Wenn 4 Clients gleichzeitig schneiden sollen wären das 600 MB/s. Man braucht also auf jeden Fall 10G.

Sequentiell sind 600 MB/s kein Problem. Eine normale Platte macht sequentiell in den äußeren Spuren über 200 MB/s. Drei Platten in einem Raid-0 wären ausreichend. Bei mehreren Arbeitsplätzen oder mit Fragmentierung hat man jedoch keine sequentielle Last sondern Random Zugriffe. Dabei bricht die Datenrate einer Festplatte gerne mal auf 50MB/s oder weniger ein. Ausgleichen kann man das durch ein Array aus vielen Platten oder indem man massiv auf RAM/NVMe Caching setzt. Ein normales LowCost NAS ist damit aber völlig überfordert.

Wen Ich sowas konzipieren sollte, würde ich auf ein Array aus mindestens 3 x Raid-10 aus schnellen Festplatten setzen, dazu mindestens 32 GB RAM um damit Schreib und Lesezugriffe über den RAM zu puffern. ZFS ist mit seinem RAM Schreib-Lesecache ideal. Bei 4TB (reicht das wirklich) wäre auch ein Raid-Z1/2 aus 5-6 x 1TB SSD eine Option. Aufgrund des Preise würde ich aber auf Multi-Raid-10 aus 7200 U/m Platten setzen. Damit erreicht man auch was benötigt wird.

Da ZFS nur random-read im RAM puffert, wäre in diesem Fall ein zusätzlicher NVMe Cache durchaus sinnvoll mit dem sich auch read-ahead puffern läßt, z.B. über eine Intel Optane NVMe (idealerweise 900P).

Kostenpunkt ohne Platten ab ca 1000 Euro (Case, MB z.B. SuperMicro X11 mit 10G und SAS HBA, 32 GB RAM, ab G4400 CPU). Die Clients dann per 10G Switch oder direkt anbinden (mit zweiter 2x10G Karte im Server).

vgl
http://www.napp-it.org/doc/downloads/napp-it_build_examples.pdf
http://napp-it.org/doc/downloads/performance_smb2.pdf
http://napp-it.org/doc/downloads/optane_slog_pool_performane.pdf

 

[MicroCane]

Sequentiell sind 600 MB/s kein Problem. Eine normale Platte macht sequentiell in den äußeren Spuren über 200 MB/s. Drei Platten in einem Raid-0 wären ausreichend. Bei mehreren Arbeitsplätzen oder mit Fragmentierung hat man jedoch keine sequentielle Last sondern Random Zugriffe. Dabei bricht die Datenrate einer Festplatte gerne mal auf 50MB/s oder weniger ein. Ausgleichen kann man das durch ein Array aus vielen Platten oder indem man massiv auf RAM/NVMe Caching setzt. Ein normales LowCost NAS ist damit aber völlig überfordert.

Wen Ich sowas konzipieren sollte, würde ich auf ein Array aus mindestens 3 x Raid-10 aus schnellen Festplatten setzen, dazu mindestens 32 GB RAM um damit Schreib und Lesezugriffe über den RAM zu puffern. ZFS ist mit seinem RAM Schreib-Lesecache ideal. Bei 4TB (reicht das wirklich) wäre auch ein Raid-Z1/2 aus 5-6 x 1TB SSD eine Option. Aufgrund des Preise würde ich aber auf Multi-Raid-10 aus 7200 U/m Platten setzen. Damit erreicht man auch was benötigt wird.

Gerade aus diesen Gründen würde ich auf viele 2,5 Zoll Festplatten mit 7200 U/m (oder sogar 10k U/m) setzen, statt auf wenige große 3,5 Zoll Festplatten. Mehr Spindles bedeutet eben mehr Performance.
Der Energieverbrauch bei den 2,5 Zoll Festplatten hält sich auch in Grenzen.

HGST Travelstar 7K1000 EA 1TB Preisvergleich Geizhals Deutschland
Sind für Server 24/7 freigegeben.