[Kaufberatung] Fileserver für Videoschnitt mit 10GbE

[Tigermoeter]

Hallo zusammen,

für einen Freund plane ich derzeit einen Fileserver für Videoschnitt für sein Büro. Da ich mich in dem Bereich wenig auskenne, hole ich mal etwas weiter aus:

Status Quo:
An höchstens 3 Rechnern \ Arbeitsplätzen werden derzeit Videos geschnitten. Die Videos liegen auf einem 2-Platten Synologie NAS mit Raid 1 mit 2x 2TB WD Red Platten bestückt. Angebunden sind alle Rechner mit 1Gbit LAN. Die Projekte liegen auf dem NAS und werden über Netzwerk bearbeitet. Das Synologie Nas fährt wochentags um 8 Uhr hoch und um 20 Uhr runter, falls mal am Wochenende gearbeitet wird, wird das NAS manuell gestartet. Das klappt bei HD-Videos auch ohne Probleme. Bei den höheren Datenraten von 4k ist damit Schluss. Es lässt sich nichtmal ein unkomprimiertes 4k Video ruckelfrei über LAN abspielen, geschweige denn sinnvoll schneiden. Deswegen muss mehr her. Nach der Suche nach 10GbE Nas Geräten zeigte sich, dass ein Eigenbau günstiger und skalierbarer ist. Deswegen bin ich hier:

Server 1. Ausbaustufe
Der Eigenbau-Fileserver soll in zwei Schritten realisiert werden: Aus den 2 WD-Platten sollen 4 im Raid 10 werden. Damit steigt die Lesegeschwindigkeit immerhin auf 220 MB/s. Damit das am Rechner ankommt (und für späteres Aufrüsten) soll ein 10GbE Netzwerk eingerichtet werden. Um den teuren Switch zu sparen, kommen Direktverbindung zum Einsatz, die Hardware kommt von Ebay. Bei den Betriebssystem kenne ich mich auch nicht aus. Nach Recherchen sind Unraid und Freenas beliebt. Ich brauche also:

Eine CPU, RAM und Mainboard Kombi die
- Genug Leistung für 10GbE hat
- Welche Platz für mindestens 6, besser 8 Sata Laufwerke bietet
- Eine gewisse Aufrüstbarkeit hat (siehe 2. Ausbaustufe)
- Kompatibel zu dem Betriebssystem ist
- Sich im Idealfall über einen Zeitplan ein- und ausschalten lässt

Server 2. Ausbaustufe
Später sollen alle 3 Rechner mit 10GbE verbunden werden, ich brauche also 3 Direktverbindungen, somit auch 3 PCI-E Slots mit mindestens 4facher Anbindung. Sprich der Rechner muss genug Power für 3x 10GbE Verbindungen haben. Außerdem sollen die HDDs durch SSDs ersetzt werden, wenn der Preis für SSDs weiter sinkt. Ein Raid 1 mit 2x SATA SSDs im Raid 1 würde bereits 540 MB/s Lesen bedeuten, was für 4k reicht. Später könnte das SSD Raid 1 um 2 weitere SSDs auf Raid 10 und somit auf 1080 MB/s ausgeweitet werden, womit dann auch 10GbE ausgereizt wäre.

- Als Gehäuse habe ich mir ein Fractal Design Define R4 besorgt.
- Bei den Mainboard brauche ich theoretisch 3x PCI-E 4x und viele Sata Ports, oder habe ich da was übersehen?
- Bei der CPU-Dimensionierung habe ich keine Ahnung. Reichen Celeron oder Pentium, brauche ich einen i3 oder gar einen i5? Können es auch ältere Core-i Generationen sein? Es soll ein reiner Fileserver werden, keine Virtualisierung oder ähnlich.
- Der Server läuft nicht 24/7 sondern eher 8/5, also wie ein Büro-Rechner
- Zuerst habe ich auf die RAID-Level der Mainboards geschaut. Seitdem ich Unraid gefunden habe, merke ich, dass es auch andere Raid-Arten gibt. Was könnt ihr empfehlen? Die Daten sollten gegen Ausfall einer Platte gesichert werden, gleichzeitig soll der Lese-\Schreibgeschwindigkeit hoch sein.
- Welche Fallstricke gibt es bei 10GbE Direktverbindungen?
- Welches NAS-OS könnt ihr empfehlen?

Es sind viele Fragen, aber es ist auch mein Abstand größtes Projekt

Viele Grüße,
Tigermoeter

 

[gea]

Für unkomprimiertes 4k Video wird 10G richtig ausgelastet. Das ist auch für ein Raid nicht so ganz einfach, vor allem wenn es nicht nur um ein sequentielles File geht sondern mehrere Files gleichzeitig bearbeitet werden. Dabei bricht die Performance bei Platten schnell ein, man braucht als Ausgleich ein sehr schnelles Raid und viel RAM als Cache oder eben SSD Platten, wobei letztere schnell ins Geld gehen. Normalerweise würde ich ein Multi Raid-10 mit möglichst vielen Mirrors nehmen.

Als Anregung für Hardware z.B. etwas von SuperMicro mit der Option für wenigstens 8 Platten und 16-32 GB RAM, CPU ist nicht ganz so kritisch, z.B. http://www.napp-it.org/doc/downloads/napp-it_build_examples.pdf

siehe auch http://www.hardwareluxx.de/community/f101/nas-server-hardwareguide-april-2016-a-1114030.html und speziell zu ZFS
https://www.servethehome.com/buyers-guides/

Als OS würde ich was mit ZFS empfehlen, entweder auf Basis von BSD oder Solarish wobei letzteres meine Präferenz ist z.B. http://napp-it.org/doc/downloads/performance_smb2.pdf

10G Direktverbindung ist unkritisch.

 

[Tigermoeter]

Hi gea,

danke für den Input, laut den Dokumenten war ich mit dem Gehäuse schonmal auf dem richtigen Weg. Das Problem ist wirklich, dass ich bei 4k vielen und schnellen Speicher brauche, was schwierig ist. Ich werde die Dokumente mal in Ruhe durchlesen und dann nochmal Rückfragen stellen. Was ich verstanden habe ist, dass gerade bei normalen HDDs viel RAM als Cache benötigt wird, bei SSDs nicht unbedingt.

Ich dachte mir, dass ein SSD Raid nur in einer solchen größe dimensioniert wird, dass nur ein/zwei 4k Projekte parallel drauf passen. Alles was nicht gerade nicht bearbeitet wird, muss auf langsameren Speicher. Ich muss nur schauen wie praxisnah das ist.

Kannst du mir eine Orientierung beim CPU geben? Ich kann so gar nicht einschätzen, wie viel CPU Power ich brauche. Werde ich mit den Sockel 1151 Board und i3 glücklich? Der preisliche Abstand zu gebrauchter Serverhardware, welche teilweise recht günstig zu haben ist, ist dann recht gering.

 

[gea]

Ein paar Prinzipien

Mehrere hundert Mbytes/s ist immer noch Highend.
Also nicht zu klein kaufen. Hardware sollte halbwegs aktuell und schnell sein.

CPU Taktfrequenz ist wichtiger als Anzahl Cores

RAM ist sehr viel schneller als SSD und die sind sehr viel schneller als Platten.
Viel RAM als Lesecache ist daher immer wichtig

Viele Platten/vdevs ermöglichen schnelle Pools aus Platten.
Highend ist NVMe.

Moderne Kompressporen wie LZ4 sind sehr effektiv.
Ich würde bei 10G bei einer kleineren CPU darauf verzichten.