Fileserver für Videoschnitt: Was ist sinnvoll?

[iYassin]

Hallo zusammen,

ich bin bei einer Bekannten von mir, die als Videojournalistin tätig ist, für die IT-Sachen zuständig. Nun steht einmal wieder die Speicherfrage zur Debatte, wo ich Euch um Hilfe bitte.

Sie arbeitet aktuell mit einem Mid-2011er iMac 27" (i5, 16GB RAM, 2TB HDD) mit Final Cut Pro X. Da die interne HDD mit den 1080p50-AVCHD-Dateien in Kürze voll wäre, sind per USB insgesamt acht 2TB-HDDs angebunden, welche zu vier 2TB-Software-RAID 1 zusammengefasst wurden. Dieses System hat sich jedoch relativ schnell als unbrauchbar erwiesen, da
a) USB 2.0 natürlich viel zu langsam ist, um direkt auf den HDDs zu arbeiten - daher werden diese nur als Lagerplatz für nicht benötigte Daten genutzt und bei Bedarf die Daten auf die iMac-HDD kopiert. Beim parallelen Arbeiten an mehreren Projekten ist die interne HDD dann aber trotzdem ständig voll.
b) das OS X-Software-RAID nicht allzu zuverlässig läuft, sodass im Prinzip alle paar Tage ein RAID offline geht, wohl da hier und da mal eine Platte zu spät erkannt wird, und das Volume dann über mehrere Tage wiederhergestellt wird.

Aus diesem Grund wurde dann vor einiger Zeit ein QNAP TS-421 NAS angeschafft, bestückt mit vier 2TB-Platten, die zu einem RAID 5 (mit folglich 6 TB Größe) zusammengefasst sind. Das NAS ist per Gbit-LAN an den iMac angebunden. Da diese Lösung jetzt auch schnell genug ist, um darauf zu arbeiten, werden die einzelnen Videoprojekte nun in Sparsebundles darauf abgelegt, die einfach per Bedarf eingebunden werden. (das wäre mittlerweile mit dem Mediathek-System von FCP allerdings überflüssig, wie mir gerade auffiel, da man damit auch einzelne Projekte je nach Bedarf öffnen kann).
Aber auch hiermit gibt es leider zwei Probleme:
a) Die Sparsebundles gehen sehr selten irreparabel kaputt, dann ist das Projekt natürlich weg, da RAID 5 ja kein Backup ersetzt, sondern nur Ausfallsicherheit bietet.
b) Um die Speicherkapazität zu erhöhen oder um Projekte wortwörtlich "in den Schrank zu legen", müssen alle vier Platten getauscht werden.

Daher sind wir nun am Überlegen, was für eine langfristige Lösung sinnvoll ist. Konkret schwebt mir folgendes vor:
- Ein Gerät mit Platz für mindestens vier, gerne mehr HDDs
- Effekte Lese- und Schreibrate von ca. 100 MB/s, um direkt auf dem Gerät arbeiten zu können
- Ausfallsicherheit für mindestens eine der Festplatten
- Die Möglichkeit, einen Teil der Festplatten entnehmen, in den Schrank legen und durch neue ersetzen zu können (das bedeutet dann wohl mindestens zwei 2-Platten-RAID 1 oder zwei 3-Platten-RAID 5?). Optimal wäre es, wenn man die Platten, sollte man die Daten mal wieder zum einmaligen Zugriff benötigen, einfach einzeln per USB-Dock anschließen und die benötigten Dateien herunterziehen könnte. Das ist aber keine Voraussetzung, wenn der Aufwand dafür extrem hoch ist, kann ich hierzu auch gerne wieder in das Gerät einbauen und temporär einen anderen "Platten-Pool" entnehmen.
- Optional: Backupmöglichkeit auf extern angeschlossene HDDs, um regelmäßig Backups ziehen zu können.

Lässt sich das irgendwie mit der vorhandenen Hardware realisieren? Oder würdet Ihr hierfür einen eigenen Server (in was für einer Konfiguration?) aufbauen?
Gerade letztere Möglichkeit habe ich mir schon angeschaut, aber Fertigsysteme wie der Dell T20 (den ich selbst nutze und mit dem ich sehr zufrieden bin) sind wohl fast etwas klein und gerade der T20 hat "nur" Software-RAID - reicht das für mein Vorhaben oder sollte schon Hardware-RAID drin sein?

Vielen Dank schonmal für Eure Beratung!

Viele Grüße

 

[b99]

Keine Ahnung wie leistungsfähig Appletalk ist, ob man da stabil 100 MB/s rüber bekommt. Aber Schneiden auf einem NAS? kann ich mir nicht vorstellen. Immerhin ist Gigabit-LAN bei theoretisch 125MB/s schluss praktisch sind es meist zwischen 80 und 110 MB/s aber nicht stabil
Da hilft eigentlich nur eins: Die Platte im Mac aufräumen und intern weiter arbeiten

 

[BeamWalker]

Mehr Speicherplatz lässt sich zum einen mit dem Einsatz größerer Festplatten erreichen. Statt 2TB zum Beispiel 4TB oder gar 6TB Platten. Apple selber sieht für genau diesen Anwendungsbereich ja die Verbindung via Thunderbolt vor. Da könnte man mit einem Thunder 2 von Akitio ein schnelles Festplattenarray anbinden. Für die Langzeitspeicherung von enormen Datenmengen ist aber auch das suboptimal, da Speicher auch hier begrenzt ist. Je nach Projektgröße gibt es natürlich auch die Möglichkeit Dual Layer BluRay zur Lagerung zu nutzen.

 

[AG1M]

Ich glaube durch das Protokoll ist die Latenz zu hoch, selbst wenn 100 MB/s stetig anliegen. Wenn ich die Latenz etwas drücken möchte nutze ich immer iSCSI (kann ja quasi jedes NAS), wie performant es dann unter deiner Konstellation ist, kann ich nicht sagen.

Warum kein USB 3.0 HDD RAID Gehäuse (gibts ja quasi in allen möglichen Ausführungen) und Backups auf das NAS?

 

[b99]

@AG1M: Der Mac hat noch kein USB 3.0

 

[mathiascgn]

Naja, zum schneiden sollte man sich die Daten vielleicht schon auf den Rechner vorher kopieren.
Man kann auch die halbwegs aktuellen Sachen auf dem Server lagern und wenn der voll läuft, packt man das älteste auf eine Archiv-Platte (über USB3) und lagert die im Schrank. Wie viel GB kommen denn da im Jahr zusammen und wie oft muss sie an die alten Daten ran? Vielleicht reicht ja schon ein Raid 10 mit 4x6tb für zwei Jahre. In dem Fall wäre dann ein Dell T20 oder so wohl die beste Lösung.

 

[xymos]

Hi,

Ich würde einfach auf iscsi setzen, fertig. Läuft mit FCPX bestens.
Das kann das QNAP und ist einfach umzusetzen.

-xymos.

 

[Enz0]

Drobo 5D, Drobo 5D Review, Drobo Storage Products, Drobo Inc. - Hier kannst Du aber keine Platte einfach entnehmen, wie aber auch bei jedem NAS nicht. Kommt auf den geforderten Durchsatz an - kommt ihr mit GBit zurecht, genügt sicher ein NAS, muss es mehr Tempo machen bleibt Dir bei dem alten Mac nur Thunderbolt.

iSCSI ist mit MacOS leider ja immer noch so lala, ein grundsätzliches Problem bei iSCSI ist die Datensicherung aus dem Target heraus, da limitiert dann wieder der Mac mit seinem USB 2 Anschluss. 2 NAS zu bündeln ist gangbar, erhöht hier aber auch nur die Verfügbarkeit. Bei dem Drobo könntest Du dahinter eine Thunderbolt Platte hängen und die zu isolierenden Dateien darauf kopieren. Ob es funktionale Thunderbolt Gehäuse gibt die einen bequemen Umbau der Festplatte ermöglichen weiß ich leider nicht.

 

[mhrpcler]

Die Frage ist wie hoch die Anforderungen in Punkto Datendurchsatz und Backup tatsächlich sind.
Ich kenne mich weder mit Apple-Geräte, noch direkt mit Drobo-Produkten aus.

Ich würde, für die Arbeit an Daten, einen Blick auf die Drobo 5D werden. Anschließbar via USB 3.0 oder Thunderbolt, mit der Möglichkeit zusätzlich zu den HDDs eine mSATA-SSD als Cache einzubauen.

Die Frage der Sicherung würde ich davon abhängig machen was einen der Datenverlust in schlimmen Fällen (Wasserschaden, Brand, Überspannung, Einbruch) kosten kann.
Gehen nur ein paar Stunden Arbeit verloren?
Kostet der Datenverlust am Ende Geld?
Verliert man ggf. Kunden?

 

[gea]

Es ist doch nur ein Mac und ein User. Als Option gibt es also Local Storage (USB , FW oder TB)
Das ist ab USB2 ok (Performance wie eine langsame Festplatte).
Als Backup kann man da TimeMachine einsetzen (Copy on Snapshot)- Naja, dauert halt.
Zuverlässigkeit von HFS+: naja

Die Alternative ist Netzwerkstorage (AFP, iSCSI, CIFS, NFS)
Neben dem Vorteil des Mehrbenutzerzugriffs gibts mehr Performance sofern das Storage RAM-caching nutzt. Mehr Performance gibt es auch durch Raid. Professionelles Videostorage ist daher immer Raid (Raid 10 oder Raid 50/60/multiple Z1/Z2/Z3) Wenn das Storage auf ZFS aufbaut gibts dazu sicheres Storage mit Prüfsummen, kein korruptes Dateisystem z.B. nach Stromausfall und Versionierung (Snaps) ohne den Zeitverzug wie bei TimeMachine (ZFS Snapshots gehen sofort ohne Kopieren)

Ich würde zwei Storageserver nehmen, im billigsten Fall zwei HP Microserver mit 16 und 8 GB 8 (max 18TB nutzbar mit 4 x 6TB). Das kleinere System als Backup. Den Zugriff vom Mac auf das Storage würde ich über AFP oder NFS machen. SMB ist zwar komfortabler aber langsamer (nur am Mac - leider).

Alternativ ein 16-24 Bay 19" case (Norco oder SuperMicro) mit einem SuperMicro Serverboard und LSI HBA Controller. Ist aber eventuell oversized. Mache ich für mein Videostorage bei mehreren Usern.

Als System dazu eine einfache Web-appliance, entweder FreNAS/NAS4Free oder mein napp-it mit OmniOS/Solaris. Der zweite Server steht dann im Keller und macht Backups mit ZFS Replikation (geht auch mit offenen Dateien, sichert nur geänderte Datenblocks und geht bis 1 Minute Delay auch bei Multi-Terabyte Storage und großen Dateien)

 

[xymos]

Das Problem bei Final Cut Pro X ist einfach der, dass es nicht auf SMB/ AFP / NFS Freigaben schreiben kann.
Die Möglichkeit eines Images, welches die Größe variabel anpasst ( SparseImage ) ist eine Möglichkeit, wie iYassin im Thread schon erwähnt hat.
Kackt das IMAGE ab, stirbt auch der Zugriff auf die Projekte. Das wegsichern eines solchen Images geht sicherlich, ist aber ab einer gewissen Größenordnung nicht mehr tragbar.
( Faktor Zeit und Komfort )

Ich selbst setzte auf iSCSi und fahre damit bestens !
Die Targets binde ins System ein, und formatiere sie als HFS+ .
Die Sicherung des Dateisystems übernimmt bei mir die Möglichkeit meines Systems Snapshots anlegen zu lassen.
Zusätzliche Sicherung erfolgt via Replikation auf ein zweites System.

Das sollte bei dir gehen:
QNAP Systems Inc. - Turbo NAS-Firmware 3.5


Alternativ, wenngleich nicht günstig:

Thunderbolt

Somit hättest Du dann auch USB3.0 ( Gibt es sicherlich auch in der Bucht )

_xymos.