Dateitransfer beschleunigen - viele kleine, einzelne Files

[andieymi]

Ich verzweifle etwas an dem Problem, dass die Kopiergeschwindigkeit von vielen Einzelfiles erheblich länger dauert, als der Transfer großer Dateien.
Es geht hier nicht primär um HDs, aber da es um die Theorie von Fileformaten und Kopiergeschwindigkeiten geht, denke ich, ist das Thema hier ganz gut aufgehoben.

Hintergrund: Meine digitale Filmkamera nimmt RAW-Video als Cinema DNG Einzelfiles auf. D.h. statt eines fertig codierten Clips bekomme ich in Ordnern abgelegt RAW-"Fotos" mit je 1-2MB pro Frame. 64GB SD Karten reichen für 15-20min Aufnahmezeit und ich bin im Moment darauf angewiesen, die Karten am Set zu entleeren und wieder zu verwenden, nachdem ein Backup am Laptop gemacht wurde. (Klar, 10 SD-Karten zu je 60€ das Stück würden meine Probleme lösen, aber vielleicht gibt es eine vernünftige Optimierungsmöglichkeit, um mit 3 Karten fahren zu können...)

Paradoxerweise gibt es nur ein Fabrikat SD-Karten, das die Kamerafirmware ohne Frames zu "verlieren" akzeptiert - SanDisk SDXC 95MB/s - mit ohnehin sehr hoher Lese- und Schreibgeschwindigkeit. Beim Kopiervorgang der 64GB von der Karte jedoch gurkt die Geschwindigkeit mit einigen Peaks bei 18-25 MB/s um. Formatiert werden muss die Karte in exFAT (momentan) oder HFS+, das erfordert die Kamera.

SD-Karte: SanDisk SDXC 95MB/s 64GB
Laptop: Lenovo U410
USB3-Cardreader: Transcend RDF5 (hier im Benchmark sehr gut abgeschnitten, den internen verwende ich ohnehin nie, der ist scheinbar nur mit USB2.0 angebunden)


Gibt es irgendeine Konfigurationsmöglichkeit, um zumindest 50% des Kartenspeeds nutzen zu können?

 

[biaaas]

Da du auf das Speichermedium festgelegt bist, ist da nicht viel zu machen.
Welches Betriebssystem nutzt du?

 

[Digi-Quick]

welche Kamera ist das??
das erinnert irgendwie an MJPEG

Kann die Cam evtl auch MXF-Container?

 

[bst92]

Also spontan würde mir da einfallen, doch einfach ein Image der Karte zu ziehen als Backup.

 

[Andi 669]

sicher das der Cardreader mit USB 3.0 läuft ?
weil 18-25MB/s klingt mehr nach USB 2.0,

1-2MB pro Datei ist auch nicht so klein das das so stakt einbrechen sollte,

 

[andieymi]

Danke für die vielen Ansätze!

In dem Fall bin ich leider auf das Speichermedium festgelegt, die einzige Option sind die 280MB/s von SanDisk zu noch viel horrenderen Preisen.
Ich nutze Windows 8.1, alle Updates.

Die Kamera ist die Blackmagic Pocket Cinema Camera, ProRes HQ gäbe es schon als alternatives Aufnahmeforamt, aber die jüngsten Projekte bieten durchaus einige Vorteile wenn man CinemaDNGs hat und im Endeffekt ist das auch DAS Argument für die Kamera. Der Flaschenhals scheint ja auch nicht die Kamera zu sein (da schreibt sie ja 24-30p, d.h. 50-60MB/s) sondern das Übertragen auf den PC.

Das ziehen eines Image brächte welchen Vorteil?

Ich gehe davon aus, mit einer externen USB3.0 HD komm ich auf 70-90MB auf dem USB-Port. Der USB-Kartenleser ist auch USB3.0.

 

[fsironman]

Teste mal den umgekehrten Weg eine große Datei draufkopieren und dann wieder runterkopieren wie sich dann die Geschwindigkeit verhält. 1-2 MB große dateien sind jetzt nicht gerade in einem Bereich wo man sagen könnte ja das wird dadurch langsamer.

 

[Andi 669]

Lass dir mal im Gerätemanager "Geräte nach Verbindung" anzeigen u. schaue ob der auch wirklich am USB 3.0 hängt

 

[Madnex]

Das ziehen eines Image brächte welchen Vorteil?

Dadurch wird die SD-Karte "am Stück" ausgelesen und nicht jede einzelne Datei für sich. Mit anderen Worten. Die SD-Karte wird dadurch rein sequenziell ausgelesen. Das wäre so, als würdest du eine riesige Datei kopieren.

Das Image erstellen kannst du unter Windows beispielsweise mit dem USB-Image-Tool. Mit beispielsweise IMDisk oder OSFMount kannst du dieses Image mounten und so direkt auf die Dateien zugreifen.

 

[Digi-Quick]

13 Blendenstufen >> Lecker!
Da ist DNG Raw ja schon fast Pflicht, zumal ProRes422 HQ mit 27MB/s nicht gerade den Spitzenwert in Sachen Datenrate markiert.

Ein wenig unverständlich, daß das DNG Format nicht Kameraseitig in eine MXF Datei eingepackt wird , habe dazu jedenfalls nix in der BDA gefunden.
bei 1.2 MB / Frame hat der Chio ja man gerade mit der Übertragung angefangen und ist schon wieder fertig, bevor überhaupt Geschwindigkeit entsteht.
Ich glaube kaum, daß du mit den "Superschnellen" 280MB/s grossartig andere Werte bei der Übertragung dieser relativ kleinen Dateien bekommen wirst.
Die Idee mit dem Image Ziehen wäre durchaus mal einen Test Wert.
Es wird wahrscheinlich die Übertragung von der Karte Runter Beschleunigen und würde den "Langsamen Part" auf das spätere "Auspacken" des Images verlagern.

 

[SlotkuehlerXXL]

Kopieren über den Windows Explorer ist von Haus aus langsam. Da wird jede Datei einzeln nach einander eingelesen, in den Cache geschoben und dann von dort zum Ziel.
Ich werfe mal die Programme
Xcopy
Robocopy
TeraCopy
RichCopy
....
in den Raum.
Alternativen gibts genug die können am Windows Cache vorbei arbeiten und auch teilweise mit bis zu 128 Threads gleichzeitig Dateien kopieren etc.

 

[andieymi]

Lass dir mal im Gerätemanager "Geräte nach Verbindung" anzeigen u. schaue ob der auch wirklich am USB 3.0 hängt

Tut es, "leider" ist das Problem so nicht zu lösen...

13 Blendenstufen >> Lecker!
Da ist DNG Raw ja schon fast Pflicht, zumal ProRes422 HQ mit 27MB/s nicht gerade den Spitzenwert in Sachen Datenrate markiert.

Die Idee mit dem Image Ziehen wäre durchaus mal einen Test Wert.
Es wird wahrscheinlich die Übertragung von der Karte Runter Beschleunigen und würde den "Langsamen Part" auf das spätere "Auspacken" des Images verlagern.

Es gäbe ja auch ProRes HQ, was insofern von der Datenrate ganz ok ist. Aber gerade für intensivere Post sind die Vorteile des CDNG-Vormats so schwerwiegend, dass es da keine Alternative gibt.

Das "Verlagern" würde im Prinzip schon EXTREM viel bringen. Stress habe ich vor allem am Set mit dem Kopieren, ob das entpacken des Image dann am PC daheim eine Viertelstunde länger oder nicht dauert (vgl. mit kopieren) ist dann eigentlich egal...

Kopieren über den Windows Explorer ist von Haus aus langsam. Da wird jede Datei einzeln nach einander eingelesen, in den Cache geschoben und dann von dort zum Ziel.
Ich werfe mal die Programme
Xcopy
Robocopy
TeraCopy
RichCopy
....
in den Raum.
Alternativen gibts genug die können am Windows Cache vorbei arbeiten und auch teilweise mit bis zu 128 Threads gleichzeitig Dateien kopieren etc.

Muss ich auch mal probieren!
Gerade mit den vielen kleinen Einzelfiles wäre so etwas wie eine Checksummenprüfung auch praktisch, falls die das können...