Verschieben von Dateien, Ordnern auf der selben Platte dauert sehr lange

[Pixell]

Vielen Dank, Holt,

glaube, ich verstehe nur einen geringen Teil, aber es scheint sich alles einzig auf die SSD zu beziehen. Was heißt nun das Ausgeführte im Hinblick auf die SSD (oder vielleicht auch die HDD)? Daß sie so belassen werden sollte, wie sie ist, oder daß etwas zur Optimierung / Verbesserung getan werden sollte?

Vielen Dank nochmals

- - - Updated - - -

Bei dem Füllstand und der Menge an Dateien und dann noch am USB Anschluss beschleunigt nix mehr. Da ist ein 5400er/rpm Platte drin. Nichtmal wenn es eine Raptorplatte von WD wäre mit 10000 rpm ist hier Performencemäßig was zu machen. Dazu gibt es ja SSD´s nur sind die in dem Bereich von 5TB in einer anderen Preisliga (noch). 1TB ist ja schon bezahlbar mit 320 €.

Verstehe, die Platte wird also nie mehr schneller.

Vielen Dank

 

[Seelbreaker]

Das Verschieben von Dateien, Ordnern auf der selben Platte (zum Beispiel auf einer eternen USB 3-Platte) dauert mitunter extrem lange, obwohl ja Elemente nicht körperlich verschoben werden; bei 1000 Dateien vielleicht 1-10 Minuten. Obwohl die Elemente bzw. deren Einträge schon verschoben zu sein scheinen, bleibt die Transfer-Meldung noch lange danach bestehen:

Warum könnte das so sein? Läßt sich das Verschieben beschleunigen?

Achtung, Wall of Text und ich kann das gerade nicht ganz leserfreundlich formatieren ^^

Kopieren und danach löschen
Es liegt zum größten Teil an der Physik von Festplatten.

Beim verschieben muss deine Platte einmal die Source Daten lesen, schreiben und danach die Source-Daten wiederum "löschen" (und noch weitere Zwischenschritte wie Bestätigungen ob die Datei sauber geschrieben wurde oder nicht etc.).
Deine Platte dreht "nur" mit 5400 Umdrehungen und nicht mit 5700 was auch Performance kostet.
Wieviele Spindeln (also die rotierenden Platten in der HDD) da drin sind finde ich leider nicht heraus, aber zumindest mehr als eine sollte drin sein - hier könnte es aus Geschwindigkeitssicht vorteilhaft sein die Platte so zu partitionieren dass zwei Partitionen getrennt auf den Spindeln liegen wodurch der Lesekopf unterschiedlich arbeiten kann

Zum Beispiel Partition 1 auf Spindeln 1-2 und Partition 2 auf Spindeln 3-4 - dazu muss man aber wissen wo bei der einen Spindel die Sektoren aufhören und Windows kann es nicht mit Bordmitteln so genau machen.

Früher hat man beispielsweise explizit den MBR und die OS-Partition am Anfang geschrieben, dadurch das die Spindeln innen einen geringeren Durchmesser haben konnten die Daten von dem Bereich schneller gelesen werden - je weiter außen deine Daten liegen desto länger braucht man für die Umdrehung.

Läuft jetzt beispielsweise der Verschiebevorgang nur auf einer Spindel ab, muss jeder Schreib/Lesevorgang eine Umdrehung abwarten was entsprechend Zeit kostet (Du hast für jede Spindel mindestens einen Lese-/Schreibkopf).

Via USB lässt sich auch nicht NCQ aktivieren was eine Priorisierung der E/As ermöglicht (Schreibe erstmal und lösche danach)

Ahjo die Daten/Anforderungen müssen auch erstmal von der HDD zur CPU und dann zurück zur HDD über das selbe Interface (hier USB) zurück - wenn der USB-Bus voll ist, dann nimmt die Geschwindigkeit auch ab und es geht hier nicht um Geschwindigkeit sondern die Anzahl gleichzeitiger Operationen.

Die Platte übernimmt nicht den Kopierjob. Wenn du auf eine zweite HDD verschieben würdest ginge der Vorgang auch schneller.
Und eine HDD die nahezu randvoll ist sorgt auch dafür, dass das verschieben länger braucht da die Sektoren nicht nur als "zu löschen" markiert werden sonder überschrieben werden müssen.

Ergo: für Performance 7200er Platten mit großem Cache und vielen Spindeln kaufen und auf den Füllstand achten oder auf eine SSD setzen (und auch hier auf den Füllstand achten).

Viele Grüße...

 

[Pinnback]

Kurze Ergänzung noch zu Seelbreaker´s Aussage. Ich hab WD Black und RE am laufen also alles die Performance Platten von WD mit 7200er/rpm. Selbst die im exterenen Gehäuse am USB 3.0 Anschluss mit 4 TB und 3,7 TB Füllstand und auch 200.000 Dateien haben den selben Effekt wie bei Pixell.

 

[Pixell]

In Ordnung, vielen Dank Seelbreaker.

Kurze Ergänzung noch zu Seelbreaker´s Aussage. Ich hab WD Black und RE am laufen also alles die Performance Platten von WD mit 7200er/rpm. Selbst die im exterenen Gehäuse am USB 3.0 Anschluss mit 4 TB und 3,7 TB Füllstand und auch 200.000 Dateien haben den selben Effekt wie bei Pixell.

Wie hoch sind die Geschwindigkeitseinbußen, also um wieviel langsamer sind Deine Platten geworden im Vergleich zu einem früheren Zustand / Verhalten / zur Aunfangsnutzung? Um wieviel schneller sollen diese Platten sein als meine?

 

[Pinnback]

Der richtige Leistungseinbrauch bei mir bei ca 2,7 TB~80.000 Dateien von 4 TB. Ab da wirds dann merklich langsamer. Die Kopierrate fällt dann unter 60/70 Mb/s von anfangs 90 Mb/s. bin nun bei ca. max 40/50 MB Schreibrate bei 3,7t von 4 TB. Wenn es viele kleine Dateien werden fällt es auch unter 20 MB/ sec und fängt an zu hängen.

 

[mika2004]

Wenn es viele kleine Dateien werden fällt es auch unter 20 MB/ sec und fängt an zu hängen.

Was allerdings völlig normal ist.

 

[Pinnback]

Genau. Vollkommen normal bei der altherkömmlichen Festplattentechnik mit Nutzung an USB-Anschlüssen. Das war zu Zeiten von USB1 und USB2 noch ein zacken Schlechter.

 

[Pixell]

Der richtige Leistungseinbrauch bei mir bei ca 2,7 TB~80.000 Dateien von 4 TB. Ab da wirds dann merklich langsamer. Die Kopierrate fällt dann unter 60/70 Mb/s von anfangs 90 Mb/s.

Ist ja komisch, bei meinen (Billig-)Platten, zum Beispiel besagte WD-Platte (oder MyBook oder Seagate Expansion, 5TB), habe ich gegenwärtig gelegentlich eine Datenübertragung von 50 bis 90 MB/s, vielleicht noch mehr, habe ich so genau nicht beobachtet. Anfangs (vielleicht auch immer noch) waren es mitunter, falls ich mich recht erinnerne jedenfalls, über 100 MB/s, glaube, sogar bis 130 MB/s. Wie erklärt sich dieser Unterschied zu Deinen Platten?

Wenn es viele kleine Dateien werden fällt es auch unter 20 MB/ sec und fängt an zu hängen.

Dann sind es bei mir wohl unter 1 MB/s.

 

[Pinnback]

Gründe Können sein die Messmethode, ich nutze den Totalcommander, dann auch die USB 3 Anschlüsse des Festplattenkasten. Ich hab die Platte eingebaut da war vorher ne WD green drin die ist nach 3 jahren kaputt gegangen und das Gehäuse ist schon Paar Jahre alt und stammt aus Zeiten von USB3 Anbeginn. Die gleichen Festplatten intern am SATA haben eine bessere Performance.

/edit. vergessen bei mir sind alle Datenträger AES/Serpernt vollvercryptet mit Veracrypt.

 

[Pixell]

/edit. vergessen bei mir sind alle Datenträger AES/Serpernt vollvercryptet mit Veracrypt.

Wie stark ändert das die Geschwindigkeit?

 

[Digi-Quick]

Ups, habe MB stat GB gelesen, sind also ca. 4% frei.
Trotzdem gilt: Je voller ein Dateisystem desto aufwendiger die Verwaltung des Selben.

- - - Updated - - -

@seelbreaker:
Deine Erklärung trifft nur zu, wennm man Dateien zwichen 2 Dateisystemen / Partitionen verschiebt. Innerhalb eines Dateisystems werden nur die Verwaltungsinformationen geändert, die Dateien selber bleiben genau da liegen wo sie sind.
Bei NTFS wird das Dateisystem in der $MFT verwaltet - und die Fragmentiert Gnadenlos je voller das Dateisystem wird.
Die MFT wird beim Anlegen der Partition in einer Größe von ca. 12,5 der Partiionsgöße als "Superversteckte" Datei erstellt und wächst bei Bedarf an, wird aber nicht wieder kleiner. Die MFT wird auch von den meisten Defragmentierern nicht angefaßt, wenn da auch nur ansatzweise ein Fehler passiert, ist das Dateisystem über den Jordan.
In der MFT werden nicht nur die Verwaltungsinformationen des Dateisystems gespeichert, sondern standardmäßig auch kleine Dateien. Größere Datein werden erst dann in der MFT gespeichert, wenn kein freier Platz mehr zur Verfügung steht.

 

[Pinnback]

Das wird jetzt komplex. Da spielen jetzt mehrer Faktoren rein. Ich nutze Verycrypt in der aktuellen Version 1.21. bin vor einigen Jahren von Truecrypt auf Veracyrpt umgestiegen weil es einfach nichtmehr gewartet wird und vermutlich nicht mehr aktuellen Bruteforceangriffen stand halten kann mit sein 1000 Iteration auf der Systempartition. Alle Lese und Schreibvorgänge kosten viel Perfomance weil jede Bewegung de/encrypten werden muss. Da spielen aber mehrer Faktoren eine Rolle. Ich habe bisher mit ein CoreI72700K seit 2012 gearbeitet der hat AES IN -was eine Prozosserbeschleunignung für ab glaube Core I5 Prozessoren ist. Der hatte eine therotische AES/Serpent decrypt Leistung von 700MB/s (Veracrypt 1.21 aktuell). D.h also ich kann ohne Probleme die voll Leistung einer konventionellen Festplatte ohne Einbussen nutzen. Praktisch sah das so aus das ich mit max 110MB/sec intern kopieren könnte bei eben halt ca 30-40 % höher Prozessorlast beim reinen Vollastkopieren intern. Prozessoren die AES nicht unterstützen wie Z.B. ein Core i3 4570 hat da eine Prozessorlast von schon guten 80-90% beim reinen Kopiern von max 80-90 MB intern. Mehr schaft er nicht selbst mit 2 x 1TB SSD´s. (mein HTPC). Aktuell habe ich ein 1800X und der hat eine theoretische AES/Serpent decrypt Leistung von 2,1 GBit/s. Un da muss ich sagen da merkst du keine Vercryptung mehr weder die auf der SSD noch auf Platterfestplatten. Ich kopiere, rippe Musik (alles verschieden Festplatten) und zocke noch Fallout 3 gleichzeit ohne das was hängt oder ruckelt. Mit mein alten I2700K war bei Kopieren und rippen gleichzeit Schluss. Es ist letzten Endes ein Frage des Gesamtpaketes bei Vollvercrypten. Wenn mann sich mit dem Gedanken befasst Daten zu verschlüsseln würde ich mit Containern anfangen. Also z.B. 1 TB von 4 TB zu verschlüsslen und wichtge Daten halt da drin zu hinterlegen. Komplettverschlüsslung ist was für die Aluhutfraktion.

 

[mika2004]

Ist ja komisch, bei meinen (Billig-)Platten, zum Beispiel besagte WD-Platte (oder MyBook oder Seagate Expansion, 5TB), habe ich gegenwärtig gelegentlich eine Datenübertragung von 50 bis 90 MB/s, vielleicht noch mehr, habe ich so genau nicht beobachtet. Anfangs (vielleicht auch immer noch) waren es mitunter, falls ich mich recht erinnerne jedenfalls, über 100 MB/s, glaube, sogar bis 130 MB/s. Wie erklärt sich dieser Unterschied zu Deinen Platten?

Dir ist schon klar, das Festplatten mehrere Zonen haben, in denen sich unterschiedliche viele Sektoren pro Spur befinden.
Dadurch sind Festplatten Aussen (viele Sektoren) schneller als Innen. Da sich Aussen die Spur null befindet und die Platte
von da aus vollgeschrieben wird, ist sie zu Anfang schnell und wird später immer langsamer.

 

[Pixell]

Das wird jetzt komplex. Da spielen jetzt mehrer Faktoren rein. Ich nutze Verycrypt in der aktuellen Version 1.21. bin vor einigen Jahren von Truecrypt auf Veracyrpt umgestiegen weil es einfach nichtmehr gewartet wird und vermutlich nicht mehr aktuellen Bruteforceangriffen stand halten kann mit sein 1000 Iteration auf der Systempartition. Alle Lese und Schreibvorgänge kosten viel Perfomance weil jede Bewegung de/encrypten werden muss. Da spielen aber mehrer Faktoren eine Rolle. Ich habe bisher mit ein CoreI72700K seit 2012 gearbeitet der hat AES IN -was eine Prozosserbeschleunignung für ab glaube Core I5 Prozessoren ist. Der hatte eine therotische AES/Serpent decrypt Leistung von 700MB/s (Veracrypt 1.21 aktuell). D.h also ich kann ohne Probleme die voll Leistung einer konventionellen Festplatte ohne Einbussen nutzen. Praktisch sah das so aus das ich mit max 110MB/sec intern kopieren könnte bei eben halt ca 30-40 % höher Prozessorlast beim reinen Vollastkopieren intern. Prozessoren die AES nicht unterstützen wie Z.B. ein Core i3 4570 hat da eine Prozessorlast von schon guten 80-90% beim reinen Kopiern von max 80-90 MB intern. Mehr schaft er nicht selbst mit 2 x 1TB SSD´s. (mein HTPC). Aktuell habe ich ein 1800X und der hat eine theoretische AES/Serpent decrypt Leistung von 2,1 GBit/s. Un da muss ich sagen da merkst du keine Vercryptung mehr weder die auf der SSD noch auf Platterfestplatten. Ich kopiere, rippe Musik (alles verschieden Festplatten) und zocke noch Fallout 3 gleichzeit ohne das was hängt oder ruckelt. Mit mein alten I2700K war bei Kopieren und rippen gleichzeit Schluss. Es ist letzten Endes ein Frage des Gesamtpaketes bei Vollvercrypten. Wenn mann sich mit dem Gedanken befasst Daten zu verschlüsseln würde ich mit Containern anfangen. Also z.B. 1 TB von 4 TB zu verschlüsslen und wichtge Daten halt da drin zu hinterlegen. Komplettverschlüsslung ist was für die Aluhutfraktion.

Aluhutfraktion? Aluhut? Zur Abschirmung außerirdischer Strahlung?
Falls ich also recht verstanden hätte, was ich bezweifeln mag, muß also eine Vollverschlüsselung im Vergleich zu einem völlig unverschlüsselten Betrieb bei ansonsten identisch bleibenden Bedingungen die Geschwindigkeit des Transferierens nicht reduzieren, dafür wird aber mehr Leistung des Computers gebraucht.

Dir ist schon klar, das Festplatten mehrere Zonen haben, in denen sich unterschiedliche viele Sektoren pro Spur befinden.

Nein, ist mir leider wie fast alles extrem unklar, jetzt, da Du es sagst, wird mir das viel klarer.

Dadurch sind Festplatten Aussen (viele Sektoren) schneller als Innen. Da sich Aussen die Spur null befindet und die Platte
von da aus vollgeschrieben wird, ist sie zu Anfang schnell und wird später immer langsamer.

Kann man das Wissen um diesem Umstand nutzen um es positiv auf die Geschwindigkeit auswirken zu lassen?

 

[Digi-Quick]

Kann man das Wissen um diesem Umstand nutzen um es positiv auf die Geschwindigkeit auswirken zu lassen?

Ja, habe ich früher regelmässig gemacht..... - zu Zeiten vom 386 und 486 er, wo HDDs etwa um den Faktor 100 langsamer waren - Norton Speeddisk war genial.
- Windows Auslagerungsdatei an den Anfang verschoben (war sehr viel Aufwand)
- wichtige Datentypen nach vorne (exe, DLL, Sys etc

 

[Pixell]

Ja, habe ich früher regelmässig gemacht..... - zu Zeiten vom 386 und 486 er, wo HDDs etwa um den Faktor 100 langsamer waren

Heutzutage ist das offenbar nicht mehr sinnvoll?

- Windows Auslagerungsdatei an den Anfang verschoben (war sehr viel Aufwand)
- wichtige Datentypen nach vorne (exe, DLL, Sys etc

Ist also nicht mit ein paar Klicks oder so gemacht, nehme ich an. Ein Programm, das das könnte gibt es wohl nicht (mehr).

 

[mika2004]

so langsam komme ich mir getrollt vor

 

[Pinnback]

Ok mal einfach gesagt Verschlüsslung verlangt von gesamten System eine Menge mehr Leistung ab als ohne. Von der Festplatte, vom Prozessor und vom BUS. Vergiss das mit dem Aluhut. In Zeiten wo viele selbestverständlich Whatsupp, Facebook, Apple, Google nutzen ohne mal in die AGB´s zu gucken was die mit den Daten anrichten ist Datensicherheit wohl nicht mehr Relevant für den großteil der Leute. Ich bin wohl eindeutig zu alt.

 

[myBerg]

Kandidaten für das Problem könnten z.B. sein:
- Papierkorb
- SearchIndexer
- Virenscanner
- Andere Anwendungen, die auf Dateisystem-Ereignisse reagieren

Ich würde mal mit dem Process Monitor von Sysinternals schauen.

- ProcMon starten
- Monitor für Registry und Netzwerk abschalten
- Filter Reset
- Exclude-Filter für Path="" und Path begins with "C:" hinzufügen
Jetzt solltest Du nur Ereignisse sehen, die auf den anderen Laufwerken passieren.
- Command-Window öffnen und mit move etwas verschieben. Start und Stop-Zeit merken.
Das sollten circa 18 Events sein.

 

[Pixell]

Habe leider überhaupt keine Ahnung, als daß ich das hinkriegen könnte.

Vielen Dank dennoch

 

[Holt]

Pixell, eine SW Verschlüsselung kostet immer Performance, gerade bei kurzen Zugriffen wie denen auf die Metadaten des Filesystems. Gerade beim Lesen müssen die Daten doch erst gelesen und dann entschlüsselt werden, was bei langen Zugriffen dann auch parallel erfolgen kann, weil die ersten gelesenen Daten schon entschlüsselt werden, während parallel die nächsten Daten gelesen werden, womit der Performanceverlust dann umso geringer wird, je größer die Datei ist die gelesen wird.

 

[Pixell]

Ja, das klingt natürlich verständlich. Fand im Netz unterschiedliche, einander einschränkende / völlig widersprüchliche Äußerungen über den Geschwindigkeitsverlust bei Verschlüsselungen (etwa keine Einbußen vorhanden / wahrnehmbar, Einbußen bis 50 % etc.), so daß ich nicht wüßte, was davon stimmen sollte.