Ubuntu 8.10 langsam bei vielen kleinen Dateien

[MoggeleMuh]

Hab hier ein Problem in Ubuntu 8.10 mit einem Ordner mit mehreren
100000 sehr kleinen Textdateien.
Ich will die in ein Archiv packen, aber irgendwie braucht der alleine
schon einige x 10 Minuten, um eine Dateiliste fürs Packen zu erstellen,
und dann werkelt er stundenlang halbherzig rum und ist hinterher
bei 20% im Fortschrittsbalken... und dabei mach ich mir um die
Festplatte sorgen, die nödelt dabei dauernd.
Ich kann ja verstehen, dass das irgendwie dauert, weil sich die
Dateien vermutlich gut komprimieren lassen, aber so hatte ich
mir meine an und für sich simple Dateioperation nicht vorgestellt.
Wäre fast mal eine Gelegenheit einen Benchmark Ubuntu vs Windows
zu machen, weil ich mit Windows nie solche Probleme hatte...

Hat jemand einen Tip wie ich mein Ubuntu in diesem Fall etwas
performanter machen kann?

 

[-->Andy<--]

Was für ein Dateisystem benutzt du denn?

 

[MoggeleMuh]

Ext3

 

[Sir Diablo]

und dieser ordner liegt auch auf deiner ext3 partition und nicht auf der ntfs (oder gar fat32)

falls die dateien wirklich auf ext3 liegen muss bei dir irgendwo der wurm drin sein - habe dieses problem selbst nämlich nicht (mit ähnlich vielen dateien)

 

[ICHdasICH]

dass ext3 mit vielen kleinen datein nicht wirklich spasz macht, ist ja hinlaenglich bekannt. kommt noch ne schlechte systemperformance (langsame platte) dazu, ist es echt nichtmehr lustig.

mit xfs oder evnt. sogar ext4 sollte das ganze mehr spasz machen. generell braucht tar fuer viele datein natuerlich auch laenger.

wichtig: falls du da irgendwo komische symlinks drin hast... oder das archiv an einem zu archivierenden ort liegt... kannst du dir ne endlosschleife fangen... was noch unlustiger ist...

mfg ich

 

[MoggeleMuh]

Danke für Eure Antworten!

Hab mich geirrt, das langsame System ist ein Ubuntu 8.04 und kein 8.10.
Auf meinem 8.10 System mit ner anderen Festplatte geht's deutlich schneller, obwohl ich da eine USB-Platte benutze und noch dazu eine Verschlüsselung als Bremse dazwischen habe.
Wobei "deutlich schneller" immer noch langsam ist, beim Kopieren liegt die
Datenübertragungsrate im Schnitt unter 1 MB/s, dauert etwa 1h 20 min
Sind etwa 550000 Dateien mit einer Gesamtgröße von etwa 3,5GB,
da zählen wohl nur noch Zugriffszeit und IO-Performance.
Wenn da noch eine ungünstige Fragmentierung und eine langsame Festplatte
dazu kommt, kommt man schnell in einen Bereich, in dem man 630KB/s als
vergleichsweise schnell empfindet... wird wohl langsam Zeit für SSDs...
oder zumindest Ext4.

Windows war aber auch nicht schneller, es war sogar nicht mal in der Lage die Aufgabe bis zum Ende auszuführen, weil es sich irgendwann dran gestört hat,
dass sich zwei Dateinamen nur durch Groß- und Kleinschreibung unterschieden haben...

 

[koschi]

Das entsprechende Dateisystem mit den vielen Dateien mal mit noatime & nodiratime mounten, das mag schon bissl helfen. Ohne diese Optionen wird jeder Lesezugriff auch einen Schreibzugriff (es wird aktualisiert wann die Datei zuletzt gelesen wurde), das bremst natürlich. Mit diesen Optionen wird der letzte Lesezugriff nicht mehr aufgezeichnet, braucht man i.d.R. eh nicht, lediglich mutt (terminal mailclient) ist auf diese Informationen angewiesen, spielt aber ansonsten keine große Rolle...

evtl. auch mal mit dem Readahead rumspielen, blockdev --getra zum auslesen und mit --setra kannste den ändern...