Performance mit >1 Mio Dateien

[Milchbubi]

Mich würde mal interessieren ob es was ausmacht, denn auf einer Festplatte ca. 1 Mio oder 3 Mio Einzelbilder liegen. Nehmen wir an die Bilder sind alle gleich groß und besitzten eine Auflösung von 128x128 Px sowie png Format.

Wie arg geht das auf die festplatte aus bzw deren Performance? Die HDD muss das ja auch alles managen.

 

[HisN]

Wenn Du immer nur ein Bild nacheinander lädst ist es doch völlig egal wie viele Bilder auf der HDD liegen.
Interessant wird es wenn 10, 100, 1000 oder 10.000 User gleichzeitig Bilder von der HDD laden.

 

[DaReal]

Naja, die Gesamtperformance bricht bei vielen kleinen Dateien schon enorm ein, wenn du die alle schnellstmöglich nacheinander laden willst oder sogar gleichzeitig drauf zugriff brauchst.

Hast du einen "User" der drauf zugreift und nur Datei für Datei liest dürfte es schon sehr langsam sein (gehen wir mal davon aus, die Dateien liegen fragmentiert auf der HDD und der User greift zufällig auf die Dateien zu) ...

Bei mehreren Usern gleichzeitig wird das ganze noch um ein vielfaches schlimmer.


Für so einen Fall wäre eine SSD quasi prädestiniert

 

[Milchbubi]

sehen wir mal von der Leserate und Zugriffszeit ab

Müsste es die HDD nicht voller Overhead zuspammen?

 

[Redna]

Wieso zuspammen? Wenns erstmal draufliegt, ist das doch egal...bei Zugriffen hat die Platte natürlich gut zu tun. Ich verstehe die Herangehensweise nicht, wenn du Leserate und Zugriffszeit außer Acht lassen willst, wie willst du dann die Performance betrachten bzw. worauf willst du hinaus?

 

[DaReal]

Du meinst was die Dateigröße vs. Zuordnungseinheiten?

Naja, im schlimmsten Fall hast du annähernd 50% Overhead ... (wenn jede Datei ein Byte in die nächste Zuordnungseinheit reicht)


Hab nochmal geguckt, weil es bei den Dateisystemen ne max. Anzahl an Dateien gibt ... aber das liegt bei FAT32 bei 268.435.456 Dateien und bei NTFS gar bei 4.294.967.295 Dateien ... sollte also für deine 1-3 Millionen locker reichen

 

[Fragman]

Wenn du in den Ordner gehst und die Vorschaubilder geladen werden, hast du auf jeden Fall Spass. Das dauert bei mir mit mehreren 100-1000 schon was länger. Ist allerdings auch ne alte IDE Festplatte. Vorschaubilder solltest du dann also eher nicht nutzen.

 

[Milchbubi]

ok Vielen Dank

 

[bawder]

also im grunde ist es der festplatte wurscht ob 1mio. oder 3mio. bilder auf der platte liegen, nur wenn darauf zugegriffen wird dauert es ensprechend lange alle bilder zu verarbeiten und z.b., wie Fragman schreibt die vorschaubilder zu erstellen. als zweites kommt noch dazu, wie Milchbubi schreibt, das die platte mehr daten speicher muss bei mehr bildern.

edit: wenn auf die bilder zugegriffen wird und sie liegen verstreut auf der festplatte ist es ensprechend viel zeitaufwand.