Server Hardware für Storage auf Linux (Sparsam)

[hostile]

Kopier dein CCNA-Dings in nen Temp-Verzeichnis auf dem Linuxsystem

gruß
hostile

 

[koschi]

Hab mich für den Kernelsource von 2.6.28.8 entschieden, das ist nachvollziehbarer und kann jeder zuhause nachmachen bei Interesse... Sind entpackt 346488kB, verteilt auf 26846 Dateien, ca. 12,9kB pro Datei. (Das Verhältnis war beim Curriculum ähnlich, ~11,8kB pro Datei...)
Geschrieben wird der Linuxsource aus ner RAM disk /dev/shm (die ist bei Debian/Ubuntu schon default aktiv) auf eine gerade gemountete ext4 Partition. Die Platte wird anschließend unmounted (sonst wären die Kopierzeiten lächerlich niedrig) um die FS Caches auf die Partition zu schreiben.

root@cruncher:/mnt/lvm# mount -onoatime,nodiratime /dev/mapper/storagevg-ext4test /mnt/lvm/ext4test/
root@cruncher:/mnt/lvm# cd ext4test && time cp -r /dev/shm/linux-2.6.28.8 linux-2.6.28.8_2  && cd .. && time umount /mnt/lvm/ext4test/

real    0m3.287s
user    0m0.072s
sys     0m0.884s

real    0m27.975s
user    0m0.000s
sys     0m0.376s

Sind schreibend 11MB, die Rückmeldung an die Anwendung (Fertig, Daten sind geschrieben!) erfolgt allerdings schon nach 3,3 Sekunden. Wenn man nun mehrere Gigabyte (halt mehr als der Linux-Schreibcache aufnehmen kann) kleinste Files schreibt dann leidet die Performance. mdadm erzeugte dabei keine nennenswerte CPU Last.

Als Vergleich kann ich derzeit nur jene WD Scorpio Black anbieten, allerdings verschlüsselt, ebenfalls mit ext4, die kommt auf ca. 5,3MB/s:

root@frickelbude:/mnt# mount | grep daten                                                                                                                                        
/dev/mapper/frickelbude-daten on /mnt/daten type ext4 (rw,noatime,nodiratime)
root@frickelbude:/mnt# cd daten && time cp -r /dev/shm/linux-2.6.28.8 linux-2.6.28.8_4  && cd .. && time umount daten

real    0m3.354s
user    0m0.068s
sys     0m0.848s

real    1m0.307s
user    0m0.000s
sys     0m0.352s

Evtl. ersetze ich am WE die 13GB WD in der Backupbude mit ner 250GB Samsung Singleplatter, dann könnte ich nochmal andere Vergleichswerte bieten.

Vergleiche anderer RAIDs wären natürlich hilfreicher...

 

[Skynet.com]

Melde mich auchmal zu Wort.

Fazit.

SW-Raid macht in der regel vom durchsatz her alles platt.

Hier mal ein paar Werte:
3ware 7506 mit 12x400gb sw raid ca 250 mb/s beim build/rebuild geschaft (2xathlon2600MP)
3ware 7506 mit 6x400gb hw raid ca 70 mb/s beim build/rebuild geschaft (2xathlon2600MP)

4x1,5TB onboard sata (sata als ide) q6600@2700 build/rebuild 360 mb/s (platten limitieren)

4x1,5TB onboard sata (sata als Ahci/Raid) q6600@2700 build/rebuild 200 mb/s (die southbridge limitiert bei ca 230 mb/s)

8x1,5TB hw raid dell perc 5i 400 mb/s

folgende dinge sind zu beachten:

Punkte die für ein sw raid wichtig sind:

-stromausfall = datenverlust = rebuild (keine bbu)!!!!!!!!!!!!!!!!!
-cpu ab 3800x2 aufwärts oder core2duo E6400
-onboard sata limitiert bei AHCI/RAID betrieb

 

[hostile]

@koschi
Wäre ein "time sync" nicht genau das gleiche?

Nina test # time cp -r /dev/shm/test/linux-2.6.28.8/ . && time sync

real    0m13.599s
user    0m0.110s
sys     0m2.240s

real    0m6.641s
user    0m0.000s
sys     0m0.020s
Nina test # pwd
/root/test
Nina test # mount
/dev/sda2 on / type ext3 (rw,relatime,errors=remount-ro)
proc on /proc type proc (rw,noexec,nosuid,nodev)
/sys on /sys type sysfs (rw,noexec,nosuid,nodev)
varrun on /var/run type tmpfs (rw,noexec,nosuid,nodev,mode=0755)
varlock on /var/lock type tmpfs (rw,noexec,nosuid,nodev,mode=1777)
udev on /dev type tmpfs (rw,mode=0755)
devshm on /dev/shm type tmpfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
securityfs on /sys/kernel/security type securityfs (rw)
rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
nfsd on /proc/fs/nfsd type nfsd (rw)
Nina test # hdparm -i /dev/sda2

/dev/sda2:

 Model=HDS728040PLAT20                         , FwRev=PF1OA21B, SerialNo=      PFD110S1SD8XVR
 Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=51
 BuffType=DualPortCache, BuffSize=1719kB, MaxMultSect=16, MultSect=?16?
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=80418240
 IORDY=on/off, tPIO={min:240,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio1 pio2 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 *udma5 udma6
 AdvancedPM=yes: disabled (255) WriteCache=enabled
 Drive conforms to: ATA/ATAPI-7 T13 1532D revision 1:  ATA/ATAPI-2,3,4,5,6,7

 * signifies the current active mode

gruß
hostile

 

[koschi]

Ist nicht das gleiche, hab ich auch gedacht bis ichs ausprobiert hatte:

root@cruncher:/mnt/lvm# cd ext4test && time cp -r /dev/shm/linux-2.6.28.8/ linux-2.6.28.8_4 && cd .. && time sync

real    0m1.287s
user    0m0.056s
sys     0m0.936s

real    0m3.484s
user    0m0.000s
sys     0m0.312s

Mit sync krieg ich auch traumhafte Zeiten