Hallo,
ich habe ein Problem mit meinem Server.
Ich nutze ihn hauptsächlich als fileserver (ftp, samba). Neulich habe ich bemerkt dass bei sehr großen oder sehr vielen Dateien der Datentransfers extrem einbricht.
So bis ca. 1-1,2GB läuft das Schreiben mit 45-50MB/s. danach wird es immer langsamer, so ab ca. 2,5GB befindet es sich nur noch bei 14-15MB/s, die dann konstant bleiben. Allerdings betriff das nur das Schreiben, Lesen läuft bis zum Ende mit 45-50MB/s.
Ursprünglich dachte ich, dass es am Netzwerk liegt, aber es scheint am RAID 5 zu liegen.
Daraufhin habe ich mal mit bonnie++ das ganze überprüft und bekam folgende Ergebnisse:
Version 1.03
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
server1.mynet 4048M 14953 35 14318 5 9803 3 33245 69 103853 11 282.4 0
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
server1.mynet,4048M,14953, 35, 14318, 5, 9803, 3, 33245,69, 103853, 11, 282.4,0,16,+
zwei Schreibtests ergaben:
sync && time dd if=/dev/zero of=./5000mbfile bs=1M count=5000 && sync
5000+0 Datensätze ein
5000+0 Datensätze aus
5242880000 Bytes (5,2 GB) kopiert, 327,925 Sekunden, 16,0 MB/s
real 5m30.141s
user 0m0.016s
sys 0m20.089s
sync && time dd if=/dev/zero of=./1500mbfile bs=1M count=1500 && sync
1500+0 Datensätze ein
1500+0 Datensätze aus
1572864000 Bytes (1,6 GB) kopiert, 55,0889 Sekunden, 28,6 MB/s
real 0m55.091s
user 0m0.008s
sys 0m5.300s
Serverkonfiguration:
Supermicro X6DH8-G2+ mit 2*2,8Ghz Xeon LVs mit 2GB Ram
Raidcontroler: 3ware 7506-4LP mit 3mal 500GB 7200.9 Seagate als RAID5 (2 Platten identisch, 1 wurde mal von Seagate ausgetauscht, unterscheidet sich nur aufgrund der Firmware); Controller befindet ich im PCI-X Slot.
dmesg | grep 3ware
3ware Storage Controller device driver for Linux v1.26.02.001.
scsi0 : 3ware Storage Controller
3w-xxxx: scsi0: Found a 3ware Storage Controller at 0x2000, IRQ: 217.
Vendor: 3ware Model: Logical Disk 0 Rev: 1.2
Es läuft ein Debian 4.0 (Kernel: 2.6.18-6-686)
Defekte Sektoren habe ich überprüft und wurden keine gefunden. Smart zeigt auch keine Fehler an (eine Festplatte hatte mal DMA Fehler die traten nach Austausch des Kabels nichtmehr auf)
Das RAID ist auch OK. Der Trick mit dem Heraufsetzen der blockdev brachte nur minimal Besserung.
Ist diese extrem niedriger Schreibrate normal? Lässt sich da u.U. etwas ändern?
Ich muss dazu noch sagen, ich kenne mich ein wenig mit Linux aus, aber sowas wie Kompilieren eines neuen Kernels etc. habe ich noch nicht (erfolgreich) gemacht.
Gruß
Jochen
ich habe ein Problem mit meinem Server.
Ich nutze ihn hauptsächlich als fileserver (ftp, samba). Neulich habe ich bemerkt dass bei sehr großen oder sehr vielen Dateien der Datentransfers extrem einbricht.
So bis ca. 1-1,2GB läuft das Schreiben mit 45-50MB/s. danach wird es immer langsamer, so ab ca. 2,5GB befindet es sich nur noch bei 14-15MB/s, die dann konstant bleiben. Allerdings betriff das nur das Schreiben, Lesen läuft bis zum Ende mit 45-50MB/s.
Ursprünglich dachte ich, dass es am Netzwerk liegt, aber es scheint am RAID 5 zu liegen.
Daraufhin habe ich mal mit bonnie++ das ganze überprüft und bekam folgende Ergebnisse:
Version 1.03
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
server1.mynet 4048M 14953 35 14318 5 9803 3 33245 69 103853 11 282.4 0
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
server1.mynet,4048M,14953, 35, 14318, 5, 9803, 3, 33245,69, 103853, 11, 282.4,0,16,+
zwei Schreibtests ergaben:
sync && time dd if=/dev/zero of=./5000mbfile bs=1M count=5000 && sync
5000+0 Datensätze ein
5000+0 Datensätze aus
5242880000 Bytes (5,2 GB) kopiert, 327,925 Sekunden, 16,0 MB/s
real 5m30.141s
user 0m0.016s
sys 0m20.089s
sync && time dd if=/dev/zero of=./1500mbfile bs=1M count=1500 && sync
1500+0 Datensätze ein
1500+0 Datensätze aus
1572864000 Bytes (1,6 GB) kopiert, 55,0889 Sekunden, 28,6 MB/s
real 0m55.091s
user 0m0.008s
sys 0m5.300s
Serverkonfiguration:
Supermicro X6DH8-G2+ mit 2*2,8Ghz Xeon LVs mit 2GB Ram
Raidcontroler: 3ware 7506-4LP mit 3mal 500GB 7200.9 Seagate als RAID5 (2 Platten identisch, 1 wurde mal von Seagate ausgetauscht, unterscheidet sich nur aufgrund der Firmware); Controller befindet ich im PCI-X Slot.
dmesg | grep 3ware
3ware Storage Controller device driver for Linux v1.26.02.001.
scsi0 : 3ware Storage Controller
3w-xxxx: scsi0: Found a 3ware Storage Controller at 0x2000, IRQ: 217.
Vendor: 3ware Model: Logical Disk 0 Rev: 1.2
Es läuft ein Debian 4.0 (Kernel: 2.6.18-6-686)
Defekte Sektoren habe ich überprüft und wurden keine gefunden. Smart zeigt auch keine Fehler an (eine Festplatte hatte mal DMA Fehler die traten nach Austausch des Kabels nichtmehr auf)
Das RAID ist auch OK. Der Trick mit dem Heraufsetzen der blockdev brachte nur minimal Besserung.
Ist diese extrem niedriger Schreibrate normal? Lässt sich da u.U. etwas ändern?
Ich muss dazu noch sagen, ich kenne mich ein wenig mit Linux aus, aber sowas wie Kompilieren eines neuen Kernels etc. habe ich noch nicht (erfolgreich) gemacht.
Gruß
Jochen
