extreme SATA Performance Probleme
Hallo zusammen,
ich habe extreme
SATA Performance Probleme auf meinem MicroServer Gen8, Xeon E3-1220L v2, 16GB RAM (F9A40A) und zwar sowohl auf der Systemplatte (SSD an SATA1) als auch auf dem RAID5 (WD Reds and SATA2-4):
- SATA1: Samsung SSD 850 Pro 256GB, SATA (MZ-7KE256BW) im Rahmen
- SATA2: Western Digital WD Red 5TB, 3.5", SATA 6Gb/s (WD50EFRX)
- SATA3: Western Digital WD Red 5TB, 3.5", SATA 6Gb/s (WD50EFRX)
- SATA4: Western Digital WD Red 5TB, 3.5", SATA 6Gb/s (WD50EFRX)
Betriebssystem ist
Debian Linux 8.5 Jessie 64Bit. Alle Partitionen (root, /home, swap auf sda, /srv auf md0) außer /boot sind über
cryptsetup Luks eingebunden, werden also noch durch die devicemapper Schicht geschrieben/gelesen, was aber Dank AES-NI des Xeon sogut wie keine Bremse ist (bestätigt auch top und vmstat).
Bisherige Tests per dd:
1. SSD Schreiben:
dd if=/dev/zero of=TestFile.dat bs=4M count=1024 oflag=dsync
1024+0 records in
1024+0 records out
4294967296 bytes (4.3 GB) copied, 142.615 s, 30.1 MB/s
Messung mit vmstat 1:
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 1 0 3921208 345452 11574176 0 0 0 32960 346 849 0 2 77 21 0
0 1 0 3891668 345464 11602760 0 0 0 28840 326 701 0 2 75 24 0
0 1 0 3866324 345492 11627336 0 0 0 24720 321 754 0 1 75 24 0
0 1 0 3837140 345504 11655992 0 0 0 28840 332 753 0 2 76 23 0
[...]
Wie man sieht, hat die CPU so gut wie nichts zu tun (us, sy nahe 0) und wartet auf IO (hoher wa-Wert)
2. md0 Schreiben:
dd if=/dev/zero of=TestFile.dat bs=4M count=1024 oflag=dsync
1024+0 records in
1024+0 records out
4294967296 bytes (4.3 GB) copied, 123.173 s, 34.9 MB/s
Messung mit vmstat 1:
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 1 0 3887432 353600 11598888 0 0 4 32984 586 2434 0 3 74 24 0
0 1 0 3843980 353672 11639804 0 0 0 41176 615 2569 0 3 74 23 0
0 1 0 3799728 353752 11680588 0 0 0 41200 595 2449 0 3 74 23 0
0 1 0 3763884 353836 11717520 0 0 4 37116 620 2156 0 3 73 23 0
[...]
selbes Ergebnis wie SSD.
Von hdparm erwarte ich nichts anderes, habe es also erstmal bei dem dd Test belassen.
Sonst bisher geprüft:
SATA Controller im BIOS ist im AHCI Modus und Drive Write Cache is eingeschaltet. Hatte ich zuerst vergessen und noch schlechtere Performance Werte im RAID gemessen (33MB/s Schreiben)
Allignment auf SSD ist ok:
fdisk -l -u /dev/sda
Disk /dev/sda: 238.5 GiB, 256060514304 bytes, 500118192 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0xcf70697c
Device Boot Start End Sectors Size Id Type
/dev/sda1 * 2048 976895 974848 476M 83 Linux
/dev/sda2 978942 500117503 499138562 238G 5 Extended
/dev/sda5 978944 40038399 39059456 18.6G 83 Linux
/dev/sda6 40040448 59570175 19529728 9.3G 83 Linux
/dev/sda7 59572224 500117503 440545280 210.1G 83 Linux
Stride und Stripe auf RAID sind ok:
mdadm -D /dev/md0
[...]
State : clean
[...]
Chunk Size : 512K
[...]
tune2fs -l /dev/mapper/md0_crypt
[...]
RAID stride: 128
RAID stripe width: 256
[...]
In /var/log/system, /var/log/messages, dmesg keinerlei Auffälligkeiten.
SMART-Werte sind ok:
smartctl -A /dev/sda
[...]
199 UDMA_CRC_Error_Count 0x003e 100 100 000 Old_age Always - 0
[...]
smartctl -A /dev/sdb
[...]
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
[...]
smartctl -A /dev/sdc
[...]
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
[...]
smartctl -A /dev/sdd
[...]
199 UDMA_CRC_Error_Count 0x0032 200 200 000 Old_age Always - 0
[...]
scheinbar keine Übertragungsprobleme. Kabel oder Kontakt-Probleme sollten sich doch auch in den Logdateien in irgendeiner Form äußern?
Edit: Habe noch "smartctl -t long" auf allen 4 devices laufen. sda ist mittlerweile durch und meldet keinerlei Probleme via "smartctl -a /dev/sda".
Zu erwähnen wäre noch: Ich habe das BIOS des Servers direkt nach dem Kauf aus Versehen von der installierten BIOS Version 11/2/2015 auf die 6/17/2015 gedowngraded, da ich die Monat/Tag Angaben verwechselt hatte.
Leider konnte ich mangels Download-Angebot von HP nicht wieder upgraden. Beim ersten Anlauf dieses Downgrades über ILO gab es noch einen Fehler, den ich mir leider nicht aufgeschrieben habe. Beim zweiten Anlauf war es dann erfolgreich. Mittlerweile sind Primär und Backup BIOS beide auf dem Stand 6/17/2015.
Hat jemand von euch eine Idee, was ich noch prüfen kann? Ich bin echt verzweifelt.
Irgend jemand, der die Kiste auch direkt unter Debian Jessie laufen hat?
Booten von irgendeinem Rettungssystem und dort Testen um OS Probleme außzuschließen, will ich erst mal hinten anstellen und hier auch sehr ungerne Schreibtests durchführen.
Edit2: Habe noch mal dmesg gefiltert auf sd und ata angehängt...
Danke und Gruß
Spider