komisches performanceproblem mit sw raid

[ulukay]

jetzt hab ich maln echt komisches problem

ich habn raid6 aus 6 gecrypteten samsung hdds.
drauf schreiben kann ich mit 200mb/s (laut iostat).
davon lesen aber nur mit ~130mb/s

hier z.b. ein cat einer 5gb iso nach /dev/null

sieht aus wie abgeschnitten bei 2048 IOs/s

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.25    0.00   35.46   20.47    0.00   42.82

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2048.00    131056.00         0.00     262112          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.63    0.13   34.17   20.78    0.00   44.31

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2048.00    131056.00         0.00     262112          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.00    0.00   34.12   20.88    0.00   44.00

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            1791.00    114674.00         0.00     229348          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.75    0.00   35.21   20.72    0.00   43.32

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2304.00    147438.00         0.00     294876          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.75    0.00   35.12   20.38    0.00   43.75

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2048.00    131056.00         0.00     262112          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.00    0.12   34.08   20.97    0.00   43.82

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2048.00    131056.00         0.00     262112          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.88    0.13   34.34   21.30    0.00   43.36

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2047.00    131056.00         0.00     262112          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.88    0.00   35.00   20.62    0.00   43.50

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2304.00    147438.00         0.00     294876          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.75    0.00   34.71   21.10    0.00   43.45

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2048.00    131056.00         0.00     262112          0

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.88    0.00   34.92   21.03    0.00   43.18

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
md3            2049.00    131056.00         4.00     262112          8

was ich schon gemacht habe:
- ncq enabled/disabled
- cpu governor auf performance gestellt
- read ahead auf den platten geaendern. 0, 128, 512, 1024
- read ahead auf den cryptodevices geaendern. 0, 128, 512, 1024
- read ahead auf dem raid array geaendert. 0, 512, 8192
- verschiedenste kombinationen der oberen dreien. sieht aber so aus als wuerde der durchsatz bei 120-130 gedecklt

koennte es sein, dass der kernel irgendwo die interrupts meines sata controllers (onboard) limitiert?
koennte es mit der kernel option "CONFIG_HZ" zu tun haben? standardmaessig steht das auf 250HZ. sind immerhin 6 cryptothreads, 1 md6 thread, 1 cat welches gleichzeitig laufen. sowie eben auch die treiber.

sonst faellt mir bald nixmehr ein?

noch ne beobachtung. warum zum geier hab ich ueber 5000 interrupts/s und context switches/s in (quasi) idle?

.bin# vmstat 1
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  0      0 645204 205008 11404744    0    0   286   306    6    9  4  4 91  1
 0  0      0 645108 205008 11404792    0    0     0     0 5296 5179  1  0 99  0
 0  0      0 645108 205008 11404800    0    0     0    76 4727 5458  1  1 98  0
 0  0      0 645348 205008 11404812    0    0     0    16 5460 5131  2  1 98  0
 1  0      0 645076 205008 11404816    0    0     0     0 5025 5297  1  1 98  0
 0  0      0 645068 205008 11404828    0    0     0     0 5403 5259  1  0 99  0
 0  0      0 645208 205008 11404840    0    0     0   288 5465 5220  1  1 98  0
 0  0      0 645084 205008 11404840    0    0     0  1384 5624 5523  1  0 99  0
 0  0      0 645084 205008 11404860    0    0     0     0 5406 5073  0  0 99  0
 0  0      0 645068 205008 11404868    0    0     0    60 5483 5166  1  1 99  0
 0  0      0 645076 205008 11404872    0    0     0    16 4332 5131  1  0 99  0
 0  0      0 645076 205008 11404880    0    0     0     0 4987 5103  0  0 99  0
 0  0      0 645076 205012 11404884    0    0     0    36 5520 5217  0  1 99  0
 0  0      0 645076 205012 11404892    0    0     0     0 5590 5146  1  0 99  0
 0  0      0 645100 205012 11404904    0    0     0     8 4868 5311  1  1 98  0
 0  0      0 645100 205012 11404912    0    0     0     0 5396 5153  1  0 99  0
 0  0      0 645100 205012 11404920    0    0     0     0 5337 5205  1  0 99  0
 0  0      0 645100 205012 11404928    0    0     0  1372 5001 5294  1  1 98  0
 0  0      0 645116 205012 11404940    0    0     0    72 5465 5203  1  1 99  0
 0  0      0 645116 205012 11404948    0    0     0     0 5322 5180  0  0 99  0
 1  0      0 644992 205012 11404956    0    0     0     0 5384 5151  1  1 99  0
 1  0      0 644992 205012 11404960    0    0     0     0 4587 5219  1  0 99  0
 0  0      0 645116 205012 11404972    0    0     0    64 5109 5323  0  0 99  0
 0  0      0 645116 205012 11404988    0    0     0     0 5401 5038  0  0 99  0
 0  0      0 645116 205012 11404992    0    0     0     0 4888 5206  1  0 99  0
 0  0      0 645116 205012 11405000    0    0     0     0 5548 5254  1  0 99  0
 0  0      0 645116 205012 11405012    0    0     0    92 5543 5250  1  1 99  0
 0  0      0 645116 205012 11405020    0    0     0  1472 5806 5565  1  1 98  0
 0  0      0 645132 205012 11405040    0    0     0     0 5307 5103  1  0 99  0
 0  0      0 645132 205012 11405044    0    0     0     0 5179 5157  1  0 99  0
 0  0      0 645124 205012 11405052    0    0     0     0 5169 5162  0  1 99  0
 0  0      0 642760 205012 11405060    0    0     0   378 4933 5407  1  7 92  0
 0  0      0 642760 205012 11405068    0    0     0    56 5284 5336  1  0 99  0
 0  0      0 642152 205012 11405080    0    0     0     0 5602 5437  2  1 97  0
 0  0      0 642556 205012 11405088    0    0     0     0 5599 5225  0  1 99  0
 7  1      0 479924 360644 11404808    0    0 155632     0 24854 38515  1 33 49 17
 6  1      0 348980 491700 11404864    0    0 131056     0 29266 45463  1 36 44 19
 6  1      0 215680 622760 11404988    0    0 131056  1900 25235 38887  2 36 43 20
 1  0      0 223120 622760 11405140    0    0     0   264 11275 15249  1 25 70  4
 0  0      0 641868 205012 11405392    0    0     0   114 5783 5468  2 10 89  0
 0  0      0 641976 205012 11405152    0    0     0     0 5110 4938 16  1 84  0
 0  0      0 641976 205012 11405156    0    0     0     0 5413 5123  1  1 98  0

wenns dann ans lesen geht schnellts auf fast 30.000 int/s und ueber 40.000 cs/s rauf

beim schreiben mit 200mb/s habe ich ebenfalls 30.000 ins/s und grad mal 30.000 cs/s??????

 

[celemine1Gig]

Nur ein Schuss ins Blaue, da ich in der Richtung keine eigenen Erfahrungen habe, aber folgendes:

Vielleicht könntest du mal mit anderem I/O-Scheduler testen? Eventuell kommt der aktuelle mit deiner Konfiguration nicht optimal klar.

Wenn's nicht sinnvoll zu sein scheint, einfach ignorieren.

 

[ulukay]

habs mal probiert, mit "noop" isses minimal besser, aber nur im einstelligen bereich

die kernel option CONFIG_HZ hat ebenso keine auswirkung. multithreaded support fuer raid5/6 ebenfalls nicht.

wenn ich die cpu aber um 38% uebertakte hab ich genau 38% mehr durchsatz. irgendwie komisch weil 3 der 4 kerne ueber 50% idle sind!

das problem werde ich wohl mit einem bulldozer erschlagen muessen

 

[MrDeluxe]

Hey,

welche CPU wird denn überhaupt verwendet? Verwendest du AES-NI?

 

[ulukay]

amd 910e quadcore
kein aes-ni
aber beim schreiben klopft der ohne probleme 6x ~70mb/s auf die encrypteten platten.

 

[MrDeluxe]

Also das der beim Schreiben schneller ist als beim Lesen ist wirklich ein Unding. Rein theoretisch könntest du, sofern du eine GUI installiert hast mit Truecrypt deine Verschlüsselungsperformance austesten. Vllt. wird da schon was ersichtlich. Mehr fällt mir dies bezüglich nicht ein sry.