[Kaufberatung] Was muss ich aufrüsten, um an 50MB/s über SMB zu kommen? [FERTIG, 95MB/s ERREICHT!]

[Michael`]

STRIKE!

Gerade die neue CPU eingebaut. Hier die Ergebnisse:

cat /proc/cpuinfo:

processor : 0
vendor_id : AuthenticAMD
cpu family : 16
model : 4
model name : AMD Phenom(tm) II X2 550 Processor
stepping : 3
cpu MHz : 3122.127
cache size : 512 KB
physical id : 0
siblings : 2
core id : 0
cpu cores : 2
apicid : 0
initial apicid : 0
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 5
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt
bogomips : 6248.57
clflush size : 64
power management: ts ttp tm stc 100mhzsteps hwpstate

processor : 1
vendor_id : AuthenticAMD
cpu family : 16
model : 4
model name : AMD Phenom(tm) II X2 550 Processor
stepping : 3
cpu MHz : 3122.127
cache size : 512 KB
physical id : 0
siblings : 2
core id : 1
cpu cores : 2
apicid : 1
initial apicid : 1
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 5
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm 3dnowext 3dnow constant_tsc pni monitor cx16 popcnt lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt
bogomips : 6244.03
clflush size : 64
power management: ts ttp tm stc 100mhzsteps hwpstate

mdadm --detail /dev/md0:

/dev/md0:
Version : 0.90
Creation Time : Thu Aug 26 09:15:28 2010
Raid Level : raid5
Array Size : 3907023872 (3726.03 GiB 4000.79 GB)
Used Dev Size : 1953511936 (1863.01 GiB 2000.40 GB)
Raid Devices : 3
Total Devices : 3
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Thu Sep 2 08:50:49 2010
State : clean
Active Devices : 3
Working Devices : 3
Failed Devices : 0
Spare Devices : 0

Layout : left-symmetric
Chunk Size : 64K

UUID : 61477a61:9fdf2abf:1e8369d9:ff9ca9b8
Events : 0.2

Number Major Minor RaidDevice State
0 8 17 0 active sync /dev/sdb1
1 8 49 1 active sync /dev/sdd1
2 8 33 2 active sync /dev/sdc1

hdparm -tT /dev/md0:
/dev/md0:

Timing cached reads: 6918 MB in 2.00 seconds = 3466.64 MB/sec
Timing buffered disk reads: 334 MB in 3.00 seconds = 111.20 MB/sec

SMB-Performance:

Schreibend: 53MB/s
Load Average: 1.4

Lesend: 56MB/s
Load Average: 0.8

Danke an alle, die mich beraten haben!


MfG,
Michael

 

[dexus]

Was kann man da rauslesen?
MfG,
Michael

Auch wenns jetzt zu spät ist.
Man kann rauslesen, daß die Verschlüsselung die Hauptlast ist. Da hilft die neue CPU natürlich viel.
Beim lesen wartete der Sempron mit 21% auf IO. Das kann vielleicht aber auch das krypt_io sein.
Freut mich auf jeden Fall, dass es jetzt fluppt.

Grüße
dexus

 

[Michael`]

Da der Festplattenspeicher schon wieder so gering ist hab ich mir gleich noch ne Platte geordert. Die bau ich dann am Montag ein und werde nochmals berichten, was sich an der Performance verändert hat.


Im übrigen ist der Stromverbrauch ganz schön angestiegen. Mal zum Vergleich (jeweils Idle):

- Sempron LE-1200 + 3x2TB = 74W
- Phenom II X2 550 + 3x2TB = 124W



MfG,
Michael

 

[arcademaster]

Der Anstieg klingt reichlich extrem. Mal ins Bios geschaut ob sämtliche Stromsparfunktionen (CIE modus etc) aktiviert sind?

 

[Michael`]

Der Anstieg klingt reichlich extrem. Mal ins Bios geschaut ob sämtliche Stromsparfunktionen (CIE modus etc) aktiviert sind?

Kann ich jetzt nicht mehr nachschauen (kein Monitor). Sollte per default alles an sein - lediglich Cool-n-Quiet habe ich deaktiviert. Warum ich das getan habe weiß ich auch nicht genau. Vielleicht hatte ich angst, dass das die Performance bremst. Ich glaube ich schalte es am Montag wieder ein.


MfG,
Michael

 

[josen]

Hallo,

aktivier unbedingt den "ondemand" Governor im Kernel, sonst wirst du nicht viel Strom sparen

Anleitung: CPU frequency scaling in Linux with cpufreq

Ansonsten kannst du mit Linux Software-RAID wunderbar den Laptop-Mode zum Festplatten-Spindown benutzen.

Grüße

 

[Michael`]

Boah, ich habe gerade Cool-n-Quiet im BIOS wieder aktiviert. Resultate:

cpufreq-info
cpufrequtils 004: cpufreq-info (C) Dominik Brodowski 2004-2006
Report errors and bugs to cpufreq@lists.linux.org.uk, please.
analyzing CPU 0:
driver: powernow-k8
CPUs which need to switch frequency at the same time: 0
hardware limits: 800 MHz - 3.10 GHz
available frequency steps: 3.10 GHz, 2.40 GHz, 1.90 GHz, 800 MHz
available cpufreq governors: conservative, userspace, ondemand, powersave, performance
current policy: frequency should be within 800 MHz and 3.10 GHz.
The governor "ondemand" may decide which speed to use
within this range.
current CPU frequency is 800 MHz (asserted by call to hardware).
cpufreq stats: 3.10 GHz:0.83%, 2.40 GHz:0.00%, 1.90 GHz:0.05%, 800 MHz:99.12% (11)
analyzing CPU 1:
driver: powernow-k8
CPUs which need to switch frequency at the same time: 1
hardware limits: 800 MHz - 3.10 GHz
available frequency steps: 3.10 GHz, 2.40 GHz, 1.90 GHz, 800 MHz
available cpufreq governors: conservative, userspace, ondemand, powersave, performance
current policy: frequency should be within 800 MHz and 3.10 GHz.
The governor "ondemand" may decide which speed to use
within this range.
current CPU frequency is 800 MHz (asserted by call to hardware).
cpufreq stats: 3.10 GHz:0.96%, 2.40 GHz:0.00%, 1.90 GHz:0.00%, 800 MHz:99.04% (11)

Die Stromaufnahme ist von 124W auf 89W gesunken! Krass!

Beim kopieren über SMB geht die Leistungsaufnahme auf 138W. Jetzt versuche ich noch das RAID in standby zu schicken. Aber ob das wirklich eine gute Idee ist?


MfG,
Michael

 

[josen]

Hallo,

das RAID kannst du mit dem Laptop-Mode ohne Probleme in den "Standby" (Spindown) schicken. Denk aber dran, dass die Festplatten nicht so oft runterfahren können, wie im Einzelbetrieb und das hochfahren ein paar Sekunden dauert.

Habe das aber auch so im Einsatz, ist ja nichts besonderes, dass RAID Spindown kann (außer für viele HW-RAID Controller).

Grüße

 

[Michael`]

Hab gerade den Spindown mittels hdparm ausgeführt und danach per SMB auf den Server zugegriffen. Das Ergebnis ist ernüchternd - bis ich wirklich zugreifen konnte sind mind. 10 Sekunden vergangen. Das ist mir etwas zu lange. Mit 5 Sekunden wäre ich noch einverstanden gewesen.



MfG,
Michael

 

[josen]

Hallo,

dafür sparst du in der Zeit eben Strom. Ich würde das Spindown so einstellen, dass es erst passiert, wenn die Festplatten solange nicht benutzt wurden, dass du sicher sein kannst, dass es gerade Nacht ist oder du nicht anwesend.

Bei mir fahren die Festplatten nach zwei Stunden ohne Zugriff runter. Das spart mir Nachts i.d.R gute 8 Stunden und stört ansonsten nicht

Wenn die Festplatten zu oft hoch- und runterfahren werden sie auch nicht solange halten.

Grüße

 

[Michael`]

Wenn ich die 3x2TB in standby schicke, dann spare ich 9 Watt.

Angenommen 19ct/kWh, macht das 216 Wh/Tag = 78840Wh/Jahr = 78,84 kWh/Jahr = 14,98 Euro.

Aber das auch nur nachts, also 1/3 weniger gespart = 10 Euro pro Jahr.


Und den Platten schadet das auch. Ich glaube das lohnt sich nicht.



MfG,
Michael

 

[DiePike]

Den Platten schadet es nicht, wenn du es richtig einstellst!
Alle paar Sek./Min. ist natürlich quark aber für einige Stunde.... Wieso nicht?

 

[josen]

Hallo,

kommt drauf an, wie oft es passiert. Ansonsten kannst du, falls du auf Durchsatz verzichten kannst mal schauen, ob du Acoustic Management aktivieren kannst. Dadurch verbrauchen sie immer etwas weniger Strom.

Bei mir rechnet sich das runterfahren der Festplatten, ich tausche ungefähr alle zwei Jahre die Festplatten des RAID5 und zahle auch ungefähr 0,19€/kWh. Allerdings hab ich hier 9 Festplatten, die real 6,2 Watt im Idle brauchen sind es schon ~10,6 Cent die ich pro Stunde die sie runtergefahren sind sparen kann.

Wenn ich sie 1/3 der Zeit ausgeschaltet lassen kann, spare ich schon ~47€ im Jahr. Aber ich benutze den Server mit einem Datenvolumen, das über dem Cache im RAM liegt nur maximal 6 Stunden am Tag. Also spare ich sogar mindestens ~105€.

Darum lege ich auch jedem mit Homeserver den Laptop-Mode nahe und, die Systemfestplatte vom RAID zu trennen. Von den 105€ hab ich einfach für 20€ ein Gigabyte mehr RAM (für Dateisystem-Cache).

Grüße

 

[fdsonne]

STRIKE!

Gerade die neue CPU eingebaut. Hier die Ergebnisse:

...

Danke an alle, die mich beraten haben!


MfG,
Michael

Neja also die Werte sind aber nun immernoch nicht das wirklich Wahre... Denn wie ich oben schon geschrieben habe:
Du hast von der alten zur neuen CPU in etwa 300% Performancegewinn. Sprich die neue CPU kann in etwa drei mal so viel in der selben Zeit berechnen als die alte. Aber du erreichst nur einen Leistungsgewinn von ca. 70%... Das nenn ich mal ineffizient

Bei mir rechnet sich das runterfahren der Festplatten, ich tausche ungefähr alle zwei Jahre die Festplatten des RAID5 und zahle auch ungefähr 0,19€/kWh. Allerdings hab ich hier 9 Festplatten, die real 6,2 Watt im Idle brauchen sind es schon ~10,6 Cent die ich pro Stunde die sie runtergefahren sind sparen kann.

Das das wirklich ein real nachgemessener Wert mit den 6,2W pro HDD im idle? Das klingt in meinen Augen für eine HDD ziemlich viel...

Den Platten schadet es nicht, wenn du es richtig einstellst!
Alle paar Sek./Min. ist natürlich quark aber für einige Stunde.... Wieso nicht?

Schaden oder nicht kann man wohl nicht pauschalisieren. Ich denke aber man kann es als Fakt ansehen, das ein Starten der HDD eine weit höhere Belastung auf die Bauteile ausübt, als das weiter laufen... Auch HDDs sind ja mit bestimmten Anzahl an Start/Stop Zyklen spezifiziert. Wobei man wohl sagen kann, eine Desktop HDD im Dauerbetrieb ist mindestens genau so außer den vorgesehenen Spezifikationen wie ne 15k Server HDD im alle paar min Start/Stop Betrieb

 

[Michael`]

Hab gerade noch eine vierte Platte dazugesteckt. Das dauert ja eeeeeeewig:

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sde1[3] sdb1[0] sdc1[2] sdd1[1]
3907023872 blocks super 0.91 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
[>....................] reshape = 1.2% (23942488/1953511936) finish=2078.5min speed=15470K/sec

Wie lange dauert sowas bei HW-RAID-Controllern der normalen Preisklasse?

Ich werde dann noch Benchmarks nachliefern, wenn der reshape fertig ist.


MfG,
Michael

 

[fdsonne]

Bei nem Hardwarecontroller kannst du die Priorität für sowas verändern, sprich die Rebuild oder Erweiterungsgeschwindigkeit...

Ich würde aber bei sowas immer bisschen vorsichtig sein... Es gab hier schon einige, welche sich bei sowas da Raid zerkloppt haben. Dann lieber Raid auflösen und neu aufbauen

 

[Michael`]

Neja also die Werte sind aber nun immernoch nicht das wirklich Wahre... Denn wie ich oben schon geschrieben habe:
Du hast von der alten zur neuen CPU in etwa 300% Performancegewinn. Sprich die neue CPU kann in etwa drei mal so viel in der selben Zeit berechnen als die alte. Aber du erreichst nur einen Leistungsgewinn von ca. 70%... Das nenn ich mal ineffizient

Ich denke mal das liegt daran, dass dmcrypt nicht mit mehreren Kernen umgehen kann. Ein Patch ist zwar schon verfügbar, aber ich möchte umgerne am Debian Kernel rumfummeln ( '[PATCH] DM-CRYPT: Scale to multiple CPUs v2' - MARC ).

Ich würde aber bei sowas immer bisschen vorsichtig sein... Es gab hier schon einige, welche sich bei sowas da Raid zerkloppt haben. Dann lieber Raid auflösen und neu aufbauen

Beim priorisieren oder beim reshaping?



MfG,
Michael

 

[josen]

Hab gerade noch eine vierte Platte dazugesteckt. Das dauert ja eeeeeeewig:
Wie lange dauert sowas bei HW-RAID-Controllern der normalen Preisklasse?

Ich werde dann noch Benchmarks nachliefern, wenn der reshape fertig ist.

Du kannst die minimale Geschwindigkeit zu Lasten deiner anderen Prozesse erhöhen:

# Entspricht 100MiB/sec angestrebter minimaler Durchsatz für Software-RAID Rebuild/Reshape
echo 100000 > /proc/sys/dev/raid/speed_limit_min

Kein Neustart notwendig, einfach /proc/mdstat anschauen und (hoffentlich) freuen

Grüße

 

[Michael`]

Hat nichts gebracht
Schade eigendlich.

 

[josen]

Hallo,

ich hab gerad was Freizeit, wenn du Lust hast, schreib mir eine PN mit irgendeiner Messenger-Adresse und wir schauen mal, was wir da noch ohne Gefahr für deine Daten rausholen können

Grüße

 

[fdsonne]

Ich denke mal das liegt daran, dass dmcrypt nicht mit mehreren Kernen umgehen kann. Ein Patch ist zwar schon verfügbar, aber ich möchte umgerne am Debian Kernel rumfummeln ( '[PATCH] DM-CRYPT: Scale to multiple CPUs v2' - MARC ).

Jain... Das ist sicher ein Grund warum die Datenrate grundsätzlich erstmal etwas niedrig ist, aber dennoch ist die reine Leistungssteigerung zwischen der alten und der neuen CPU in meinen Augen sehr Mau bei dem, was an Leistungszuwachs theoretisch hinzu kommt.

Denn wie gesagt, du verwendest zwei Tasks auf der CPU, welche sich potentiell jeweils einen Core nehmen könnten (und auch werden, sofern mindestens einer der beiden einen Kern voll auslastet)

Da aber nicht nur ein Kern hinzu gekommen ist, sondern auch die CPU ansich um knappe 50% höher Taktet, müsste alles in Summe theoretisch deutlich mehr Performance bringen....

Ich hätte so um die 60-70MB/sec erwartet. Zumal das Linux Raid normal auch Multithreaded arbeiten kann...

 

[josen]

Hallo,

fdsonne, du verwechselst da verschiedene E/A-Schichten. Beim OP sieht es so aus:

1. Festplatten
2. Software-RAID
3. DM-Crypt/TC/o.ae (haben wir nicht drueber gesprochen)

Das Reshaping des Software-RAIDs braucht keine Verschluesselung, sondern erweitert nur den zur Verfuegung stehenden Platz fuer seinen Container oder sein verschluesseltes Dateisystem. Das zu erweitern (nach dem Reshape) wird dann seine Verschluesselungs-Software machen.

Ich hab ihm gestern noch ein paar Tips per ICQ geben koennen. Leider konnten wir die essentielle Verbesserung fuer den Reshaping-Durchsatz nicht einseten, das Reshaping lief schon.

Vielleicht meldet er sich im laufe des Tages noch und gibt ein Feedback zu den Optimierungen

Gruesse

 

[fdsonne]

Hallo,

fdsonne, du verwechselst da verschiedene E/A-Schichten. Beim OP sieht es so aus:

1. Festplatten
2. Software-RAID
3. DM-Crypt/TC/o.ae (haben wir nicht drueber gesprochen)

Das Reshaping des Software-RAIDs braucht keine Verschluesselung, sondern erweitert nur den zur Verfuegung stehenden Platz fuer seinen Container oder sein verschluesseltes Dateisystem. Das zu erweitern (nach dem Reshape) wird dann seine Verschluesselungs-Software machen.

Ähm ja, soweit ja logisch, aber wo siehst du damit jetzt einen Zusammenhang zwischen meinem Post und dem von dir?

 

[josen]

Hallo,

@fdsonne, du hast vermutlich Recht. Ich sollte wohl genauer lesen Sieh es mir nach, bin noch ein (alter) Newbie.

@Michael´, wir hatten über einen speziellen Kernel für Debian GNU/Linux "lenny" gesprochen, der sowohl AES-NI als auch einige andere Dinge für den Anwendungsfall "privater stromsparender stabiler Homeserver" hat. Du wolltest ihn gern mal ausprobieren. Hier findest du den Kernel, den ich aktuell einsetze mit Erklärung, warum der nun gerade so eingestellt ist:


Software-RAID Kernel für Debian GNU/Linux 5.0 "lenny" - Homeserver

Grüße

 

[Michael`]

Also josen und ich haben über ICQ miteinander gesprochen und versucht die Datenrate des reshapings zu erhöhen (als es schon lief).

Eine Verbesserung brachte das erhöhen des Lese-Cache und des Stripe-Cache RAID-Volumes:
blockdev —setra 4096 (war vorher auf 512)
und
echo 8192 > /sys/block/mdX/md/stripe_cache_size

Danach lief das reshaping 4-5MB/s schneller (immerhin 25%):

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4]
md0 : active raid5 sde1[3] sdb1[0] sdc1[2] sdd1[1]
3907023872 blocks super 0.91 level 5, 64k chunk, algorithm 2 [4/4] [UUUU]
[=>...................] reshape = 6.9% (136075968/1953511936) finish=1505.5min speed=20116K/sec

Aufgefallen ist mir, das ab ca. 60% das reshaping auf ~32MB/s hoch ging. Das ist anscheinend kein einzelfall: http://www.net17.de/projekte/linuxraid/

@josen:
Danke für den Kernel. Ausprobieren wird aber leider schwierig, da ich nicht über 2.6.30 kann (meine ISDN-Karte hat nur Treiber bis 2.6.30. Wenn ich da drüber geh funktioniert die Karte nicht mehr und dann haben hier 5 Leute kein Telefon mehr )


Anderes Thema:

Bisher hatte ich immer /dev/md0 mit hdparm gebencht. Das bringt natürlich wenig bei verschlüsselten Dateisystemen (ausser man möchte den krassen unterschied zwischen verschlüsselt/unverschlüsselt sehen). Richtig wäre:

hdparm -tT /dev/mapper/[mapper_device]

Bei mir:

hdparm -tT /dev/mapper/RAID5

/dev/mapper/RAID5:
Timing cached reads: 7786 MB in 2.00 seconds = 3902.19 MB/sec
Timing buffered disk reads: 176 MB in 3.01 seconds = 58.42 MB/sec

AUA!!! Jetzt weiß ich auch, wo meine Samba-Leserate von 56MB/s herkommt!



MfG,
Michael

 

[Michael`]

So, gerade auf Gentoo umgesattelt (2.6.34). Die Performance wird um einiges besser:

hdparm -tT /dev/mapper/RAID5:

/dev/mapper/RAID5:
Timing cached reads: 8660 MB in 2.00 seconds = 4332.37 MB/sec
Timing buffered disk reads: 292 MB in 3.00 seconds = 97.25 MB/sec


Demnächst werde ich dann noch die Optimierungen von josen ausprobieren um evtl. doch noch die 100MB/s Marke zu knacken


MfG,
Michael

 

[hostile]

So, gerade auf Gentoo umgesattelt (2.6.34)

gruß
hostile

 

[NuClEoNiD]

[...]
Software-RAID Kernel für Debian GNU/Linux 5.0 "lenny" - Homeserver

Danke für diesen Link! Mal sehen was mir dieser Kernel bringt.

So, gerade auf Gentoo umgesattelt (2.6.34). Die Performance wird um einiges besser:

hdparm -tT /dev/mapper/RAID5:

/dev/mapper/RAID5:
Timing cached reads: 8660 MB in 2.00 seconds = 4332.37 MB/sec
Timing buffered disk reads: 292 MB in 3.00 seconds = 97.25 MB/sec

Warum ist die Performance unter Gentoo soviel besser? Für 40MB/sec würd ich so einiges tun...
Hat da jemand n Link für mich?

Demnächst werde ich dann noch die Optimierungen von josen ausprobieren um evtl. doch noch die 100MB/s Marke zu knacken

Viel Erfolg dabei. Bitte lass das Forum an deinen Fortschritten teilhaben.



Gruß,
NuClE

 

[Michael`]

Hi,

hab leider momentan wenig Zeit. Ich werde mich vorraussichtlich zum Wochenende nochmal melden.

Hier kurz meine neue Kernel-Config (Gentoo 2.6.34, gentoo-sources).

(Man beachte CONFIG_MULTICORE_RAID456=y, ist noch experimentell, scheint aber die Leistung enorm zu steigern. Wenn ich Zeit habe werde ich mal mit/ohne benchen)



MfG,
Michael

 

[fdsonne]

Das klingt für mich nach dem Parameter der Multicore Unterstützung für die Paritätsdatenberechnung im der Raidlevel 4, 5 und 6
Würde also erklären, warum hier die Leistung enorm steigt, zumindest sofern eine Multicore CPU verbaut ist, bzw. ein Multi CPU System benutzt wird.