gibs erfahrungen mit 6 * wd20ears hdds im raid 5

[Robocop1981]

hi,
ich habe vor 6* 2tb platten (wd20ears) im raid 5 an ein Adaptec 6805 zu hängen

gibt es Erfahrungen mit diesen platten im raid ?

 

[HisN]

Ich hab 10 davon am laufen ....

laufen immer noch.

Was willst Du eigentlich hören? Geht die Fragestellung genauer? Willst Du wissen was ohne TLER passiert wenn Fehler auftreten?

 

[Robocop1981]

ja hab ein bissel bange wegen tler ,
wobei früher meine 4* wd10eads auch reibungslos liefen

oder inzwischen hört man doch nur noch fehlern von schwebene oder def sektoren bei den neueren wd platten und von irgentwelchen firmware bugs ob sich das im raid anders auswirkt ?

 

[HisN]

Öhm, wenn ein Defekt auftritt dann tritt er auf. Egal ob die Platte im Raid oder Single läuft. Meine sind glücklicherweise noch nicht ausm Raid geflogen, ich hab allerdings auch keine Möglichkeit die Smart-Werte zu prüfen.

Allerdings mach ich mir da auch gar keinen Kopf (warum auch), schließlich gibt nur ein Backup Sicherheit.

 

[crooks]

Mal 2 ganz dumme Fragen:
Wozu braucht man Raid 5 eigendlich? Ich meine Raid 0 verstehe ich noch das soll Geschwindigkeit bringen...
Mal was anderes: Wieviel bringt denn Raid 0 gegenüber AHCI einzelbetrieb?
Sagen wir laut HD Tune Pro hat die Platte einzeln einen Min/Max Lesegeschwindigkeit von 100/118 MB/s wieviel ist da mit Raid 0 drin?

 

[underclocker2k4]

http://www.hardwareluxx.de/community/f15/raid-guide-2-a-703792.html

Schon gelesen? (wenn nicht, dann ma schnell)

 

[crooks]

Ja soweit ich das verstanden habe verliert man 20% Speicher es kann aber ruhig mal eine Platte abrauchen...

Aber ich hab gelesen die Schreibgeschwindigkeit soll geringer sein?

 

[underclocker2k4]

Der Verlußt ist abhängig von der Plattenanzahl, da immer genau eine Platter "Verlußt" ist.
Bei 100HDDs hätte man also 1% Verlußt.

Die Schreibgeschwindigkeit ist geringer als bei einem RAID0 gleicher Größe.

 

[HisN]

Und man braucht Raid5 damit man einen großen zusammenhängenden Datenträger hat bei dem auch mal eine Platte abrauchen kann, ohne dass man dadurch an der Arbeit gehindert wird.

 

[crooks]

THX!

Also ich habe ine WD20EARS und bin recht zurfrieden die Gewschwindigkeit passt und sie ist sehr leise....

Das einzige Manko sie wird recht heiss! Besonders wenn mehrere Platten übereinander liegen wirst du sie mit Luftkühlung nicht unter 55°C halten können.

 

[Handle]

Das einzige Manko sie wird recht heiss! Besonders wenn mehrere Platten übereinander liegen wirst du sie mit Luftkühlung nicht unter 55°C halten können.

Das ist definitiv falsch. Ich habe 3 WD20EARS im RAID5 an einem Areca ARC-1210 und die sind immer um die 30°C warm. Werden nur von einem 120mm-Lüfter auf niedriger Drehzahl angeblasen.
Mit den Platten habe ich keine Probleme, leise, recht schnell und wenig Vibrationen, auch ohne TLER keine Probleme im RAID.

 

[Robocop1981]

Ok dank euch ,platz ist im tower da sind die platten nicht so eng übereinander bin selbst neugierig wie warm die werden .

 

[crooks]

Das ist definitiv falsch. Ich habe 3 WD20EARS im RAID5 an einem Areca ARC-1210 und die sind immer um die 30°C warm. Werden nur von einem 120mm-Lüfter auf niedriger Drehzahl angeblasen.
Mit den Platten habe ich keine Probleme, leise, recht schnell und wenig Vibrationen, auch ohne TLER keine Probleme im RAID.

Ja aber wo? In nem externen oder in nem PC Tower?

Und vorallem wie eng sitzen die Platten übereinander?

Ich meinte ehr das die in externen Gehäusen in denen nicht viel Platz ist sicher recht heiss werden daher würde ich lieber nen Midi Tower oder größer nehmen...

 

[Handle]

Midi-Tower in den Festplattenschächten, Abstand ca. 15 mm. Solange da Luft durchziehen kann, werden die sicher keine 55°C heiß.

 

[Robocop1981]

meine 6 wd20ears sind da

lustig , das es nur noch um Temperaturen geht wenn sie zu warm werden muss halt ah lüfter davor...

 

[Die Raiderin]

Hallo Jungs,

das Thema hier finde ich interessant, ich will mir nämlich auch so ein raid 5 aus vier von diesen Platten bauen.

Werden die Platten echt so heiß? Ich hatte gehört, die WD20EARS sollen besonders wenig Strom verbrauchen. Dann können die doch auch nicht stark aufheizen, oder? Die Hitze muss doch direkt vom Stromverbrauch her kommen, ist doch beim Ofen oder beim Fön genauso, Leistung rein ist Hitze raus.

Hat hier eigentlich auch einer die Raid-Platten direkt am Mainboard? Will ich nämlich so machen...

 

[Handle]

Nein, die werden natürlich nicht so heiß, wie ich bereits zuvor geschrieben habe. Um die Platten auf 55°C zu kriegen müsste man die wohl in einem unbelüfteten Gehäuse direkt aufeinander Stapeln und dazu sommerliche Außentemperaturen haben.
In Cases mit Festplatten-Bay und Lüfter davor sind's um die 30°C (kälter wäre auch nicht gut für die Lebensdauer), in anderen belüfteten Cases evtl. 5 bis max. 10°C mehr.

Hatte die Platten zuvor im RAID5 am Mainboard (ICH10R), aufgrund der eher schwachen Performance bei etwas gefüllten Platten habe ich aber einen Hardware-Controller gekauft. Bei 1/3 voll war mein RAID5 am ICH10R bei 50-70 MB/s schreibend und 100-120 MB/s lesend, an meinem Areca ARC-1210 habe ich jetzt ca. doppelt so viel Performance.

 

[ulukay]

bisl wenig wenn du 6 platten im raid5 hast?
bei 3 waers in ordnung.

edit: achso, du hast 3
da lob ich mir linux, da ist software raid schnell

schreibend auf 3 samsung f3 ecogreenirgendwas 5400rpm
sw raid5, 256bit aes

dd if=/dev/zero of=/daten/testfile bs=1M count=2048
2048+0 records in
2048+0 records out
2147483648 bytes (2.1 GB) copied, 12.9267 s, 166 MB/s

 

[Die Raiderin]

da lob ich mir linux, da ist software raid schnell

Freut mich, will ich auch so machen Sogar mit 4 Platten.

schreibend auf 3 samsung f3 ecogreenirgendwas 5400rpm
sw raid5, 256bit aes

Kannst du was über die CPU-Last dabei sagen? Du hast nämlich eine extrem schnelle CPU (i7), dazu extrem übertaktet. So was starkes habe ich lange nicht, ich habe einen AMD Phenom mit 4 Kernen, das ist schätze ich mal etwa halb so schnell, oder? Das aes hat meine CPU auch nicht eingebaut. Jetzt frag ich mich natürlich ob das bei mir klappen wird. Sicher nicht, wenn du schon 100% CPU-Last hättest.

(2.1 GB) copied, 166 MB/s

Reichen 2GB für die Geschwindigkeit zu messen? Oder werden die vom Dateisystem im Speicher (heißt bei Linux glaube ich "buffers/cached" oder so) zwischengelagert? Die passen doch locker in deine 12GB RAM.

 

[ulukay]

hab meinen server vor kurzem umgeruestet:

$ cat /proc/cpuinfo|egrep 'MHz|name'
model name      : AMD Phenom(tm) II X4 910e Processor
cpu MHz         : 800.000
model name      : AMD Phenom(tm) II X4 910e Processor
cpu MHz         : 800.000
model name      : AMD Phenom(tm) II X4 910e Processor
cpu MHz         : 800.000
model name      : AMD Phenom(tm) II X4 910e Processor
cpu MHz         : 800.000

im normalmodus rennt der mit 2600mhz

$ free
             total       used       free     shared    buffers     cached
Mem:      16470004   16378412      91592          0     172240   13447928
-/+ buffers/cache:    2758244   13711760
Swap:            0          0          0

16 gig ram

# cat /proc/mdstat 
Personalities : [raid6] [raid5] [raid4] 
md3 : active raid6 dm-4[0] dm-5[5] dm-6[4] dm-7[3] dm-3[2] dm-2[1]
      7814055936 blocks level 6, 128k chunk, algorithm 2 [6/6] [UUUUUU]
      
unused devices: <none>

~# ls -la /dev/mapper/samsung*
lrwxrwxrwx 1 root root 7 Jul 13 17:25 /dev/mapper/samsung1 -> ../dm-2
lrwxrwxrwx 1 root root 7 Jul 13 17:25 /dev/mapper/samsung2 -> ../dm-3
lrwxrwxrwx 1 root root 7 Jul 13 17:25 /dev/mapper/samsung3 -> ../dm-4
lrwxrwxrwx 1 root root 7 Jul 13 17:25 /dev/mapper/samsung4 -> ../dm-5
lrwxrwxrwx 1 root root 7 Jul 13 17:25 /dev/mapper/samsung5 -> ../dm-6
lrwxrwxrwx 1 root root 7 Jul 13 17:25 /dev/mapper/samsung6 -> ../dm-7

6 platten raid6 - also double parity. wie man sieht aber 6 gecryptete platten

hiern benchmark

dd if=/dev/zero of=/daten/testfile bs=1M count=32000

und daneben iostat laufn lassn - 10 sekunden gemittelt:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.55    0.05   90.80    2.89    0.00    4.71

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sdc            1023.30       135.20     60357.20       1352     603572
sda              11.80         0.00       187.75          0       1877
sdd            1687.70        97.20     60805.20        972     608052
sde            1545.90       148.00     57833.60       1480     578336
sdb             132.70       116.00     62987.20       1160     629872
sdf            2480.20        92.80     60282.40        928     602824
sdg            2355.20       135.60     60734.40       1356     607344
sdh               0.00         0.00         0.00          0          0
dm-0              3.50         0.00        13.35          0        133
dm-1              0.00         0.00         0.00          0          0
dm-2          15818.70       148.00     63126.80       1480     631268
dm-3          15813.70       116.00     63138.80       1160     631388
dm-4          15820.40       145.60     63136.00       1456     631360
dm-5          15813.50       135.60     63118.40       1356     631184
dm-6          15808.60        92.80     63141.60        928     631416
dm-7          15808.50        97.20     63136.80        972     631368
md3            3951.70       221.20    252428.40       2212    2524284

~250mb/s write
beim read bekommt man runde 300mb/s zusammen.

--
beim umruesten hab ich 3 neue samsungs reingeklopft, und von 3 samsungs@raid5 auf 6 samsungs@raid6 umgestellt. derweilen war alles ganz normal gemountet und in use. das raid reshapen hat so um die 30 stunden gedauert. dannach ein xfs_grow auf den mountpoint und fertig war die ganze sache

 

[Die Raiderin]

Cooler Server. Finde ich beeindruckend.
Die CPU scheint die Last ja gerade so zu schaffen (Festplattenleistung super aber auch 90% CPU im Mittel).

 

[underclocker2k4]

Dazu ist die CPU ja da. Die soll ja schwitzen. Für den Preis eines ausgewachsenen Controller könnte Ulu auch direkt ein Dual System anschaffen und dann wären die Platten erstmal das Problem.

Für nen Fileserver wäre das aber totale Verschwendung. In der Regel sind die @home per gbit angebunden und damit reichen 100MB/s aus. -> die CPU hat also auch noch genügend Zeit andere Sachen zu machen

 

[Die Raiderin]

Finde ich ja auch gut so. Was ich meine ist, ulukay hat die CPU richtig gut ausgereizt, bei nur einer Platte mehr würde sie wohl zum Flaschenhals.

 

[ulukay]

ja gut, ich betreibe auch ein, zwei virtuelle pcs.
werde jetzt aber wohl erstmal 2 infiniband karten kaufen um den server mit dem gaming-pc zu verbinden. bei 29 euro das stueck fuer 10 (bzw 8)gbit/s, kann mans schonmal probieren

 

[underclocker2k4]

Dann berichte mal bitte von der Operation.

 

[su]

6 gecryptete platten

wie machst du das denn, gibts du bei jedem start 6mal das passwd ein? oder kannst du dir gar 6 verschiedene merken? ich vermute mal dass du die eingibst und die nicht als datei auf den unverschlüsselten partitionen liegen

sind die 16 gig ram wirklich so randvoll wie es aussieht? wenn ja: liegt das an den virtuellen pcs oder braucht das raid echt gigs an speicher?

 

[ulukay]

ich habe insgesamt 8 verschluesselte platten
auf einer liegt auch ein key

ja der ram wird fast vollstaendig genutzt dank linux
wenn du genau schaust, siehst du, dass er 13,4gb (file)cache hat

 

[su]

ich habe insgesamt 8 verschluesselte platten
auf einer liegt auch ein key

genial.
also fragt dich luks beim booten nach dem pw der einen platte und das os holt sich dann von der den key der alle anderen öffnet?
hast du dafür selbst skripte geschrieben oder geht das alles mit bordmitteln?
und ist was besonderes zu beachten beim update-initramfs und dergleichen?

 

[ulukay]

ne das oeffnen der restlichen platten mache ich mit einem eigenen script.
ist ja auch nur die aneinander-reihung von "cryptsetup" commandos und einem mdadm zum starten des raids

 

[su]

kannst du das skript mal posten?

was limitiert jetzt die raid-geschwindigkeit, sinds die platten, die cpu oder das mainboard? von areca-controller oder so les ich da ja nix.