Raid 50 mit 8x 320GB am 3ware 9550 8LP ???

[itanium2k7]

Hallo,

da ich schon seit jahren hier fleissig mitlese, hab ich mich nun doch mal entschlossen mich zu registrieren

Ich möchte für meinen Server/Workstation ein Festplatten Raidsystem aufbauen:
Das Ziel soll "hohe" lese und gute Schreibgeschwindigkeit sein dabei soll es aber auch Ausfallsicherheit (von 1 drive) bieten.

Momentan sitzt in meinem Xeon 2,4er Server ein 3ware 9550 8LP im PCI-X 133er Slot mit 2x Seagate 320GB SATA2 Enterprise Serie als single drive!

Ich habe demnächst vor 6 weitere dieser Festplatten zu kaufen...

jetzt stellt sich die Frage, ob ich ein normales Raid 5 mit diesen 8 HDDs erstelle oder gleich ein Raid 50 ----> 2x 4HDDs im Raid5 und diese als Raid0 verbunden = Raid 50, das müsste doch laut weniger benchies die ich fand um einiges schneller sein oder?

Hat jemand von euch sowas schonmal erstellt und kann etwas dazu sagen? hier wird oftmals nur vom Raid5 bzw auch mal Raid6 gesprochen aber nie so wirklich vom Raid50, als wenn das keiner mag:-(

Bricht der 3ware sehr stark ein wenn er die parität von 2 Raid5 berechnen muss oder geht das noch?

Was die Controller ja noch bieten das man sich 2x 4Port Controller holt so das jeder Controller die Parität selbst berechnet und sie dann im Raid0 verbunden sind um halt die Last zuverteilen, wie es in großen Datenbankenservern der Fall ist.

Was würdet ihr tun?

Ich bin für jede Info,Verbesserung;Kritik dankbar!

mfg itanium

 

[KurzGedacht]

Die totale Datentransferrate dürfte steigen... die Latenzen allerdings auch!
Kommt also auf die Anwendung an obs sinnvoll ist oder nicht!

 

[VoooDooo]

wie is den die Kiste ans Netzwerk angebunden bzw. was machst du damit??? Ein ganz normales RAID5 aus so vielen Platten dürfte nen Gigabit-LAN-Adapter schon überfordern!!!

 

[itanium2k7]

wie is den die Kiste ans Netzwerk angebunden bzw. was machst du damit??? Ein ganz normales RAID5 aus so vielen Platten dürfte nen Gigabit-LAN-Adapter schon überfordern!!!

die "Kiste" hat momentan eine Intel Pro/1000 MF drin (2te liegt im Schrank) wahrscheinlich wird sie aber gegen eine Dual ausgetauscht oder halt beide mittels teaming zusammengeschaltet! PCI-X Steckplätze sind genügend vorhanden!

Angebunden ist die Workstaion an einem 3com 4060 Backbone Switch das heisst im Netzwerk ist genug Power und am Switch liegts auch nicht

Auf dem Server sollen große Datenmengen meistens Files im 10GB Bereich hin und her kopiert werden, Videobearbeitung/Konvertierung findet auch statt.

Überfordert? ---> JA! beim lesen aber nicht beim schreiben, die Schreibperformance mit einem normalen Raid5 ist nicht grade sehr hoch, deshalb dachte ich halt 2 getrennte Raid 5 und diese dann als Raid 0 verknüpfen, halt Raid 50

 

[Srider]

Am besten,gehst du damit auch nochmal in das Server-Forum,da können mehr Leute aus Erfahrung sprechen,als hier.

 

[itanium2k7]

Am besten,gehst du damit auch nochmal in das Server-Forum,da können mehr Leute aus Erfahrung sprechen,als hier.

ja mag sein aber da es ja direkt um Festplatten geht würde das sicher wieder hierher verschoben werden

 

[DaReal]

Ich denke mal ob nun Raid 50 oder Raid 6 mit 8 HDDs an einem Controller sollte sich nix nehmen, wird bei beiden ca. gleich viel an parität berechnet.

http://www.hardware.feichti.com/gfx/server/g/ex8350-atto.jpg
Eine schöne Bench-Tabelle von Feichti, zwar mit dem Promise EX8350 aber man kann das sicherlich gut auf den 3Ware übertragen, wird evtl. sogar noch ein wenig schneller sein.

Demnach ist Raid 5 > Raid 50 > Raid 6 ...

 

[itanium2k7]

Ich denke mal ob nun Raid 50 oder Raid 6 mit 8 HDDs an einem Controller sollte sich nix nehmen, wird bei beiden ca. gleich viel an parität berechnet.

http://www.hardware.feichti.com/gfx/server/g/ex8350-atto.jpg
Eine schöne Bench-Tabelle von Feichti, zwar mit dem Promise EX8350 aber man kann das sicherlich gut auf den 3Ware übertragen, wird evtl. sogar noch ein wenig schneller sein.

Demnach ist Raid 5 > Raid 50 > Raid 6 ...

Danke für die gute übersicht!
hm dann bringt Raid 50 scheinbar wirklich nur was wenn man 2 Controller hat, wo jeder die Parität für sich berechnet:-(

Ich dachte eigentlich das Raid 50 etwas schneller sein wird, auch wenn er mehr zu tun hat, dürfte doch der Raid0 verbund einiges rausholen...

 

[DaReal]

Naja, ich denke mal da wird die Paritätsberechnung der limitierende Faktor sein.
Ein Raid 5 ist ja beim Lesen quasi einem Raid 0 gleichzusetzen. Die Daten sind ja auf die HDDs verteilt und werden wie beim Raid 0 halt ausgelesen, nur dass man effektiv dann nur den Speed eines Raid 0 mit 7 HDDs hat. Beim Schreiben hängts halt davon ab welchen Durchsatz der Prozessor berechnen kann. Ein Raid 50 mit zwei Controllern sollte da schon mehr performance bringen.

Vllt. wäre auch der Umstieg auf einen 9650 Controller sinnvoll, wenn die dann Leistungsmäßig noch besser sind.

 

[itanium2k7]

auch wenn das jetzt benchies von 3ware sind der 9550 zu 9650 nimmt sich kaum was, vorallem beim Raid5 ist der Unterschied sehr gering, ganz anders siehts natürlich aus der Vergleich zum 9500 bzw 8500...

3ware 9650 = 9550 >> 9500
http://www.3ware.de/products/benchmarks_9590se.asp

Ein Umstieg wäre nicht möglich weil ich kein PCI-E hab, sondern nur PCI-X da möchte ich auch gerne bleiben.

Was mich interessiert man kann doch auch mehrere Controller zusammenschalten, sprich wenn ich 2 x 9550 4 Port hätte und darauf je ein Raid5 mit 4 HDDs laufen lies und die dann intern mittels Hardware im Raid0 nicht Software im Windows vernüpfe wäre das fein.

hier sind auf 2 Seite mal alte Benchies Raid5 versus Raid 50 bassieren auf 2x 3ware 8500 4LP (die ja nicht grade die schnellsten sind)

http://www.gamepc.com/labs/view_content.asp?id=serialcompare&page=10

 

[VoooDooo]

Auf dem Server sollen große Datenmengen meistens Files im 10GB Bereich hin und her kopiert werden, Videobearbeitung/Konvertierung findet auch statt.

dann würd ich das RAID gar nicht zusammenfassen, sondern zwei getrennte betreiben. Von einem lesen, aufs andere schreiben!!!

 

[drdope]

dann würd ich das RAID gar nicht zusammenfassen, sondern zwei getrennte betreiben. Von einem lesen, aufs andere schreiben!!!

Ack;

zumal die bei einem einzelnen RAID auch Upgradetechnisch ein ziemliches gefrikkel hast.
--> Erst via OCE 8x1 HDDs tauschen und dann das Filesystem resizen..
Während der 8 OCE läufe hast du natürlich keinerlei Redundanz mehr --> Wenn da was schief läuft, darfst du das Backup bemühen.

Mit 2 einzelnen Raid5 a 4 HDDs kanst du einfach ein Raid5 (Raid A) temporär abklemmen;
4 neues HDDs nehmen, dranklemmen RAID5 erstellen (RAID C); Daten vom alten (RAID B) auf neue (RAID C) kopieren und die zuvor abklemmten HDDs (RAID A) wieder rein --> fertig....
Auf dem alten Array (RAID B) bleiben dabei auch erhalten --> Kannst ertmal 14 Tage testen ob die neuen HDDs keine Montagsmodelle waren und die alten dann verkaufen...

 

[itanium2k7]

ich weiss das 2 einzelne Raid5 besser wären aber mir gehts halt auch um die Geschwindigkeit und ein bisschen Sicherheit in Form von einem Ausfall hab ich ja auch!

Mir ist klar das es auch leute gibt die die falsche HDD (die noch ganz ist) ausbauen und dann alles total zerschiessen aber aber bei sowas muss man halt Aufpassen, beim Elektriker stell ich mir das viel schlimmer vor, wenn er die falsche Phase abklemmt.

wahrscheinlich muss ich die ganze Sache selbst mal durchbenchen Raid5 und Raid50 mit 8 bzw 6 HDDs..


weiss jemand was das hier für Festplatten waren? und wie die richtigen lese und schreibwerte im Windowsbereich aussehn, das ist ja mehr theorie, ich suche mehr sowas wie von Rechner 1 zu Rechner 2...

Weil ein Raid5 mit 3 platten ist doch richtig langsam beim Schreiben oder?
http://www.hardware.feichti.com/gfx/server/g/ex8350-atto.jpg

 

[DaReal]

http://hardware.feichti.com/server.html

8x Samsung T133 400 GB

 

[itanium2k7]

http://hardware.feichti.com/server.html

8x Samsung T133 400 GB

okay gut zu wissen!

aber wie sieht es mit der reelen lesen und Schreibgeschwindigkeit aus?

Bei einem Kollegen von mir, der hat sich grade ein Raid5 mit 3x500GB Seagate ES SATA2 am 3Ware 9500 eingerichtet und laut seinem testen (kopieren von Datein im Total Commanader) kommt er auf eine Schreibrate von 7MB/s, müsste das nicht wenigestens etwas höher liegen?

 

[drdope]

aber wie sieht es mit der reelen lesen und Schreibgeschwindigkeit aus?

Bei einem Kollegen von mir, der hat sich grade ein Raid5 mit 3x500GB Seagate ES SATA2 am 3Ware 9500 eingerichtet und laut seinem testen (kopieren von Datein im Total Commanader) kommt er auf eine Schreibrate von 7MB/s, müsste das nicht wenigestens etwas höher liegen?

Ich hab hier 2x9500 mit 4x Raid5 a 4HDDs in Betrieb, beim kopieren von einem Array zum anderen komme ich auf ~70-85MB/s (also lineares lesen/schreiben im exklusiven Zugriff) --> Details zur Hardware findest du in meiner Sig. ab Post 23 (davor ist die alte Konfig), ein paar Benches müßten da auch noch drin rumfliegen...

 

[itanium2k7]

Ich hab hier 2x9500 mit 4x Raid5 a 4HDDs in Betrieb, beim kopieren von einem Array zum anderen komme ich auf ~70-85MB/s (also lineares lesen/schreiben im exklusiven Zugriff) --> Details zur Hardware findest du in meiner Sig. ab Post 23 (davor ist die alte Konfig), ein paar Benches müßten da auch noch drin rumfliegen...

das sieht natürlich schon nach was aus!
Die Bilder von deiner Workstation hab ich schon mal gesehn, solltest mal die 3ware Controller vom Staub befreien *fg*
im Vergleich zu den 7MB bei 3 HDDs im Raid5 auf diesem Controller

Also dann dürfte sich ja die lese/Schreibleistung bei 5,6,7 und 8 HDDs noch erheblich erhöhen so das wohl ein Raid50 mit einem Controller leider langsamer ist:-(

 

[drdope]

das sieht natürlich schon nach was aus!
Die Bilder von deiner Workstation hab ich schon mal gesehn, solltest mal die 3ware Controller vom Staub befreien *fg*

Da geh ich jetzt wo das Wetter besser ist einfach mal draußen mit nem Kompressor rüber; im Winter mach ich das ungern, weil man indoor damit eh nur den Staub neu verteilt...

im Vergleich zu den 7MB bei 3 HDDs im Raid5 auf diesem Controller

Also dann dürfte sich ja die lese/Schreibleistung bei 5,6,7 und 8 HDDs noch erheblich erhöhen so das wohl ein Raid50 mit einem Controller leider langsamer ist:-(

7MB/s ist arg wenig, evtl den Schreibcache deaktiviert?

 

[itanium2k7]

Da geh ich jetzt wo das Wetter besser ist einfach mal draußen mit nem Kompressor rüber; im Winter mach ich das ungern, weil man indoor damit eh nur den Staub neu verteilt...


7MB/s ist arg wenig, evtl den Schreibcache deaktiviert?

das mit den 7MB/s hat sich erledigt bei ihm stimmte irgendwas mit dem Raid nicht

Was mich ein wenig wundert bei diesem screen, normalerweise müsste doch von rechts nach links ein abfall des Graphen stattfinden, hier sieht das aber so aus als wenn irgendwas ausbremst oder?

3x 500GB Seagate ES SATA2 Raid5
3ware 9500 8 Port
256k

oder ist das so okay?

was mich noch interessiert, wieso hast du 2x den 3ware 9500 8 Port drin und das auf 2 getrennten Raid5s, machst du das wegen der Sicherheit? , weil der Speicherverlust durch die Parität müsste doch gleich sein wie bei einem Raid5 mit 8 HDDs an einem Controller und zu dem noch mehr Geschwindigkeit!?

 

[drdope]

Was mich ein wenig wundert bei diesem screen, normalerweise müsste doch von rechts nach links ein abfall des Graphen stattfinden, hier sieht das aber so aus als wenn irgendwas ausbremst oder?

Ich geb mich eigentlich nicht mit synthetischen Benches ab, das bringt imho wenig --> Übertrage einfach mal eine definierte Menge an Daten und stopp die Zeit und schau was an realer Datenrate rauskommt.

Schau mal in der 3Ware Knowledgebase, da sind ein paar Artikel über Benchmarking zu finden, evtl. helfen diese auch weiter....

was mich noch interessiert, wieso hast du 2x den 3ware 9500 8 Port drin und das auf 2 getrennten Raid5s, machst du das wegen der Sicherheit? , weil der Speicherverlust durch die Parität müsste doch gleich sein wie bei einem Raid5 mit 8 HDDs an einem Controller und zu dem noch mehr Geschwindigkeit!?

Ich hab 4x Raid5 a 4 Disks laufen, weil sich das ganze dadurch besser/kostengünstiger Upgraden läßt --> ich muß immer nur 4HDDs auf einmal tauschen, wenn ich mehr Speicherplatz brauche.
--> Ich kann immer die HDDs mit dem günstigsten Preis/GB kaufen

Performance steht bei mir auch nicht im Vordergrund, ich brauche primär Platz

Neue Daten werden nachts automatisiert per Cronjob vom Client auf den Server gesynced; lesezugriffe finden nur mit wenigen MBit statt (99% der zeit fungiert das Storage als AV-StreamingServer).

 

[Feichti]

also ganz klar das 2x4 hdds @ raid 5 besser sind vom upgraden her weil man halt nicht immer alle 8 hdds erneuern muss

so ich mach dir gerade mal ein paar windows benchs

also vom

Promise EX8350 an PCIe auf Promise EX8300 auf PCI-X auf 100 MHZ
8x400GB SATA @ raid 5 auf 4x160GB SATA @ raid 5
DVD 4,5GB hat 64 sec somit 70,6 mb/ sec

Promise EX8350 an PCIe auf Promise EX8300 auf PCI-X auf 100 MHZ
8x400GB SATA @ raid 5 auf 4x250GB SATA @ raid 5
DVD 4,5GB hat 63 sec somit 71,7 mb/ sec

Promise EX8350 an PCIe auf 3ware 7508-8 ide an PCI-X auf 100 MHZ
8x400GB SATA @ raid 5 auf 4x200GB IDE @ raid 5
DVD 4,5GB hat 63 sec somit 46,9 mb/ sec


Promise EX8300 auf PCI-X auf 100 MHZ auf Promise Ex8350 an PCIe
4x160GB SATA @ raid 5 auf 8x400GB SATA @ raid 5
DVD 4,5GB 46 sec somit 99mb/sec

Promise EX8300 auf PCI-X auf 100 MHZ auf Promise Ex8350 an PCIe
4x250GB SATA @ raid 5 auf 8x400GB SATA @ raid 5
DVD 4,5GB 98 sec somit 46,2 mb/sec


3ware 7508-8 ide an PCI-X auf Promise Ex8350 an PCIe
von 4x200gb IDE @raid 5 auf 8x400GB SATA @ raid 5
DVD 4,5GB 94 sec somit 47,7mb/sec


3ware 7508-8 ide an PCI-X auf Promise EX8300 auf PCI-X beide 100 MHZ
von 4x200gb IDE @raid 5 auf 4x250GB SATA @ raid 5
DVD 4,5GB 94 sec somit 48,4mb/sec

Promise EX8300 auf PCI-X auf 100 MHZ auf
Promise EX8300 auf PCI-X auf 100 MHZ
4x250GB SATA @ raid 5 auf 4x160GB SATA @ raid 5
DVD 4,5GB 98 sec somit 33,4 mb/sec

dazu muss ich sagen

Promise EX8350 mit 8x400gb@ raid 5 zu 79% voll
Promise EX8300 mit 4x250gb@ raid 5 zu 75% voll
Promise EX8300 mit 4x160gb@ raid 5 zu 76% voll
3ware 7508-8 mit 4x200gb@ raid 5 zu 58% voll

wenn du noch was wissen willst sags


feichti

 

[itanium2k7]

also ganz klar das 2x4 hdds @ raid 5 besser sind vom upgraden her weil man halt nicht immer alle 8 hdds erneuern muss

so ich mach dir gerade mal ein paar windows benchs

also vom

Promise EX8350 an PCIe auf Promise EX8300 auf PCI-X auf 100 MHZ
8x400GB SATA @ raid 5 auf 4x160GB SATA @ raid 5
DVD 4,5GB hat 64 sec somit 70,6 mb/ sec

Promise EX8350 an PCIe auf Promise EX8300 auf PCI-X auf 100 MHZ
8x400GB SATA @ raid 5 auf 4x250GB SATA @ raid 5
DVD 4,5GB hat 63 sec somit 71,7 mb/ sec

Promise EX8350 an PCIe auf 3ware 7508-8 ide an PCI-X auf 100 MHZ
8x400GB SATA @ raid 5 auf 4x200GB IDE @ raid 5
DVD 4,5GB hat 63 sec somit 46,9 mb/ sec


Promise EX8300 auf PCI-X auf 100 MHZ auf Promise Ex8350 an PCIe
4x160GB SATA @ raid 5 auf 8x400GB SATA @ raid 5
DVD 4,5GB 46 sec somit 99mb/sec

Promise EX8300 auf PCI-X auf 100 MHZ auf Promise Ex8350 an PCIe
4x250GB SATA @ raid 5 auf 8x400GB SATA @ raid 5
DVD 4,5GB 98 sec somit 46,2 mb/sec


3ware 7508-8 ide an PCI-X auf Promise Ex8350 an PCIe
von 4x200gb IDE @raid 5 auf 8x400GB SATA @ raid 5
DVD 4,5GB 94 sec somit 47,7mb/sec


3ware 7508-8 ide an PCI-X auf Promise EX8300 auf PCI-X beide 100 MHZ
von 4x200gb IDE @raid 5 auf 4x250GB SATA @ raid 5
DVD 4,5GB 94 sec somit 48,4mb/sec

Promise EX8300 auf PCI-X auf 100 MHZ auf
Promise EX8300 auf PCI-X auf 100 MHZ
4x250GB SATA @ raid 5 auf 4x160GB SATA @ raid 5
DVD 4,5GB 98 sec somit 33,4 mb/sec

dazu muss ich sagen

Promise EX8350 mit 8x400gb@ raid 5 zu 79% voll
Promise EX8300 mit 4x250gb@ raid 5 zu 75% voll
Promise EX8300 mit 4x160gb@ raid 5 zu 76% voll
3ware 7508-8 mit 4x200gb@ raid 5 zu 58% voll

wenn du noch was wissen willst sags


feichti

Danke für die Vergleichswerte

Was ich aber nicht ganz verstehe...

|-Promise EX8300 auf PCI-X auf 100 MHZ auf Promise Ex8350 an PCIe
| 4x160GB SATA @ raid 5 auf 8x400GB SATA @ raid 5
| DVD 4,5GB 46 sec somit 99mb/sec
|
| Promise EX8300 auf PCI-X auf 100 MHZ auf Promise Ex8350 an PCIe
| 4x250GB SATA @ raid 5 auf 8x400GB SATA @ raid 5
|-DVD 4,5GB 98 sec somit 46,2 mb/sec


wie können die 4x160GB HDDs im lesen doppelt so schnell sein wie die 4x250GB HDDs?

mich würde natürlich mal interessieren was die maximale lese/Schreibrate bei dem Raid5 mit 8x400GB hat, also das reele hin und her kopieren von großen files.

wäre es möglich dazu nebenbei auch mal HDTune + HDTach durchlaufen zu lassen und die screens hier zu posten?
hast du zufällig Winbench 99 drauf?

ansonsten schonmal Danke für die Mühe!

 

[DocEvel]

Hi Leude,

die Benchs würden mich auch mal intressieren. Momentan betreibe ich nen 3ware 7800 mit 4 x 250 im Raid5 und 2 x 2 x 320 jeweils im Raid0. Beim schreiben aufs Raid5 komme ich auch auf ca. 7 MB. Wobei das für den alten Controller normal ist. Werde aber in nächster Zeit auf nen 9500S umsteigen und bin dort mal auf die Werte gespannt.

Gruß
DocEvel