[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[synthauri]

Kleines Update:

Das staggered spinup der HD204UI funzt zumindest am 3ware 9650SE definitiv nicht. Ich hab nämlich alle Samsung-HDDs in einen zweiten Server eingebaut, bei dem 16 Hitachi-HDDs drin waren, und mit denen lief es bis jetzt immer einwandfrei. Aber auch dort wollen sie Samsung-HDDs nicht. Dabei dachte ich, staggered spinup sei in den SATA-Spezifikationen enthalten?

 

[synthauri]

Noch ein Update: Ich habe gerade einen Durchlauf des ATTO-Benchmarks auf dem neuen Server (18x 2TB Samsung HD204UI im RAID6) und auf dem Backup-Server (18x 1TB Hitachi 7K1000.B im RAID6) gemacht. Die Hitachi-HDDs sind sogar einen kleinen Tick schneller als die Samsungs, was mich aber nicht wundert, da sie eine höhere Drehzahl besitzen. Wobei ich die Hitachi 1TB-HDDs in den nächsten Tagen durch ebenfalls 2TB-Platten ersetzen werde, so dass der Backup-Server haargenau dem Hauptserver entspricht. Interesant wäre noch zu wissen, ab welcher HDD-Anzahl keine Skalierung der HDD-Performance mehr statt findet. Ich schätze, ab 8 HDDs ändert sich nicht mehr arg viel.

Anbei zwei Screenshots vom ATTO-Benchmark:



Edit: Wie ich gerade sehe, machen sie Samsung-HDDS bei einer Blockgröße von 16 kB Ärger, denn die Lese-Performance ist praktisch auf Null abgesunken. Muss ich das jetzt verstehen?
Edit2: Hab noch einen Durchlauf gemacht, und jetzt war alles ok. Ich meine aber, ich hätte dieses Phänomen schon mal in irgendeinem englischen Forum beobachtet.

 

[orpheus88]

Ist das reproduzierbar ? Allerdings hat dein Hatschi-RAID ja auch einen Einbruch (bei einer anderen Blockgröße), von daher könnte ich mir vorstellen das da einfach irgendwas auf die Platte zugegriffen hat.

 

[andichen]

16KB Blockgröße? Das müssen ja Massen an Mini-Dateien sein, damit sich das lohnt, und das bei dieser Gesamtgröße? Irre...

Ja, aber komisch ist das schon, bei offenbar 128K ist der Einbruch bei 128K-Schreiben und bei 16K bei 16K-Lesen. Haste den Test mal wiederholt und bleibt das dann bei dem Ergebnis?

Was die Geschwindigkeit betrifft, so denke ich, dass der Controller irgendwann an seine Grenze kommt. Daher kommt das wahrscheinlich auch, dass der Unterschied zwischen den Platten nicht so groß bzw. kaum sichtbar ist. Raid6 ist ja nicht gerade schnell berechnet. Wie ist der RISC eigentlich getaktet? Hab da nirgends ne Info finden können.

 

[Paralyta]

RAID5-Frage

Hallo zusammen!

Ich habe ein Problem mit meiner AMCC 3ware 9650SE-16ML. Ich hoffe jemand kann mir bei meinem Problem weiterhelfen, denn ich bin eine ziemliche Jungfrau beim Thema RAID - hatte vorher nur ein kleines Software-RAID.

Ich habe mir vor einigen Tagen obige Karte besorgt und dazu 8x 2TB WD20EARS um daraus ein RAID5 zusammenzubasteln auf das ich alsbald per Samba zugreifen möchte.
Laut einigen Foren soll diese Platten (mit 4k-Sektoren) problemlos mit dem RAID-Controller funktionieren. Außerdem habe die Platten alle nach dem Einbau mit HDTune auf fehlerhafte Sektoren getestet-> alles okay.

Der Controller wurde nach dem Einbau problemlos vom System erkannt, ich konnte per ALT+3 ein RAID5 aus den 8 Platten erstellen (ich habe die Standard-Einstellungen übernommen). Auf einer Samsung 500GB-Festplatte (HD501LJ - welche nicht am Controller hängt) habe ich ein Ubuntu 10.04 LTS x64 und ein Windows7 x64 installiert. Beide Betriebssysteme erkennen den Controller und das RAID und mit beiden wäre eine Formatierung möglich. Ich habe mich für das ext3-Dateisystem entschieden und habe Ubuntu über einen Tag formatieren lassen. Am Ende hatte ich erfolgreich eine "14 TB Festplatte" vorliegen.

Ich habe dann ein paar Daten aus das RAID5 kopiert, was ziemlich lange dauerte.
Das hat mich stutzig gemacht und deshalb habe ich mal die Lese- und Schreibgeschwindigkeiten mit einer Linux-Distribution getestet.

1. Kopieren von 4,4GB von Systempartition auf RAID5: 33,2MB/s-> das sind ca. 2GB/Minute
Das Kopieren beginnt bei 35MB/s und sinkt gegen Ende auf 33,2MB/s ab.

Da ich keine Vergleichswerte habe, kann ich selbst nicht beurteilen, wie schnell ein RAID5 mit obigen HDDs ist. Aber ich kann mir nicht vorstellen, dass das in Ordnung ist. Zumindest die maximale Schreibgeschwindigkeit der Zielplatte sollte doch erreicht werden?

2. Kopieren von 4,4GB von RAID5 auf Systempartition: 2,5MB/s-> das sind ca. 0,15 GB/Minute bzw. fast 7 Minuten um 1GB zu kopieren!

Das Kopieren beginnt bei 3,7 MB/s und sinkt gegen Ende auf 2,5MB/s ab.

Also hier kann was nicht stimmen. Das ist doch eindeutig zu langsam. Auch wenn ich beispielsweise von einer anderen internen Platte oder externen USB-3.0 Festplatte kopiere, komme ich fast nie über diese mickrigen Schreibgeschwindigkeiten hinaus.
ABER: Manchmal kann ich feststellen, dass das RAID sehr schnell kopiert (ca. 400MB in ca. 10 Sekunden) und dann wieder fast stehen bleibt und wieder nur langsam weiternuckelt.

Kann mir jemand sagen, was ich falsch gemacht habe? Muss ich das RAID irgendwie besonders konfigurieren? Habe ich vielleicht das falsche Dateisystem genutzt? Bringt es was, wenn ich NTFS nur? Oder Benötige ich spezielle Treiber oder Tools?

Das ist wie gesagt mein erstes RAID und ich stehe momentan auf dem Schlauch, da ich mir die langsamen Schreibgeschwindigkeiten nicht erklären kann. Könnte mir jemand den entscheidenden Tipp geben?

 

[synthauri]

1.) Schreibcache im 3DM2 aktivieren
2.) Da Dein RAID5 bestimmt noch am initialisieren ist (kann mehrere Stunden bis über einen Tag dauern), ist die Geschwindigkeit noch deutlich niedriger, als wenn das RAID-Array voll initialisiert wurde. Wie weit die Initialisierung fortgeschritten ist, siehst Du auch im 3DM2-Webinterface.

 

[drdope]

Partitionsalignment könnte auch noch ein prob sein, bzw durch falsches Alignment generierte ReadModifyWrite-Ops...
siehe --> Sammelthread Der "ultimative" Linux (Hardware-) Raid Aligment Filesystem Benchmark Sammelthread - Meisterkuehler

 

[synthauri]

Leider bezieht sich der von Dir verlinkte Thread nur auf Linux.
Gibt es einen ähnlichen Thread auch für Windows-Betriebssysteme?

 

[drdope]

Leider bezieht sich der von Dir verlinkte Thread nur auf Linux.
Gibt es einen ähnlichen Thread auch für Windows-Betriebssysteme?

Ehehe die Frage von bezog sich ja auf Linux....


Da ich den Thread/Post zusammen mit sc0rp aus dem MKF erstellt habe und wir beide kein Windows auf unseren Fileservern einsetzen, kann ich die Frage nur mit "zumindest nicht von uns" beantworten...

 

[gamefreaktegel]

btw. meine RAID-Migration ist durch...

Apr 24, 2011 05:55:36PM (0x04:0x0033): Migration started: unit=0 
Apr 30, 2011 11:42:15AM (0x04:0x0035): Migration completed: unit=0

von 2x WDC WD2003FYYS-02W0B0 @ RAID0
zu 4x WDC WD2003FYYS-02W0B0 @ RAID10

(das RAID0 musste ich temporär anlegen, da ich von 6x1TB komme, nun 4x2TB).

Unter Controller Settings war Fastest Rebuild auf 5 (also max.) und Last gab es auch nicht wirklich.
Warum auch immer das so ewig gedauert hat....

edit: Controller ist ein 3Ware 9650SE-8LPML.

 

[Luckysh0t]

hallo zusammen,

hat jemand den 3ware 9650se mit Seagate Barracuda XT 2 TB in benutzung bzw getestet ?

 

[Paralyta]

1.) Schreibcache im 3DM2 aktivieren
2.) Da Dein RAID5 bestimmt noch am initialisieren ist (kann mehrere Stunden bis über einen Tag dauern), ist die Geschwindigkeit noch deutlich niedriger, als wenn das RAID-Array voll initialisiert wurde. Wie weit die Initialisierung fortgeschritten ist, siehst Du auch im 3DM2-Webinterface.

Vielen Dank!

Heute konnte ich endlich wieder etwas am RAID basteln und habe gleich mal deinen Tipp ausprobiert.
Genau daran hat es gelegen.

Ich habe aber auch etwas gebraucht, bis ich das Ding überhaupt nutzen konnte.
Ich habe 3DM2 zunächst gar nicht installieren können. Windows7 x64 meldete, dass ich die Setup.exe mit diesem OS nicht nutzen kann (obwohl ich explizit die x64-Variante ausgeführt habe-> wahrscheinlich nur für XP und/oder Vista geeignet). Unter Ubuntu x64 klappte es mit der bin-Datei auf meiner CD auch nicht, so dass ich mir die aktuelle Version aus dem Netz laden musste. Mit dieser klappte es dann.

Nachdem ich den Writecache aktiviert hatte, war die Schreibgeschwindigkeit bei mehreren hundert MB/s - genauere Messungen wollte ich nach einer Systemaktualisierung machen....

ABER nach dem Neustart flog mir die Schreibcache-Einstellung wieder weg (Schreibgeschwindigkeit war wieder bei wenigen MB/s) und ich kam fast gar nicht mehr auf die 3DM2-Seite rauf. Erst nach dutzenden Versuchen und mehreren Neustarts, kam ich wieder in die Einstellungen rein und sah, dass der Haken bei write cache weg war. Ich dachte der Dienst wird nach der Installation von Linux automatisch mitgestartet und die Einstellungen überleben einen Neustart...

Wie und wo kann ich das einrichten?

 

[leucomax]

9650SE und 3 TB Hitachi

Hallo erstmal;-)
Für alle die es interessiert (entgegen der kolportierten Meinung das es HW-seitig nicht geht):
Nach Update auf die neueste Firmware erkennt der 9650SE-16ML die 3TB Hitachi-Platten korrekt.
Er baut gerade ein 16x3TB RAID6 auf - das dauert;-))

LG aus Ösi-Land

LeucoMax

 

[orpheus88]

Klingt gut am besten wäre natürlich zu Testzwecken ein RAID5 aus 3 Platten gewesen, weil man das mal "schnell" mit h2testw vollschreiben/testen könnte.

 

[gamefreaktegel]

omg... mich würde mal interessieren wie viele Leute sich aus diesem Grund nen neuen Controller geholt haben.

 

[Luckysh0t]

Hallo zusammen habe mal ne keline Frage

und zwar habe ich seit kurzem eben den 3ware und bevor meine 3. hdd kommt wollte ich mich schonmal etwas mit dem eingewöhnen mit einem raid 1

Läuft auch alles super

nur kommen die meldungen

INFO : May 15, 2011 11:58:52 AM: Controller 0: Verify started: unit=0
INFO : May 15, 2011 11:57:57 AM: Controller 0: Verify completed: unit=0
INFO : May 15, 2011 06:51:51 AM: Controller 0: Verify started: unit=0
INFO : May 15, 2011 06:51:05 AM: Controller 0: Verify completed: unit=0
INFO : May 15, 2011 01:46:50 AM: Controller 0: Verify started: unit=0
INFO : May 15, 2011 01:46:48 AM: Controller 0: Verify completed: unit=0
INFO : May 15, 2011 12:05:49 AM: Controller 0: Verify started: unit=0
INFO : May 15, 2011 12:00:09 AM: Controller 0: Controller reset occurred: resets=7

Beim altert tray tool oder wie man das auch nennen mag.

Muss ich mir da jetzt sorgen machen ?

MfG

Lucky

 

[orpheus88]

Ich muss sagen ich habe von Anfang an nicht dran geglaubt und deswegen auch gewartet mit Kauf eines neuen Controllers. Eigentlich wollte ich es selbst testen, aber bisher brauchte ich keinen zusätzlichen Platz.

@Luckysh0t installiere dir mal die aktuellste (Beta-)Firwmware und mach ein Update der restlichen Software auf Codeset 10.2

 

[Luckysh0t]

zerlegts mir bei nem FW-update die Einstellungen etc ?

 

[orpheus88]

Nope eigentlich nicht. Wenn du dir Sorgen machst kannst du das Array ja abstecken während des Updates.

 

[Luckysh0t]

Firmware FE9X 4.10.00.021
3DM2 version 2.11.00.016
API version 2.08.00.017

Das sind sie die die ich drauf habe und laut HP ist das auf dem neuesten Stand oder habe ich was übersehen ?

btw.

ich habe am anfang des threats mal was gelesen das non raid hdds eher probleme haben mit dem verify.Da ich die Barracuda XT habe und keine Constellation ES, könnte es damit zu tun haben ?

Mfg Lucky

 

[orpheus88]

Wenn du schon die aktuellsten hast und trotzdem noch Probleme, dann wird das wahrscheinlich an den Platten liegen. Die meisten hier die Desktop-Platten nutzen, machen gar kein Verify.

 

[Luckysh0t]

Hab mal das auto verify ausgeschaltet, das sollt eich dann wohl auch unter nem raid 5 auslassen oder ?

 

[orpheus88]

Jep

 

[drdope]

omg... mich würde mal interessieren wie viele Leute sich aus diesem Grund nen neuen Controller geholt haben.

Ich hab deswegen von einem 3Ware 9590SE-16ML auf einen Areca 1880ix-16 gewechselt...

Naja, der Areca ist ein "bissl" fixer und Spindown im Idle beherscht er auch, mein aärger darüber hält sich also stark in Grenzen; das einzige was mich ein bissl "anpisst", ist das ich den alten Controller für "nur" 275€ verkauft hab, weil ich den potentiellen Käufern offen gesat habe, das dieser lt. 3Ware keine HDDs > 2TB supported.

 

[GrafikTreiber]

Tja, ich werde deinen Controller erst mal nur mit 2TB-HDDs betreiben, die 3TB-HDDs sind mir noch zu teuer.
Ich habe sowieso schon 32 Festplatten in meinem Server, da machen die paar mehr den Kohl dann auch nicht fett.
Ich schreib dir dann irgendwann mal ob die 3er funktionieren.

Festplatten über 1TB verkaufen ist total unwirtschaftlich, einfach Controller dazu kaufen und ein extra Gehäuse ist bisher immer wirtschaftlicher gewesen, auch wenn man den Stromverbrauch mit ein berechnet. Die Festplatten laufen sowieso nur wenn sie müssen, sind die meisten Zeit geparkt im Stromsparmodus, ganz unkompliziert mit hdparm. Wenn ich mal alle 4 PCIE-Slots mit 16-Port Controllern voll habe werde ich wohl mal die alten verkaufen müssen, aber bis dahin gibt's dann wohl auch schon die 4TB-Platten.

@leucomax: Lies dir mal http://www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162 durch, 48TB im Raid6 sind nicht ganz ungefährlich.

Ich verwende daher maximal 16TB pro Array, immer mit ZFS im RaidZ2.

 

[orpheus88]

Also mit RAID6 sehe ich da nicht wirklich ein Problem (mehr als 16 würde ich aber auch nicht nehmen hauptsächlich wegen der Rebuild-Zeiten und ähnlichem), Außerdem sind es ja nicht wirklich 48TB sondern nur (rund) 39.2TB unter Windows.

 

[Luckysh0t]

Macht bei 4 HDDs mit je 2 TB ein RAID 5 mehr "sinn" als ein RAID 10 im bezug auf speicherausbeute und redundants ?

Mfg
Lucky


btw

sollte man mit MBR oder GPT formatieren , ist auschlieslich für Daten gedacht

 

[orpheus88]

GPT keine Frage.
Bei RAID5 hast du halt mehr Kapazität (2*2 vs. 3*2), bei dem RAID10 hast du im ungünstigsten Fall, auch nicht mehr Redundanz als beim RAID5.

 

[Luckysh0t]

wie ist das dann weil ich in dem einstellungen was gelesen habe das der controller das array in mehrere units aufteilen kann (carrving?)



was hat es damit auf sich ? bzw ist das notwendig bei >2 TB ohne os

 

[orpheus88]

Also wenn dein OS kein GPT kann, dann ist das notwendig, um mehr als 2TB des Arrays ansprechen zu können. Wenn du Auto-Carving aktivierst dann "teilt" der Controller das RAID in Stücke, mit der von dir festgelegten Größe, dadurch erscheinen die Teile als getrennte Datenträger unter Windows, bei ner Carving-Size von 2TB hast du also zwei oder drei (je nach RAID-Level) Festplatten von 2 TB-Größe unter Windows.