[Sammelthread] AMCC 3ware 9650SE PCI-e RAID-Controller (+ Kurz-Review)

[Patric_]

Jop, Switch schon getauscht, daran liegts nicht. Jumbo Frames kann ich keine nutzen, da ich viel von Boot-CDs (sprich auch verschiedenen PCs) hantiere und dann Images rumschiebe.
Aber gut, dachte ja schon mein Controller hat einen Knacks.

 

[c1c2c3c4]

Guten Tag,

ich habe ein Problem mit meinem 9650se4lp.
Bis vor kurzem hatte ich zwei Samsung 2TB in dem Controller als Raid 1 unter Suse 11.2 laufen.
Die Performance war sehr gut, bei Samba Freigaben bekam ich zwischen 40 und 80 MB Übertragungsraten.

Da ich jetzt zwei 500 GB Wds gegen s WD Red 3TB austauschen musste, wurde ein FW upgrade notwendig.
Dies führte ich unter Suse mittels 3DM2 durch. Die Performance brach danach deutlich ein.
Mittlerweile läuft auf dem System Ubuntu 12.04 mit generic driver, Firmwares habe ich einige durch,
aktuell bin ich bei FE9X 4.10.00.026 und Treiber unter Ubuntu 64bit ist 2.26.02.014.

Ich habe noch nicht versucht, einen aktuelleren Treiber zu kompilieren, die Sourcen
scheinen auch wesentlich älter zu sein als die Distri.

Es nicht so, daß nur die WDs schwächeln, auch die Samsungs sind ganz langsam geworden.
Auch unter Linux sind Schreibvorgänge super langsam. Netzwerk kann ich als Grund ausschließen.

Ich bin für jeden Tip dankbar.

Lieben Gruß
Philipp

 

[c1c2c3c4]

Guten Morgen zusammen,

ich würde das Ganze als "gelöst" bezeichnen. Mir ist - Ihr könnt mich schlagen - aufgefallen,
dass ich den 3ware sage und schreibe 5 Jahre nur an einem 1x Slot betrieben habe.
Das ist mir nie aufgefallen, nur als ich dieser Tage so viel gelesen habe über den Controller
und die Summaries zur Kontrolle in 3dm2 angeschaut, habe ich gesehen, dass da nur eine
einzige Lane zur Verfügung stand.

Das System läuft jetzt auf Suse 12.3 mit default driver und so flott wie ich es gewohnt bin.
Über Netzwerk habe ich auf das Sambashare schreibend 70-80 Mb/s, Win7 Client mit
langsamer Samsung, 9640SE mit 2 WD Red 3TB in Raid 1.

Mich würde trotzdem interessieren, ob es aktuellere Treiber für neuere Kernel gibt.

Besten Dank vorab
Philipp

 

[susannnnne]

@c1: grins... obwohl ich gedacht hätte das selbst ein x1 slot ausreichen sollte für >100mb/s

 

[butcher1de]

Guten Tag

von mir gibt es auch mal wieder was neues.

Eines vorneweg, ich bereue in keinster Weise den AMCC 3ware 9650SE PCI-e RAID-Controller 16 Port gekauft zu haben, und kann ihn eigentlich nur wärmstens empfehlen wenn 500 MB +- per sec im Raid 5 schreibend langen. Ich habe ihn jetzt seit einiger Zeit unter Windows Server 2012 am Laufen und bis dato keinerlei Probleme feststellen können. Jetzt wurde das Raid 5 von 6 x 3 TB WD auf 8 x 3 TB aufgestockt und migriert (atm ist es noch dabei). Von der Geschwindigkeit her bin ich soweit zufrieden, die Migration läuft unter Windows mit minimalster Last (abends mal eine Serie und Ftp läuft). Wenn ich damals an meinen Promise 16 Port mit 8 x 2 TB Samsung denke ist der 3Ware um Welten schneller. Allerdings kam der Promise viel besser mit SSD Raid zu Recht 600 mb+, der 3ware macht beim 500 mb + zu. Keine Ahnung warum da nicht mehr kommt, mir langt der Raid 5 Speed voll und ganz (Gbit Lan) daher ist mir das egal.

Jetzt aber eigentlich zu meiner Frage: " Warum Unterbricht der Controller abundzu den Vorgang und macht dann weiter? Temperatur der Batterie ist kein Problem, und ich denke auch nicht dass der Chip zu warm wird? Hier einmal Bilder zur Anschauung.




Grüße

 

[HomerJay]

Hallo,

kurz und knapp: Kann der 9650SE-8LPML mit 4k Sektoren umgehen (WD30EFRX)? Von der Größe sind 4 TB kein Problem, wie ich gelesen habe, zu der Sektorgröße hab ich nichts konkretes finden.

Danke

 

[A8NSLIDELUXE]

Hallo,

kurz und knapp: Kann der 9650SE-8LPML mit 4k Sektoren umgehen (WD30EFRX)? Von der Größe sind 4 TB kein Problem, wie ich gelesen habe, zu der Sektorgröße hab ich nichts konkretes finden.

Danke

Kurz und knapp: WD30EFRX funktionieren problemlos.

 

[HomerJay]

Vielen Dank.

 

[Jamma]

Jepp, das kann ich bestätigen, bei mir laufen auch 3 Stück davon problemlos!

 

[Steggi]

Mahlzeit,

hab mir jetzt auch mal einen 9650SE-ML16 bestellt, da mein PERC 5/i für mein neues Case zu groß ist.

Mal so als Fragen in die Runde: Kennt jemand ne günstige Quelle für die BBU oder lässt sich der Cache wie bei den älteren Modellen auch noch ohne BBU aktivieren. Der Server hängt ja zur not immer noch an zwei verschiedenen USV's.
Schonmal jemand probiert, ob der 9650SE auch das mit dem PERC erstellen RAID importieren kann? Währe halt schon klasse, wenn ich nicht wieder mehrere TB vom Band einspielen müsste...

 

[Jamma]

Also bei meinem 9650SE (4-Port) lies sich damals der Schreibcache mit ner Warnmeldung aktivieren, bin ich der Meinung.
Habe aber mittlerweile ne BBU verbaut, von daher kann ich das nicht schnell testen

Zu dem erstellten RAID des PERC würde ich jetzt einfach mal behaupten, dass das nicht funktioniert. Wenn du vorher nen anderen 9650SE hattest, dann sollte das gehen, aber so glaube ich klappt das leider nicht

 

[Patric_]

hab den 4-Port, Cache lässt sich aktivieren, man wird nur gewarnt

 

[Kampfwurst_Hugo]

Hallo

Habe den 9690SA [große Bruder des 9650 ;-)] ( neueste Firmware) und 3 WD30EFRX im RAID 5. Leider habe ich nur Probleme. Verwende ESXi 5.1.
Das Problem ist das wenn ich z.B etwas kopiere es für ca 1min gut klappt. Dann sinkt der Speed auf wenige kb/s. nach ca 30sec kann wieder für ca 1 min kopiert werden. Das ganze geht die ganze Zeit so.

Habe schon den NCQ deaktiviert. Ohne Erfolg.

Bekomme im ESXi folgende Meldung.

Die Leistung des Geräts naa.600050e0c599de00680b0000c1860000 hat sich verschlechtert. Die E/A-Latenz hat sich von einem Durchschnittswert von 9784 Mikrosekunden auf 5969793 Mikrosekunden gesteigert. Warnung 22.06.2013 23:44:18 ESXi.XXXX

Diese Meldungen laufen im sec takt auf. Wenn keine "Last" anliegt gibts keine Probleme. Es gibt dann auch keine Fehlermeldungen. Es scheint als ob der Controller mit dem Schreiben nicht nachkommt.

//ESXi> /C7 show all
/c7 Driver Version = 2.27.08.036
/c7 Model = 9690SA-8I
/c7 Available Memory = 448MB
/c7 Firmware Version = FH9X 4.10.00.027
/c7 Bios Version = BE9X 4.08.00.004
/c7 Boot Loader Version = BL9X 3.08.00.001
/c7 Serial Number =
/c7 PCB Version = Rev 041
/c7 PCHIP Version = 2.00
/c7 ACHIP Version = 1.31A6
/c7 Controller Phys = 8
/c7 Connections = 5 of 128
/c7 Drives = 5 of 128
/c7 Units = 2 of 128
/c7 Active Drives = 5 of 128
/c7 Active Units = 2 of 32
/c7 Max Drives Per Unit = 32
/c7 Total Optimal Units = 2
/c7 Not Optimal Units = 0
/c7 Disk Spinup Policy = 2
/c7 Spinup Stagger Time Policy (sec) = 2
/c7 Auto-Carving Policy = off
/c7 Auto-Carving Size = 2048 GB
/c7 Auto-Rebuild Policy = on
/c7 Rebuild Mode = Adaptive
/c7 Rebuild Rate = 2
/c7 Verify Mode = Adaptive
/c7 Verify Rate = 2
/c7 Controller Bus Type = PCIe
/c7 Controller Bus Width = 4 lanes
/c7 Controller Bus Speed = 2.5 Gbps/lane

Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 OK - - 64K 5587.91 RbW ON
u1 RAID-1 OK - - - 931.312 RbW ON

VPort Status Unit Size Type Phy Encl-Slot Model
------------------------------------------------------------------------------
p0 OK u0 2.73 TB SATA 0 - WDC WD30EFRX-68AX9N0
p1 OK u0 2.73 TB SATA 1 - WDC WD30EFRX-68AX9N0
p2 OK u0 2.73 TB SATA 2 - WDC WD30EFRX-68AX9N0
p3 OK u1 931.51 GB SATA 3 - SAMSUNG HD103UJ
p4 OK u1 931.51 GB SATA 4 - SAMSUNG HD103SJ

 

[A8NSLIDELUXE]

Hm, mit ESXi habe ich gar nichts am Hut. Aber immerhin läuft bei mir fast dieselbe Hardwarekonfiguration: 9690SA mit 4 WD30EFRX. Unter WSE2012 gibt es überhaupt keine Probleme. Daher scheint Dein Problem entweder beim ESXi angesiedelt zu sein, oder möglicherweise gibt es Schwierigkeiten mit dem PCIe?!

 

[Kampfwurst_Hugo]

welche Firmware Version? Auch 4.10.00.027 ?

Es geht sogar so weit das das 2 Raid ( Raid 1) auch nicht mehr reagiert. Bei einer VM die auf diesem Raid läuft bleit sogar die Uhr stehen. Auch lässt sich der Controller beim Kopieren fast nicht mehr über SSH ansprechen.

Als Mainboard kommt ein Supermicro X9SRL-F zum Einsatz

 

[A8NSLIDELUXE]

Ja

 

[Kampfwurst_Hugo]

hast du das NCQ aktiviert? Habe es deaktivert ohne erfolg. Das der Server zu langsam ist kann ich eigentlich auschliesen. Habe auch schon den PCI-x Slot gewechselt. Ebenfalls ohne Erfolg.

Gerstern Abend ist mir eine WD RED aus dem Raid 5 geflogen. Erst als ich sie von P2 auf P6 umgesteckt habe wollte der Controller wieder die Platter erkennen.( im Bios des Controllers)

Blockgröße ist 64k

 

[c1c2c3c4]

So. Da bin ich wieder.

Es zeichnet sich ab, dass ich unter Ubuntu 12.04 Probleme mit der Schreibperformance habe.
Zunächst sah es nach einem Sambaproblem aus. Mittels Überprüfung der Schreibraten unter Linux zeigt sich jedoch,
dass die Schreibrate unter OpenSuse 12.3 deutlich besser ist. Der Treiber ist in beiden Fällen der im Kernel enthaltene.

Irgendjemand hatte doch hier den Controller unter Ubuntu 12.04 laufen. Mit welchem Treiber?

Danke vorab.

 

[Kampfwurst_Hugo]

Habe auch Schreibprobleme. Verwende zwar ESXi 5. Aber das ist auch Linux. Komme auf max 20mb/sec. Lesen kann ich mit ca 105mb/sec über das Netzwerk.

 

[c1c2c3c4]

Schreibprobleme auf dem System getestet oder nur Netzwerk?

 

[Luckysh0t]

Habt ihr beide einfach mal die aktuellste Firmware nochmal drüber gemacht ?
Als ich meinen 2. Conti (9650SE 2 Port) in den PC einbaute lief der gar nicht - Windows wurde extrem träge bis es freezte, HDDs nur kurzzeitig erkannt etc.(Hatte auch den anderen (9650SE 4 Port)mal ausgebaut und alle Slots getestet.)
Als ich dann die Fw einfach nochmal neu drüber machte waren die Probleme weg.

MfG

Lucky

 

[c1c2c3c4]

Naja, das mit der Firmware mag ja sein. Bei mir ist in jedem Fall so, dass der Controller unter Suse 12.3 extrem gut geht. Schreibe- und Leseperformance exzellent. Die Firmware ist bei mir die vorletzte, also jetzt nicht uralt. So lange das unter Suse perfekt geht, scheue ich mich, die Firmware auszutauschen.

 

[Kampfwurst_Hugo]

hatte mit einer alten Firmware unter Windows 2008R2 keine Probleme. Habe aber gestern auf ESXI 5.1 umgestellt und nun nur Probleme.

Egal ob über das Netzwerk oder auf einer VM. Schreiben klappt nicht wirklich flüssig. Bekomme im ESXi VSphere Client folgende Meldung.

Die Leistung des Geräts naa.600050e0c599de00680b0000c1860000 hat sich verschlechtert. Die E/A-Latenz hat sich von einem Durchschnittswert von 34608
Mikrosekunden auf 1049442 Mikrosekunden gesteigert.Warnung 23.06.2013 22:44:56

Solche Meldungen bekomme ich nur wenn ich etwas aufs Raid schreibe. Wenn ich nur etwas lese ist alles OK. Es ist auch so das das 2 Raid (Raid 1) das auf dem Controller läuft ebenfalls stehen bleibt und für kurze Zeit nicht reagiert.

 

[c1c2c3c4]

Write cache ist an?

 

[Kampfwurst_Hugo]

ja natürlich. Leider brauche ich die neue Firmware da sonst die 3TB Platten nicht erkannt werden.

 

[c1c2c3c4]

So, mein Problem ist gelöst. Es lag an der Formatierung. Mir ist aufgefallen, dass das eine (schnelle) Raid1 ext4 formatiert war, das andere (langsamere) ext3.
Nachdem ich dieses jetzt auf ext4 umformatiert habe, laufen beide sehr schnell, die Platten (WD Red 3TB) werden voll ausgereizt.
Suse kam mit ext3 zurecht, Ubuntu mochte das gar nicht.

Firmware FE9X 4.10.00.026
Treiber 2.26.02.014 (Standard Kerneltreiber)

 

[Kampfwurst_Hugo]

kann man eigentlich eine alte Bios Version einspielen ohne das Raid zu gefährden?
Möchte von 4.10.00.027 auf 4.10.00.026. Vieleicht gibts dann auch kein Problem mehr.

 

[c1c2c3c4]

Kann man. Habe ich auch schon gemacht. Aber natürlich mit Backup.

---------- Post added 25.06.13 at 00:10 ---------- Previous post was 24.06.13 at 21:34 ----------

Kann man. Habe ich auch schon gemacht. Aber natürlich mit Backup.

EDIT: Heute (keine 24h später) Antwort vom LSI Support, ebenfalls der Tip ext4 zu bentzen.

 

[Kampfwurst_Hugo]

wenn ich die Version 4.10.00.026 mit flash /f prom0008.img flashen will kommt immer die Meldung

Incompatible PCBA Version(33) The Loader has detected an incompatibility ....

 

[XN04113]

für den 9650 gilt die prom0006.img Datei