Langsames Lesen von SAN per FC HBA (EonStor A16F-R2431 + QLogic / LSI HBA)

[Adaptiert]

Hallo!

Schon einige Zeit beschäftige ich mich mit einem mittlerweile ziemlich lang hier stehendem SAN und dessen Eingliederung ins LAN.

Hier einmal die Eckdaten:

EonStor A16F-R2431 - 15x 2TB SATA HDDs + 1 HotSpare
HBA QLogic (auf der Karte steht die Nummer PX2510401-54A scheint wohl das Modell zu sein) mit zwei FibreChannel Ports
und als zweites noch eine LSI Karte LSI 7140EP-LC 4Gbit zum Testen - beide HBAs verhalten sich gleich

Angeschlossen an verschiedene Workstations (Windows Server 2008 und Windows 7) testweise - zur Zeit an einer ASUS Server/Workstation mit Doppel-Xeon CPU.

Das Problem ist: Das SAN verhält sich absolut unberechenbar. Es gab einige Tage, da lief es "Okay" - also hat schön 1000 Mbps übers Netz gemacht - allerdings auch nur kurz - wie gesagt unberechenbar. Schreiben ging immer besser als Lesen. Die Daten, die mittlerweile drauf sind auf den 20 nochwas TB kriegt man schon fast nicht mehr runter, weil's einfach so langsam ist wieder (Datenraten von 250 kB/s bis 10 MB/s ...).

Das komische ist, wenn ich mit dem ATTO-Speedtest einen Benchmark mache ...sieht alles ganz okay aus (Screenshot: http://i.imgur.com/P18YF.png)

Wenn ich ein File vom SAN auf die lokale C: schreibe (also vom SAN lese), sieht es so aus: http://i.imgur.com/wk1Z5.png

Hat jemand vielleicht Ahnung, wie ich mich dem Problem - dem Flaschenhals, den das SAN offensichtlich irgendwo hat - nähern kann? Für jegliche Hilfe, wäre ich sehr dankbar!

Lieben Gruß aus dem Norden!

 

[bluesunset]

EonStor A16F-R2431 - 15x 2TB SATA HDDs + 1 HotSpare

HBA QLogic (auf der Karte steht die Nummer PX2510401-54A scheint wohl das Modell zu sein) mit zwei FibreChannel Ports
und als zweites noch eine LSI Karte LSI 7140EP-LC 4Gbit zum Testen - beide HBAs verhalten sich gleich

Angeschlossen an verschiedene Workstations (Windows Server 2008 und Windows 7) testweise - zur Zeit an einer ASUS Server/Workstation mit Doppel-Xeon CPU.

Die Daten, die mittlerweile drauf sind auf den 20 nochwas TB kriegt man schon fast nicht mehr runter, weil's einfach so langsam ist wieder (Datenraten von 250 kB/s bis 10 MB/s ...).

Hallo,
bitte schreibe nach Möglichkeit auch Links zu den Produkten, damit jemand der dir helfen will nicht erst selbst nach dem Produkt suchen muss.
Dein PX2510401-54A Qlogic HBA schein ein QLE 2462 OEM HBA von Dell zu sein.

ES A16F-R2431 guck doch mal bitte per telnet oder ssh nach, ob du etwas wie smartctl ausführen kannst. Ansonsten über das (Java) GUI nach eventuellen S.M.A.R.T.-Werten ausschau halten, ob es da etwas gibt (je Laufwerk).
Du solltest auch mit angeben, wie viele HDDs mit welchem Raidlevel zusammen gefasst sind.

Bei der google Suche nach LSI 7140EP - Google-Suche kommen auch gleich nach dir zwei Einträge vom Peter Shawn.

CreativeCOW

1x EonStore A16F-R2431 (8 Fibrechannel Ports [divided in Port A / B with each 4 FC-Ports - Port B is passive and only as fallback if Port A fails])

Schließe demnach den Qlogic HBA an die beiden ersten Ports von A und B an wegen der Ausfallsicherheit.
Sofern du keine weitere Dell Hardware verwendest bzw. der HBA keine spezielle Firmware von Dell hat, aktualisiere diese bitte auf die neueste Version.
Den LSI-HBA verwendest du bitte nicht im selben Rechner. Es ist zwar eine alte Empfehlung nicht verschiedene HBAs zu mischen, aber du bist ja wohl nicht darauf angewiesen vorerst.

In der ersten Antwort von Bob Zelin (Nov 16, 2010 at 4:15:02 am) steht auch schon alles weitere wichtige drinn:

this is how to build a SAN -
1) get a file server
2) get a FIBRE CHANNEL SWITCH (ATTO, Brocade, QLogic)
3) put fibre cards in your computers, including the file server.
4) run fibre cables from clients into switch
5) run EonStor into switch (EonStor is connected via fibre host adaptor card into your file server computer)
6) run SAN management software from Apple XSAN, MetaSAN, SanMP, or Command Soft Fibre Jet.

Voila ! You have a SAN. Connecting a drive array to a network does not give you shared video storage.
...
Moral - a simple network is not a SAN.

http://www.hardwareluxx.de/community/f242/fibre-channel-newbee-fragen-884622.html bei Gelegenheit ggf. einmal durchlesen.

Desweiteren ist auch Windows 7 beim kopieren nicht gerade das schnellste OS. Musste das letztens leider erst feststellen. Mit dem Total Commander ging es bedeutend schneller als über den Explorer.

 

[Adaptiert]

Hallo!

Tut mir Leid - und vielen Dank, dass Du Dir die Arbeit gemacht hast, die Links rauszusuchen - sehr nett!

Der QLogic ist an A/B angeschlossen.

Das Problem ist, dass die Workstations, die an das RAID5-Storage (ich korrigiere mich hier nun - denn Bob Zelin hat wohl recht, dass das Wort SAN in meinem Falle falsch ist) angeschlossen werden sollen, keinen Steckplatz mehr frei haben für eine FibreChannel Karte und somit sich ein reines FC-Netzwerk leider nicht realisieren lässt und somit der Umweg über RJ45 gehen müsste (managed Switch, der Trunking Unterstützt ist vorhanden - allerdings verhält sich auch das etwas komisch; aber ich will da jetzt nicht weiter ausholen).

Also ich hatte sowieso schon die Idee, das RAID5 an ein Linux zu hängen testweise.

Im Telnet hab ich jetzt mal einiges umgestellt (im Detail hier eine Auflistung - ich werd' später mal ein kleines TXT fertig machen mit Detailinfos zum Setup).



von Write-Back Cache Enabled
auf Write-Back Cache Disabled

von Periodic Cache Flush Time - Disabled
auf Periodic Cache Flush Time - Continuous Sync

von Fibre Connection Option - Loop Only
auf Fibre Connection Option - Point to point only

von Drive Motor Spin-Up - Disabled
auf Drive Motor Spin-Up - Enabled

von Disk Access Delay Time - 30s
auf Disk Access Delay Time - No Delay

von Drive Predictable Failure Mode(SMART) - Disable
auf Drive Predictable Failure Mode(SMART) - Detect Only

von AV Optimization - Disabled
auf AV Optimization - Multiple Streaming

Ich starte das Storage jetzt mal neu und schau, ob sich irgendwas verändert hat.

Lieben Gruß und schon mal vielen Dank!

Edit:

von Fibre Connection Option - Loop Only
auf Fibre Connection Option - Point to point only

Dies hier führte dazu, dass das Storage nicht mehr sichtbar war unter Win2k8 - und der Rest der Settings haben wenig bis gar nichts verändert... Leider

 

[bluesunset]

Ist es ein Raid5 über alle 15 Laufwerke? Falls nicht, gib mal bitte an wie es genau aussieht.
Existiert ein Backup der (wichtigeren) Daten?
Ein Raid10 , Raid 50 oder 60 wäre wohl deutlich schneller als ein einzelnes Raid5.

von Drive Motor Spin-Up - Disabled
auf Drive Motor Spin-Up - Enabled
sowie
von Disk Access Delay Time - 30s
auf Disk Access Delay Time - No Delay

dürften nur für das Einschalten gelten, dass die Laufwerke zeitverzögert Strom für den Spindelmotor erhalten und das bis zu 30 Sekunden gewartet wird bis auf die HDDs zugegriffen wird.
Gibt es eigentlich ein vernünftiges Handbuch zu dem Storagesystem?

 

[Adaptiert]

Ein Raid5 über alle 15 Laufwerke + 1 HotSpare, genau.
Backup ist gerade durchgelaufen.

Raid10 bzw. 50/60 könnte ich in der Tat mal testen. Aber sollte ein Raid5 nicht auch 'etwas' performanter sein? 500 kB/s bis 5-6 MB/s, die es zur Zeit bringt - das wird ja nicht so gemeint sein, oder?

 

[bluesunset]

Naja bei 14x2TB (ohne die Redundanz Platte) und benutzten > 20TB davon ist es vielleicht auch etwas ein Problem mit dem Dateisystem. Falls es über Jahre angewachsen ist.
Ein Raid 5 über 15 Platten und ein bisher deaktiviertes SMART ist definitiv ein noGo!
Ich würde an deiner stelle mal die Firma befragen, ob und wie du S.M.A.R.T Tests machen kannst und an die Ergebnisse heran kommst, sofern kein smartmontools (smartctl in der Konsole) auf dem Storage installiert ist. Wenn du schon mal dabei bist, auch wie viele Laufwerke für max. Geschwindigkeit bei einem Raid 10, 50 und 60 du verwenden solltest bei deinem Modell. Schließlich sollten Sie es irgendwann einmal getestet haben und eine Empfehlung geben können.
Sofern dir der Platz reicht, würde ich ein Raid 60 über alle 16 HDDs erstellen. Eine 2+ TB HDD sollte sich im Fehlerfall schnell bei einem Händler vor Ort kaufen lassen.

 

[Adaptiert]

So... wieder mal neues von der Front. Momentan sieht es so aus: Ich habe das Storage an einen Linuxrechner gehängt mit der Q-Logic ISP24xx FC Karte - das RAID5 in ein RAID0 gewandelt; unter Linux XFS als Dateisystem genommen (EXT4 hat er irgendwie nicht gewollt.. wieso weiß man nicht) --> Performance noch schlechter (8 MB/s schreiben auch mit krassen Einbrüchen und ca. 250 kb/s schreiben - übers Netzwerk SMB, 1 Gbits Ethernet).

RAID60 kann das Teil gar nicht. Naja ...also die Vermutung liegt nahe, dass da vielleicht was kaputt ist? Was könnte man noch probieren - vielleicht mal LoopBack // Point-to-Point Umstellung

 

[bluesunset]

Wie sieht deine Anfrage beim Hersteller bezüglich Abfragemöglichkeit für S.M.A.R.T. Selbsttests bisher aus?
Im dümmsten Fall jede HDD einzeln testen ohne ein Raid.

 

[Adaptiert]

S.M.A.R.T. Selbsttest.. hm. Also die Platten waren alle neu. S.M.A.R.T. könnte ich aber auch mal probieren irgendwie anzustellen.

 

[bluesunset]

Je nachdem wie aktuell das 2TB Modell ist dauert ein kompletter langer Selbsttest ca. 3-4h
Steht aber auch ungefähr beim Aufruf von smartctl -a

Extended self-test routine
recommended polling time: ( 106) minutes.

Als ca. Minutenangabe, dauert in der Praxis oft ein paar Minuten länger als dort angegeben. Sofern du auf die schnelle keine Antwort kriegst, kannst du mehrere HDDs auch an einen beliebigen Rechner mit vier oder mehr freien SATA-Ports (Strom- sowie Datenkabel) anschließen und dort den Test z.B. auch von einer Live-CD DistroWatch.com: RIPLinuX aus starten.