Hilfe beim Kauf von einem neuen Raidcontroller

[SigHunter]

Hi Leute,

ich plane meinen alten Promise Supertrak EX12350 auszusortieren und mir stattdessen einen schnelleren, neueren Controller zu besorgen,
da ich das aber nur alle paar Jahre mal mache habe ich einige Fragen zur Wahl meines Controllers:

Am Supertrak hängen derzeit 12 Platten. Die meisten Controller die ich finde haben 2 Mini-SAS-Ports, was insgesamt dann 8 Platten wären,
allerdings steht in den Beschreibungen (z. B. hier: http://store.lsi.com/index.cfm/megaraid-controllers/9265-controllers/lsi00278 ) dann sowas: Device Support Up to 128 SAS and/or SATA hard drives and SSDs.

Sinds nun 8 oder 128 Platten? Ich würde gerne alle 12 Platten dran und in ein RAID5-Array hängen. Was brauche ich dafür um zusätzliche Platten zu adressieren und funktioniert das wie wenns "intern" angebunden ist?


Der Grund für die Umstellung ist, dass mir mein Promise zu langsam ist. ~400 MB/s read bei 12 Platten im RAID5-Array reichen mir nicht. (write ~200 MB/s)
Rein rechnerisch will ich (bei 12 Platten (-1 Parity) * ~75 MB/s) zumindest auf >700 MB/s kommen). Ist das überhaupt ein realistischer Wert?

der neue Controller sollte Platten >2TB (mein nächsten werden wohl 4 TB) unterstützen, +512MB Cache haben, SMART unterstützen und einen pfeilschnellen Prozessor (gerne so ein dualcore ROC Ding ^^)

Sollte das mit den 12 Platten klappen werde ich mir wohl mal diese M5014/5/6 genauer anschauen


Danke für die Unterstützung
Gruß
Sebastian

 

[TurboCharged]

Ich denke mal, Du wirst sowas wie eine BackPlane brauchen oder änliches.

Aber was anderes:

Der Grund für die Umstellung ist, dass mir mein Promise zu langsam ist. ~400 MB/s read bei 12 Platten im RAID5-Array reichen mir nicht. (write ~200 MB/s)
Rein rechnerisch will ich (bei 12 Platten (-1 Parity) * ~75 MB/s) zumindest auf >700 MB/s kommen). Ist das überhaupt ein realistischer Wert?

Was hast Du für abartige Anforderungen, dass Dir 400MB/s nicht reichen?

Ich habe 11 Server hier am Laufen, 2 UltraSparc M4000 im Cluster und 9 HP-UX Itanium2. Jeder der Server ist mit 4GB/s HBA (HostBusAdapter) an eine zentrale SAN (HP EVA4000) angebunden. Auf diesen Server laufen ca 100 Oracle Datenbanken drauf, wo ca. 200 Leute drauf arbeiten. Ich hatte noch nie irgendwelche Performanceprobleme in Richtung Storage, noch nie, nicht mal, wenn Oracle die Statistiken rechnet...

 

[Snipa]

Es gibt ja genug Controller, um intern 16-24 Platten anzuhängen. Die für 12 sind vielleicht selten, ja. Wenn du wirklich Speed willst, musst du die Option, mit Expandern ganz viele Platten anzuhängen, grad aus dem Kopf schlagen und halt zu einem Modell mit 4x SFF-8087 greifen.

Willst du wirklich ein RAID5 mit 12 Platten machen? Würde bei einem grossen Array nur noch auf RAID6 setzen wegen der 1 in 10^14-Problematik (unkorrigierbare Lesefehler) bei Consumerplatten. Oder setzt du etwa RAID-Platten mit 1 in 10^15 URE ein und das RAID läuft 24/7 durch?

Ist dein Budget irgendwie limitiert?

 

[Holt]

Am Supertrak hängen derzeit 12 Platten. Die meisten Controller die ich finde haben 2 Mini-SAS-Ports, was insgesamt dann 8 Platten wären,
allerdings steht in den Beschreibungen (z. B. hier: http://store.lsi.com/index.cfm/megaraid-controllers/9265-controllers/lsi00278 ) dann sowas: Device Support Up to 128 SAS and/or SATA hard drives and SSDs.

Sinds nun 8 oder 128 Platten?

Schon mal was von SAS Expandern oder SATA Port Multiplyern gehört? Damit kann man mehrere Platten an einem Port betreiben.

Ich würde gerne alle 12 Platten dran und in ein RAID5-Array hängen.

Mit Expandern bekommst Du nicht mehr Bandbreite, alle Platten müssen sich die Bandbreite eines Kanals teilen, also 3Gb/s, 6Gb/s oder 12Gb/s, je nach Modell.

Der Grund für die Umstellung ist, dass mir mein Promise zu langsam ist. ~400 MB/s read bei 12 Platten im RAID5-Array reichen mir nicht. (write ~200 MB/s)
Rein rechnerisch will ich (bei 12 Platten (-1 Parity) * ~75 MB/s) zumindest auf >700 MB/s kommen). Ist das überhaupt ein realistischer Wert?

Wie voll sind Deine Platten? Denke das HDDs auf den äußeren Zylindern etwa doppelt so schnell die Daten übertragen können als auf den inneren Zylindern, so dass bei einem neu eigerichteten RAID je nach Platten u.U. >700MB/s erreicht werden, aber wenn die Platten schon recht voll sind und die Daten auf den inneren Zylindern landen, dann eben nur 400MB/s möglich sind. Da muss dann nicht der Controlle bremsen, das wäre nur anzunehmen, wenn die Geschwindigkeit immer gleich bleibt.

 

[SigHunter]

Es gibt ja genug Controller, um intern 16-24 Platten anzuhängen. Die für 12 sind vielleicht selten, ja. Wenn du wirklich Speed willst, musst du die Option, mit Expandern ganz viele Platten anzuhängen, grad aus dem Kopf schlagen und halt zu einem Modell mit 4x SFF-8087 greifen.

Willst du wirklich ein RAID5 mit 12 Platten machen? Würde bei einem grossen Array nur noch auf RAID6 setzen wegen der 1 in 10^14-Problematik (unkorrigierbare Lesefehler) bei Consumerplatten. Oder setzt du etwa RAID-Platten mit 1 in 10^15 URE ein und das RAID läuft 24/7 durch?

Ist dein Budget irgendwie limitiert?

gut, wenn durch diese portmultiplier oder expander nur die nominale bandbreite zur platte halbiert wird könnte das bei controllern mit 6G aber theoretisch reichen (6 platten pro SAS Lane)


von einer 10^14 problematik habe ich noch nie was gehört, generell ist die datensicherheit aber nicht sooooo kritisch, da das ganze nochmal auf ein zweites raid5 asynchron repliziert wird.
das raid läuft 24/7 durch, seagate barracuda machen das mit

das budget wird nur durch meine vernuft limitiert 1000 euro sind dafür definitiv zuviel, 500 wären für eine lösung mit allen 12 platten aber drin,
wenn ich zwei 8er controller brauch dann sollte jeder einzelne nicht mehr als 250 € kosten

Was hast Du für abartige Anforderungen, dass Dir 400MB/s nicht reichen?

anforderungen habe ich keine besonderen, mich nervt es nur wenn platten einzeln ~110 mb/s bringen und dann im raid nur pro platte nur noch 37 übrig bleiben

Wie voll sind Deine Platten? Denke das HDDs auf den äußeren Zylindern etwa doppelt so schnell die Daten übertragen können als auf den inneren Zylindern, so dass bei einem neu eigerichteten RAID je nach Platten u.U. >700MB/s erreicht werden, aber wenn die Platten schon recht voll sind und die Daten auf den inneren Zylindern landen, dann eben nur 400MB/s möglich sind. Da muss dann nicht der Controlle bremsen, das wäre nur anzunehmen, wenn die Geschwindigkeit immer gleich bleibt.

die platten sind alle ca zu 80 % voll

 

[Holt]

gut, wenn durch diese portmultiplier oder expander nur die nominale bandbreite zur platte halbiert wird könnte das bei controllern mit 6G aber theoretisch reichen (6 platten pro SAS Lane)

Ein Expander bewirkt, dass sich alle Platten an dem Expander die Kapazität eines Kanals teilen müssen. 6 Platten an einer 6Gb/s Lane würde also auf je so etwa 80bis 90 MB/s limitiert sein. Da moderne Platte auch darüber liegen, wären 6 an einem Expander als ein Flaschenhals.

von einer 10^14 problematik habe ich noch nie was gehört, generell ist die datensicherheit aber nicht sooooo kritisch, da das ganze nochmal auf ein zweites raid5 asynchron repliziert wird.

Das ist gut, denn bei einer UBER von 1:10^14 hat Du im Prinzip einen nicht korrigierbaren Lesefehler alle 12TB zu erwarten und bei 4TB Platten wird damit ein Rebuld eines RAID 5 aus mehr als 3 Platten statistisch zu einem Glücksspiel, das man kaum noch gewinnen kann.

wenn ich zwei 8er controller brauch dann sollte jeder einzelne nicht mehr als 250 € kosten

Dann wäre vielleicht ein SW Raid statt eines HW RAIDs in Betracht zu ziehen, denn mehr Power und mehr RAM als die CPU wird kein RAID Controller besitzen. Dann wäre auch ein RAID über 2 Controller kein Problem und günstige HBAs statt teurer RAID Controller verwendbar, aber bekommst Du überhaupt 2 eingebaut?

mich nervt es nur wenn platten einzeln ~110 mb/s bringen und dann im raid nur pro platte nur noch 37 übrig bleiben

die platten sind alle ca zu 80 % voll

Wie hast Du denn die 37MB/s bzw. die 110MB/s gemessen? Welche Platten sind das überhaupt? Bei etwa 80% vollen Platten und einem älteren RAID wäre auch die Frage der Fragmentierung des Filesystems zu stellen, die dann zusätzlich auf die Performance geht. Außerdem ist gerade bei einem RAID 5 auch zwischen Lese- und Schreibrate zu unterscheiden, weil letztere immer umso geringer ausfällt, je kürzer die Zugriffe sind.

 

[SigHunter]

Ein Expander bewirkt, dass sich alle Platten an dem Expander die Kapazität eines Kanals teilen müssen. 6 Platten an einer 6Gb/s Lane würde also auf je so etwa 80bis 90 MB/s limitiert sein. Da moderne Platte auch darüber liegen, wären 6 an einem Expander als ein Flaschenhals.

vermutlich ist das bei meinem jetzigen supertrak der flaschenhals, da hängen an 3x3Gb/s MiniSAS je 4 platten

Dann wäre vielleicht ein SW Raid statt eines HW RAIDs in Betracht zu ziehen, denn mehr Power und mehr RAM als die CPU wird kein RAID Controller besitzen. Dann wäre auch ein RAID über 2 Controller kein Problem und günstige HBAs statt teurer RAID Controller verwendbar, aber bekommst Du überhaupt 2 eingebaut?

bei SW RAID5 habe ich bisher immer die erfahrung gemacht dass die schreibperformance grottenmies ist, (~50 mb/s) und das obwohl die CPU nichtmal zu 1% ausgelastet ist. liegt das an einer schlechten implementierung vom onboard "raid"controller?

zusätzlich zum jetzigen promise habe ich noch einen PCIe slot frei, würde also reinpassen.

Wie hast Du denn die 37MB/s bzw. die 110MB/s gemessen? Welche Platten sind das überhaupt?

ST31500341AS
die 37 mb waren grob 400 mb/s durch 11 platten geteilt


gibt es preislich halbwegs vernünftige 16 port controller? oder soll ich das ganze evtl. als raid0 aufziehen, da es eh noch zusätzlich gemirrort ist?

 

[Holt]

vermutlich ist das bei meinem jetzigen supertrak der flaschenhals, da hängen an 3x3Gb/s MiniSAS je 4 platten

Hast Du denn einen Expander eingesetzt oder sitzt auf der Karte schon einer? Das gibt es ja auch, das ein Chip mit weniger Ports und dann ein Expander verbaut werden, aber ich weiß nicht ob das bei Deinem so ist.

bei SW RAID5 habe ich bisher immer die erfahrung gemacht dass die schreibperformance grottenmies ist, (~50 mb/s) und das obwohl die CPU nichtmal zu 1% ausgelastet ist. liegt das an einer schlechten implementierung vom onboard "raid"controller?

Alle normalen NAS arbeiten mit einem SW Raid und deren CPUs sind meist nur ARM mit einem Kern und 1.6GHz, wenn überhaupt und die bekommen auch mehr als 50MB/s hin. Außer verwechselst Du SW-RAID mit Fake-RAID. Ein SW RAID hat mit dem Controller nicht zu tun und kann sich auch über Platten erstrecken, die an unterschiedlichen Controllern hängen die gar nicht RAID fähig sein müssen. Was man an den Onboard- bzw Chipsätzen an RAID erstellt sind sogenannte Fake-RAIDs, weil anders als bei Deiner RAID Karte, die X-OR Berechnungen für die Paritiy dort von der CPU übernommen werden.

zusätzlich zum jetzigen promise habe ich noch einen PCIe slot frei, würde also reinpassen.

Was für ein Board hast Du? Wie ist der Slot angebunden? Nur die Enthusiasten / Enterprise Chipsätz von Intel (X58, X79) und AMD (790FX, 890FX, 990FX) bieten genug PCIe Lane, die Mainstream Plattformen haben dagegen immer nur 16 PCIe Lane von der CPU. Manche High-End Boads haben zwar mehr Lanes, aber die sind mit einem PCIe Multiplexer realisiert, da hast Du dann das gleiche wie bei einem SAS Expander, nur eine Ebene tiefer, aber die Gesamtbandbreite bleibt immer noch die gleiche.

ST31500341AS
die 37 mb waren grob 400 mb/s durch 11 platten geteilt

Dann solltest Du mal mit HD Tune, aber nicht mit der Freeware Version 2.55 sondern der Trail der aktuellen Version, die Lesegeschwindigkeit benchen. Das ist ein Low-Level Benchmark das Filesystem und dessen Fragmentierung keine Rolle spielen. Dabei sollte die typische abfallende Kurve entstehen und der Maximalwerte etwa beim Doppelten des Minimalwertes liegen, wobei man das im Zweifel aus der Kurve ablesen sollte, da die Ausgabe der Werte auch die Zacken nach unten berücksichtigt, die sich z.B. aufgrund anderer Zugriffe während des Benchmark ergeben und irrelevant sind.

Die ST31500341AS sollten zwischen 120-130MB/s auf den äußeren Zylindern und 60-65MB/s auf den inneren Zylindern schaffen. Bei einem RAID 5 mit 11 dieser Platten wäre also im besten Fall das 10fache dieser Werte zu erwarten, wenn es keinen Flaschenhals gibt, etwa im RAID Controller selbst, bei dessen Anbindung auf dem Board, etc.

 

[SigHunter]

Hast Du denn einen Expander eingesetzt oder sitzt auf der Karte schon einer? Das gibt es ja auch, das ein Chip mit weniger Ports und dann ein Expander verbaut werden, aber ich weiß nicht ob das bei Deinem so ist.

ob schon einer verbaut ist weiß ich nicht, jedenfalls sind 3 minisas ports drauf

Alle normalen NAS arbeiten mit einem SW Raid und deren CPUs sind meist nur ARM mit einem Kern und 1.6GHz, wenn überhaupt und die bekommen auch mehr als 50MB/s hin. Außer verwechselst Du SW-RAID mit Fake-RAID. Ein SW RAID hat mit dem Controller nicht zu tun und kann sich auch über Platten erstrecken, die an unterschiedlichen Controllern hängen die gar nicht RAID fähig sein müssen. Was man an den Onboard- bzw Chipsätzen an RAID erstellt sind sogenannte Fake-RAIDs, weil anders als bei Deiner RAID Karte, die X-OR Berechnungen für die Paritiy dort von der CPU übernommen werden.

ich verwechsle fakeraid nicht mit swraid, aber der einzige wirkliche unterschied ist die bindung an einen controller, die XOR berechnungen werden bei beiden von der CPU erledigt, und die langweilt sich trotz mieser performance bei allem was ich bisher getestet habe (windows storage spaces, onboard satacontroller raid) hätte kein problem damit wenn die CPU schuften würde wenn die platten werkeln. über welche implementierung sollte man sowas machen, um die optimale performance zu erhalten?
die nicht-server-windows versionen haben leider kein "RAID-5-Volume" übers diskmgmt

Was für ein Board hast Du? Wie ist der Slot angebunden? Nur die Enthusiasten / Enterprise Chipsätz von Intel (X58, X79) und AMD (790FX, 890FX, 990FX) bieten genug PCIe Lane, die Mainstream Plattformen haben dagegen immer nur 16 PCIe Lane von der CPU. Manche High-End Boads haben zwar mehr Lanes, aber die sind mit einem PCIe Multiplexer realisiert, da hast Du dann das gleiche wie bei einem SAS Expander, nur eine Ebene tiefer, aber die Gesamtbandbreite bleibt immer noch die gleiche.

asus p9d ws mit einem intel C226 chipsatz, 3 pcie lanes die bei drei belegten auf 8x/4x/4x schalten, was aber für den controller vom durchsatz her wohl reichen sollte (4x pcie2.0 nominal 2000 MB/s, einzige was bei zwei raidcontrollern dann leidet ist vermutlich die grafikkartenperformance, daher eher ungern mit 2 controllern)

Die ST31500341AS sollten zwischen 120-130MB/s auf den äußeren Zylindern und 60-65MB/s auf den inneren Zylindern schaffen. Bei einem RAID 5 mit 11 dieser Platten wäre also im besten Fall das 10fache dieser Werte zu erwarten, wenn es keinen Flaschenhals gibt, etwa im RAID Controller selbst, bei dessen Anbindung auf dem Board, etc.

sehe ich auch so, deshalb stören mich die momentanen 400 MB/s
es sind 12 dieser platten, daher habe ich mit dem 11fachen gerechnet.

 

[Holt]

ob schon einer verbaut ist weiß ich nicht, jedenfalls sind 3 minisas ports drauf

Das sollte bei einem ordentlichen Controller im Handbuch stehen. Was sind denn da für Chips drauf?

die XOR berechnungen werden bei beiden von der CPU erledigt, und die langweilt sich trotz mieser performance bei allem was ich bisher getestet habe (windows storage spaces, onboard satacontroller raid) hätte kein problem damit wenn die CPU schuften würde wenn die platten werkeln. über welche implementierung sollte man sowas machen, um die optimale performance zu erhalten?

Unter Windows kenne ich mich damit nicht aus, ich sehe Windows immer noch nicht als ein Server-OS an. Mit Linux mdadm geht das aber und XFS ist auch nicht lahm, von daher muss der Fehler bei Dir woanders gelegen haben.

asus p9d ws mit einem intel C226 chipsatz, 3 pcie lanes die bei drei belegten auf 8x/4x/4x schalten

Also einen Server auf Basis der Mainstream Plattform mit nur 16 PCIe Lanes.

was aber für den controller vom durchsatz her wohl reichen sollte (4x pcie2.0 nominal 2000 MB/s

Dein jetziger RAID Controller kann nur Rev. 1, also die Hälfte und das ist noch Brutto, da geht der Protkolloverhead von ab, Netto sind alos maximal so 800MB/s drin.

einzige was bei zwei raidcontrollern dann leidet ist vermutlich die grafikkartenperformance, daher eher ungern mit 2 controllern)

Ein oder zwei ist egal, Du hast nur den x16/0/0, x8/x8/0 oder x8/x4/x4 Modus:

3 x PCIe 3.0/2.0 x16 (x16 or dual x8 or x8/x4/x4)
1 x PCIe 2.0 x16 (x4 mode)
1 x PCIe 2.0 x1 (x1 mode)

Die ersten 3 Slots sind direkt von der CPU, die untere beiden vom Chipsatz. Wenn also noch eine Graka im ersten Slot steckt, dann ist wie sowieso im x8 Modus, egal ob da nun ein oder zwei RAID Controller in den anderen Slot stecken. Aber auf jeden Fall wären mehr als 400MB/s möglich und bei einem Controller mit PCIe Rev2 oder Rev3 reicht es für 1.6GB/s bzw. 3.2GB/s.

sehe ich auch so, deshalb stören mich die momentanen 400 MB/s
es sind 12 dieser platten, daher habe ich mit dem 11fachen gerechnet.

Hast Du denn mal mit HD Tune gebencht? Das wäre mal de erste sinnvolle Schritt um zu wissen, ob es ein Flaschenhals ist, vielleicht ein Limit des Controllers ggf. aufgrund von Fehlkonfigurationen oder ob es einfach am Filesystem liegt.