[Sammelthread] Adaptec 5405/5805 und 2405

[rootkit]

Hallo,

ich habe ein Frage und habe beim durchstöbern des Threads nichs gefunden.

Kann jemand was zum ICP vortex 5085BR sagen?

Scheint ein Vorgängermodell zum Adaptec 5805 zu sein (???), hat 256MB Cache und einen 800Mhz IOP.

gruß
rootkit

 

[Snoopy69]

Klar, ich besorg mir nen 10TB Raid um mein 5TB Filmarchiv zu sichern
Schön wärs...

Wozu 10TB, wenn du nur 5TB hast. Und ein 2. Array als Backup ist ja sinnfrei.
Also ich hab ein 1:1-Backup meiner 4TB Daten.

 

[sgrA]

Hallo,

ich habe ein Frage und habe beim durchstöbern des Threads nichs gefunden.

Kann jemand was zum ICP vortex 5085BR sagen?

Scheint ein Vorgängermodell zum Adaptec 5805 zu sein (???), hat 256MB Cache und einen 800Mhz IOP.

Richtig, entspricht hardware- und softwaremäßig weitgehend einem Adaptec 3805 mit 256MB Cache. Ein Stückchen älter und langsamer als die Serie 5 Adaptec Cotroller.

 

[Gordon_Freeman]

Hallo,

mein erster Post hier, bisher war ich nur mitlesend.

Ich habe jetzt einen Testserver mit 2x X5520 Xeons, 36 GB RAM und Server 2008 ENT 64 Bit für rund 1-2 Wochen frei um Tests mit den Adaptec Controlern zu machen. System ist auf 2x 15k SAS Discs gemirrored an einem 5805 installiert.

Ich habe folgende Controler liegen:

5805
5804
51245
31605
3085


Eine Chenbro SAS Expander Card CK12803 mit 28 Ports

http://www.chenbro.eu/corporatesite/products_detail.php?sku=73


Das Gehäuse SM SC846E1-R900B mit 24fach SAS Backplane mit integriertem SAS Expander Chip.

http://www.supermicro.com/products/chassis/4U/846/SC846E1-R900.cfm


Dazu folgende Platten:

8x Hitachi HDT721010SLA360 1 TB
16x WD RE3 WD1002FBYS 1 TB
dazu kommen noch einzelne 1,5 und 2 TB platten von WD, die noch bestellt werden.


Hauptsächlich interessieren mich folgende Fragen:

- Tauglichkeit von SAS Expandern (gibt es Platten, die am Controler erkannt werden, aber nicht am selben Controler hinter einem Expander)

- Test von 1,5 und 2 TB Platten der "nicht RE-Serie" von WD mit TLER. (Werden diese erkannt und laufen stabil?)

- Wie skaliert der Datendurchsatz mit der Anzahl der Platten im RAID5 und RAID6 (also mit welcher niedrigen Anzahl von Platten man die maximale Performance des Controlers bereits rausholen kann)

- Ist die Performance eines RAID50 besser als eines RAID6? (bei Plattenzahlen von um die 16 Stück)

- Ist es möglich einen Datendurchsatz von dauerhaft 700-900 MByte/s an einem 5er Serie Controler zu erreichen mit bis zu 16 Laufwerken, auch hinter einem SAS Expander?

- Funktioniert das Abschalten der Platten (Feature des 5er Serie) überhaupt, und wenn ja, auch mit Platten hinter einem Expander?

- Wie unterschiedlich performen 3er Serie Controler und 5er Serie Controler mit identischen Plattenkonfigurationen?


Ich habe lange Hardware gesammelt um nun endlich Tests für diverse meiner Storage Projekte durchzuführen. Zur Zeit laufen 16x 1TB WD RE2 WD1000FYPS an einem 31605 mit normaler Desktop Hardware (intel G45 Board mit kleinem Dual Core E5200 CPU und 2 GB RAM) unter Server 2003 STD 32 Bit zu meiner vollen Zufriedenheit seit über einem Jahr in der Rolle als ordinärer SMB Fileserver über 1 Gbit in einem LAN.

Dieses System soll nun durch ein 24x 2TB Teil ersetzt werden.

Desweiteren wird der Server, der hier zum testen genutzt wird wird ein Server für einen Kunden, der dann mit 20 GBit/s direkt ans Internet angeschlossen ist (Intel EXPX9502CX4). Der Durchsatz soll dabei dauerhaft um die 9-12 Gbit/s erreichen können, dazu sollte die Leistung des Arrays mindestens 700-900 MByte/s liefern.


Da ich hier aus dem Forum und diesem Thread einiges an Informationen erhalten habe, biete ich euch gerne an, weitere spezielle Konfigurationen mit der vorhandenen Hardware zu testen, soweit das zeitlich machbar ist.

Ale anderen Ergebnisse werde ich auch hier einstellen, wenn Ihr wollt.

Zur Zeit initialisiert sich das erste Array aus 8x WD RE3 als RAID5, danach das 2. aus 8x Hitachi.

Ich habe noch folgende Fragen:

- Sollte man das Array immer komplett Initialisieren lassen, oder reicht fürs testen auch die Quick Funktion?

- Für Tests mit unterschiedlichem Stripe Sizes, sollte da das Array jedes mal neu erstellt werden, oder geht es schneller die Stripe Size eines bestehenden Arrays zu ändern? (nur interessant, wenn man kein Quick nutzen sollte, siehe Frage 1)

Gruß

Gordon_Freeman

 

[dewois]

- Für Tests mit unterschiedlichem Stripe Sizes, sollte da das Array jedes mal neu erstellt werden, oder geht es schneller die Stripe Size eines bestehenden Arrays zu ändern?

Auf jeden Fall neu erstellen wenn keine Lebenswichtigen Daten darauf sind, das ändern kann etliche Tage dauern, neu machen ist dagegen in ein paar Stunden erledigt.
Bei meinem Controller hatte ich mal versuchsweise von 256kb auf 16kb gestellt (8x HDD ~1,8TB Gesamt). Der Rechner lief 3 Tage 24h durch danach habe ich die Geduld verloren und ihn täglich nur noch laufen lassen wenn ich auch am PC war (etwa 4-5h pro Tag) nach gut 1Woche war das Raid5 wieder voll einsatzbereit. Kannst ja mal testen ob das “on the fly“ ändern immer so lange dauert oder ob es auch darauf ankommt ob die Platte wirklich mit Daten voll ist.
Um ein “Gefühl“ für die Zeit zu bekommen würde ich dir den Tipp geben die Stripe Size am Anfang nur um eine Stufe zu verkleinern, pro nächst kleinerer Größe braucht der Controller fast die doppelte Zeit. Wie sich eine Vergrößerung Zeitlich verhält habe ich nicht versucht.

 

[Gordon_Freeman]

Okay, danke.

Das ganze würde ja eh wegfallen, wenn die Quick Initialize Funktion beim neu erstellen keinen Einfluss auf die Performance hätte. Dann würden die Tests ja losgehen können, ohne dass man jedes mal noch Stunden auf das Array warten muss...


Gruß

Gordon_Freeman

 

[sgrA]

- Tauglichkeit von SAS Expandern (gibt es Platten, die am Controler erkannt werden, aber nicht am selben Controler hinter einem Expander)

Ob diese speziell diese Expander tauglich sind kann ich dir nicht sagen, grundsätzlich laufen die Controller mit Expandern.

- Wie skaliert der Datendurchsatz mit der Anzahl der Platten im RAID5 und RAID6 (also mit welcher niedrigen Anzahl von Platten man die maximale Performance des Controlers bereits rausholen kann)

Die kannst unter optimalen Bedingungen (IOmeter, ohne filesystem) mit ca 1GB/s lesend und 700 (RAID 6) bis 800MB/s (RAID 5) schreibend rechnen.

- Ist es möglich einen Datendurchsatz von dauerhaft 700-900 MByte/s an einem 5er Serie Controler zu erreichen mit bis zu 16 Laufwerken, auch hinter einem SAS Expander?

900MB/s sind recht dicht am maximalen SATA-Durchsatz des Controllers (SAS ist etwas schneller). Einen garantierten, ununterbrochenen 900MB/s stream wirst du damit kaum erreichen, der durchschnittliche Durchsatz kann durchaus in der Region >700MB/s liegen (sequentiell, wenn die queue-Tiefe und IO Größe stimmen).

- Funktioniert das Abschalten der Platten (Feature des 5er Serie) überhaupt, und wenn ja, auch mit Platten hinter einem Expander?

Ja. Sobald ein Lese-IO kommt kann es aber sein dass Platten geweckt werden.

- Wie unterschiedlich performen 3er Serie Controler und 5er Serie Controler mit identischen Plattenkonfigurationen?

Serie 3 hat eine niedrigere Rechenleistung und Bandbreite. Mit vielen Platten kann Serie 5 durchaus doppelt so schnell sein.

- Sollte man das Array immer komplett Initialisieren lassen, oder reicht fürs testen auch die Quick Funktion?

Für sequentielle Tests reich quick. Ansonsten normaler build oder clear.

- Für Tests mit unterschiedlichem Stripe Sizes, sollte da das Array jedes mal neu erstellt werden, oder geht es schneller die Stripe Size eines bestehenden Arrays zu ändern? (nur interessant, wenn man kein Quick nutzen sollte, siehe Frage 1)

Neu erzeugen geht einfacher und schneller, eine Migration dauert (sehr) lange.
Die default stripe size sollte "passen", mit kleinen wird der maximale Durchsatz eher sinken (außerdem dauern build/rebuild länger). Bei eingeschaltetem write cache (ohne macht bei RAID 5/6 kaum Sinn wenn man gute performance will) wird dir eine kleine stripe size nichts bringen.

 

[Gordon_Freeman]

Danke schon mal.

Deine Aussagen sind plausibel und werden von mir auch so erwartet. Ich wills halt durch die Tests noch bestätigen.

Ich hänge grade an einem Problem mit HD Tune Pro, das erkennt die Arrays nur als 2 TB, obwohl sie GPT sind und unter der Datenträgerverwaltung mit der vollen Kapazität angezeigt werden.

Muss ich mir also ein anderes Tool für die Benchmarks suchen.

Irgendwelche Empfehlungen?

Gruß

Adrian

 

[sgrA]

Klare Empfehlung für IOmeter

 

[Gordon_Freeman]

okay, das hatte ich sowieso auf dem Schrim.

Ich teste trotzdem mit HD Tune auch, obwohl es nur die 2 TB anzeigt.

iometer-2008-06-22-rc2.win.x86_64.zip

Das dürfte die letzte Version sein, die man nutzen sollte, oder?

Gruß

Adrian

 

[sgrA]

Ist zwar eine RC2 Version, sollte aber problemlos laufen.
Ansonsten die ältere 32-bit Version 2006.07.27 von http://www.iometer.org/doc/downloads.html.

 

[MacWolf]

mal was Anderes: wie siehts mit W7 Treiberunterstüzung aus. Kann man da welche zweckendfremden (Vista/2008) oder gibts irgendwo Beta-Treiber?

 

[AX842]

mal was Anderes: wie siehts mit W7 Treiberunterstüzung aus. Kann man da welche zweckendfremden (Vista/2008) oder gibts irgendwo Beta-Treiber?

Man kann die Vista Treiber nehmen. Ich hab habe mein Raid (Adaptec 51245) auch unter Win7 x64.

 

[MacWolf]

danke, dann werd ich es mal testen...

 

[Gordon_Freeman]

Hier aud dem Server 2008 R2 64 Bit (der ja Win7 entspricht) laufen auch die normalen Vista Treiber ohne Probleme.

 

[Katao]

sagt mal hat einer von euch zufällig 2 intel ssd´s der M Serie an dem Controller?

irgendwie hat da bei mir irgendwas nicht hin...
die 4K Werte sind absolut im Keller

kann das an der Stripe-Size liegen?
hab 256k eingestellt
alles andere hat (aus erfahrung) extrem performance gekostet

 

[MacWolf]

zu den W7 Treibern:
richtig, es sind schon welche integriert und der Controller wird ohne Probleme erkannt

zu den x25-m:
zwei habe ich nicht im Einsatz, aber eine - und besonders die 4k Werte sind unter aller Sau...

 

[sgrA]

kann das an der Stripe-Size liegen?
hab 256k eingestellt
alles andere hat (aus erfahrung) extrem performance gekostet

Nein, an der stripe size kann das nicht liegen.
Eine kleine stripe size bringt nichts - es werden unabhängig von der stripe size bei IOs immer nur disk-IOs erzeugt, die maximal die Größe des ursprünglichen IOs haben. Die stripe size bestimmt nur, nach wieviel Sektoren auf die nächste Platte gewechselt wird (z.B. sind bei 256KB stripe size Sektor 0 bis 511 auf disk 0, Sektor 512 bis 1023 auf disk 1 usw).

 

[dewois]

Wie ist eigentlich der mini Kühlkörper auf dem 5805 befestigt?
Ist der irgendwie geklebt? Selbst an der gelbern Halterung ist keine Schraube, Hat das Ding überhaupt einen Sinn?
Wie siehts mit alternativen passiven Kühlern aus, gibts da was was ohne große Umbauarbeiten passt (Habe noch die Batterie installiert).

 

[Snoopy69]

sagt mal hat einer von euch zufällig 2 intel ssd´s der M Serie an dem Controller?

irgendwie hat da bei mir irgendwas nicht hin...
die 4K Werte sind absolut im Keller

kann das an der Stripe-Size liegen?
hab 256k eingestellt
alles andere hat (aus erfahrung) extrem performance gekostet

Mit was ermittelst du die Werte von 4k random? Sag bitte nicht CDM und Co.

 

[Katao]

asdiskmark, crystal und co.

ist aber nicht nur ein adaptec Problem...
hab vorher nen RocketRaid 3520 drin gehabt und so ziemlich das gleiche Ergebnis bekommen. Die Datenraten sind mit dem 5805 zwar etwas höher, aber das ist nebensache...
anscheinend laufen die ssd´s wirklich nur an den hauseigenen Intelcontrollern perfekt

 

[Snoopy69]

Logischerweise ist 256k Stripesize bei 4k random schlechter als eine kleine Stripesize.
Ich würde dir aber besser IOmeter empfehlen. Bei mir zeigen CDM und Co. völlig falsche Werte an.

 

[MacWolf]

also ich bekomm mit der einen Postville in Kombination mit 5808/SB600/Sil3132 (mit XP und W7) vergleichbar bescheidene Werte bei 4k rand. (CDM, AS SSD, HDTune...)
Leider kann ich das nicht mehr an nem Areca oder Intel Controller gegenchecken

Irgendwo ist der Wurm drin - ich werd mal IOmeter laufen lassen...

 

[Snoopy69]

Bei IOmeter ein Pattern mit 4k - 100% random - 100% write und 1 oder 64 Outstanding IOs erstellen.

 

[MacWolf]

du hast nicht zufällig gerade ein passendes Pattern bei der Hand, oder entsprechende Anleitung? ;-)

 

[sgrA]

Logischerweise ist 256k Stripesize bei 4k random schlechter als eine kleine Stripesize.
Ich würde dir aber besser IOmeter empfehlen. Bei mir zeigen CDM und Co. völlig falsche Werte an.

Die Logik hätte ich gerne einmal näher erklärt. Irgendwo hat sie einen Fehler

 

[Snoopy69]

du hast nicht zufällig gerade ein passendes Pattern bei der Hand, oder entsprechende Anleitung? ;-)

Das hier ist 4k - 100% random 100% write mit 1 outstanding IO

http://www.megaupload.com/?d=46C00FHY

musst nur noch das Laufwerk bei "Worker 1" wählen.
Später kannst du ja noch 64 Outstanding IOs angeben

Hier ist noch eine Anleitung (englisch) zu IOmeter

http://ixbtlabs.com/articles/hddide2k1feb/iometer.html


@ sgrA

*grml*
Denk dir "logischerweise" halt weg
Sollte aber klar sein, dass ein Array mit grosser Stripesize bei kleinen Files langsamer liest/schreibt.

 

[sgrA]

*grml*
Denk dir "logischerweise" halt weg
Sollte aber klar sein, dass ein Array mit grosser Stripesize bei kleinen Files langsamer liest/schreibt.

Es erscheint vielleicht auf den ersten Blick logisch, stimmt aber (trotzdem) nicht.

Grundsätzlich ist ein array mit 1MB stripes beim Lesen und Schreiben von 4KB random IOs genau so schnell wie ein array mit 16KB stripe size.

Die Größe der IOs, die zu den Platten geht ist bei kleinen IOs *UNABHÄNGIG* von der stripe size. 4KB random IOs resultieren in 4KB IOs auf disk-Ebene.

 

[Snoopy69]

Ich hatte es getestet (nicht nur gebencht)

http://www.hardwareluxx.de/community/showpost.php?p=12730487&postcount=937

Der Link ist etwas verwirrend. Damit wollte ich 2 versch. FWs testen.
4k Stripesize ist bei mir bei kleinen Files eindeutig schneller als 128k
Dafür ist 128k beim Pattern (FC-Test) "iso" schneller gewesen.

Glaubst du es nun?

 

[sgrA]

Glaubst du es nun?

Du must zwischen den Eigenschaften von Controllern und generellen Aussagen unterscheiden.
Wenn der Areca bei kleiner Stripe size schneller ist, heißt das nicht dass das eine allgemeine Eigenschaft der stripe size ist.
Grundsätzlich gibt es keinen Grund warum 4KB random writes bei 1MB stripes nicht genau so schnell sein sollten wie bei 4KB stripes.

Durch das Aufbrechen von IOs an den Streifengrenzen kann sogar das Gegenteil der Fall sein.
4KB entsprechen 8 sektoren. Nimm an, IOmeter macht die IOs Sektor-aligned und du verwendest eine stripe size von 4KB. Achtung, jetzt wird's schwierig :
Das heißt, dass im Durchschnitt 7 von 8 IOs aufgebrochen werden müssen, weil sie über mehrere stripes gehen. Ein aufgebrochener IO resultiert also auf disk-Ebene in min. 2 IOs. Das heißt, bei 4KB random writes auf ein RAID 0 mit 4KB stripe size verdoppelst du die Anzahl der IOs, die auf die Laufwerke gehen, beinahe. Die Performance wird sich annährend halbieren und es gibt KEINE Möglichkeit das zu verhindern.

Wenn du einen wirklichen Test machen willst, benchmarke ein single Laufwerk und schau dir an wie die 4KB random read/write Performance im RAID 0 skaliert. Wenn sich die Performance bei einem 2 drive RAID 0 mit großen Stripes nicht annährend verdoppelt, arbeitet der Controller nicht optimal. Auf der anderen Seite wird die Performance bis annährend auf die Performance einer einzelnen SSD SINKEN wenn die stripe size klein wird (bei sektor-aligned IOs).