Performance-Probleme mit Adaptec ASR72405

[Consystor]

Hallo zusammen!

Ich habe ein Problem mit einem Adaptec ASR72405 RAID-Controller.
Betriebssystem: Debian 3.2.46-1+deb7u1 (unter Windows stellt es sich aber ähnlich schlecht dar)
Geräte: 6x TOSHIBA 256GB SSD (THNSNH256GCST)

Wenn ich ein volume mit einer einzelnen SSD erzeuge, bekomme ich Leseraten von nur ~270 MByte/s.
Das ist viel zu wenig, weil eine solche SSD am Onboard-SATA-Controller auf ~500 MByte/s kommt.
Mit RAID0 und zwei SSDs bekomme ich 500MByte/s aber wenn ich noch mehr SSDs in RAID0 konfiguriere, wird es nie schneller als ~600 MByte/s.

Ich habe den Controller in einem System mit einer PCIe 3.0 x8 Anbindung, die ~7,5 GByte/s schafft.
Das wird mir unter Linux (lspci zeigt LnkSta: Speed 8GT/s, Width x8) auch richtig angezeigt.
Nun habe ich den RAID-Controller in ein anderes Motherboard mit einer PCIe 1.1 x4 Anbindung gesteckt, der 1GByte/s schafft.
Es sind aber auch hier nur ~270MByte/s.

Es macht keinen Unterschied, ob ich irgendwelche Caches des Controllers ein-/ausschalte.
Gemessen wird u.a. mit:
hdparm -tT --direct /dev/sda

Als Firmware habe ich 7.1-0 (30035), 7.2-0 (30260) und 7.3-0 (30612) versucht. Die Ergebnisse sind immer dieselben.
arconf-Ausgaben stelle ich gerne bereit.
Für die SSDs habe ich keine Firmware-Downloads gefunden.
Die Treiber-Version ist 1.2-1 (30300).

Wisst Ihr vllt., was schief laufen könnte?

Viele Grüße

 

[Holt]

Wenn ich ein volume mit einer einzelnen SSD erzeuge, bekomme ich Leseraten von nur ~270 MByte/s.

Hast Du die Anleitung vorher gelesen? Nein, wohl nicht, sonst hättest Du ja diesen Satz auf Seite 17 ("About Your RAID Controller, his chapter provides an overview of the features of your Adaptec RAID controller.") gesehen:

Support for SAS disk drives, SATA/SATA II disk drives, and SATA and SAS Solid State Drives (SSDs)

Das ist viel zu wenig, weil eine solche SSD am Onboard-SATA-Controller auf ~500 MByte/s kommt.

Sowas liest man sich eigentlich durch bevor an eine HW kauft und vertraut nicht auf Angaben im Preisvergleich, denn dann hättest Du gewusst, das SATA LW nur mit 3Gb/s unterstützt werden.

Mit RAID0 und zwei SSDs bekomme ich 500MByte/s aber wenn ich noch mehr SSDs in RAID0 konfiguriere, wird es nie schneller als ~600 MByte/s.

Ich habe den Controller in einem System mit einer PCIe 3.0 x8 Anbindung, die ~7,5 GByte/s schafft.
Das wird mir unter Linux (lspci zeigt LnkSta: Speed 8GT/s, Width x8) auch richtig angezeigt.
Nun habe ich den RAID-Controller in ein anderes Motherboard mit einer PCIe 1.1 x4 Anbindung gesteckt, der 1GByte/s schafft.

Dann würde ich mal sagen, dass die Karte eben nicht mit PCIe 3.0 x8 angebunden ist, sondern vielleicht mit einer PCIe Lane. Dazu müsste man aber mehr über die ganze HW wissen, vor allem welches Board es ist und wie die PCIe Slots belegt sind. Außerdem wäre die ganze Ausgabe von "lspci -vv" für den Controller hilfreich, denn bei meinem Linux hier gibt es sowohl eine Zeile für "Link: Supported Speed ..." als auch eine für "Link: Speed 2.5Gb/s, Width x16" und dass bei der ersten Speed 8Gb/s und Width x8 steht, ist bei dem Controller ja logisch und wird auch bei dem zweiten Board wo er in einem PCIe 1.1 x4 Slot steckt nicht anders sein.

 

[Consystor]

Danke für Deine Antwort aber ich möchte ein paar Dinge klarstellen.

1. Ich habe keine Preisvergleiche gelesen, weil ich die Karte nicht einmal gekauft habe.

2. Wenn es nach dem von Dir zitiertem Satz (Support for SAS disk drives, SATA/SATA II disk drives, and SATA and SAS Solid State Drives (SSDs)) ginge, wäre bei den SSDs nur SATA möglich (also nur 1,5GBit/s).
Ich selbst habe S. 23 gelesen, wo nur etwas von 6GB/s drin steht. Ich kann es also durchaus verstehen, dass mein Kollege von SATA III ausging.
Somit ist die Anleitung insgesamt weit interpretationsfähig um nicht zu sagen falsch. Ob bewusst oder unbewusst sei dahingestellt...

3. Deine letzte Annahme (denn bei meinem Linux hier gibt es sowohl eine Zeile für "Link: Supported Speed ..." als auch eine für "Link: Speed 2.5Gb/s, Width x16" und dass bei der ersten Speed 8Gb/s und Width x8 steht, ist bei dem Controller ja logisch und wird auch bei dem zweiten Board wo er in einem PCIe 1.1 x4 Slot steckt nicht anders sein.) ist falsch.

Das Motherboard ist ein Dual-Socket Server-Motherboard (mit je einem Xeon E5-2630). Die genaue Bezeichnung müsste ich in Erfahrung bringen.
lspci-Auszug des Systems:
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM L0s L1, Latency L0 unlimited, L1 <64us
ClockPM- Surprise- LLActRep- BwNot-
LnkSta: Speed 8GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
Somit ist es mit PCIe 3.0 x8 angebunden.

und hier das andere System:
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM L0s L1, Latency L0 unlimited, L1 <64us
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk-
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: Speed 2.5GT/s, Width x4, TrErr- Train- SlotClk- DLActive- BWMgmt- ABWMgmt-


Trotzdem: Dass pro SSD nur unter 300MB/s möglich sind, verstehe ich nun. Danke auch für diesen Hinweis.
Aber es bleibt das Problem, dass egal ob PCIe 3.0 x8 oder PCIe 1.1 x4: Im RAID0 sind mit 2-6 SSDs nicht mehr als 700MB/s möglich.


PS:
Auch in der Produktinfo steht "SAS/SATA-Ports mit 6*Gbit/s".
Ansonsten steht da nichts von SATAII oder 3GB/s...

 

[Holt]

2. Wenn es nach dem von Dir zitiertem Satz (Support for SAS disk drives, SATA/SATA II disk drives, and SATA and SAS Solid State Drives (SSDs)) ginge, wäre bei den SSDs nur SATA möglich (also nur 1,5GBit/s).

SATA II, wie ja auch da steht, ist zwar nicht die korrekte aber eine übliche Bezeichnung für SATA 3Gb/s, also nicht nur 1.5Gb/s.

Ich selbst habe S. 23 gelesen, wo nur etwas von 6GB/s drin steht. Ich kann es also durchaus verstehen, dass mein Kollege von SATA III ausging.

Die Kombination SAS 6Gb/s aber SATA nur mit 3Gb/s ist leider nicht unüblich und wer nicht genau darauf achtet, der übersieht diese Einschränkung leicht, was ja wohl auch nicht unbeabsichtigt ist. Der Kunden soll seine Wünsche in Gedanken zur Realität transformieren, damit der das Produkt kauft, daher sollte man ihn dabei nicht stören

Somit ist die Anleitung insgesamt weit interpretationsfähig um nicht zu sagen falsch. Ob bewusst oder unbewusst sei dahingestellt...

Ach was, die Einschränkungen stehen immer wowanders, meist im Kleingedruckten. Die dort angegebenen 6Gb/s werden mit SAS LW dort erreicht und SATA LW funktionieren auch, nur eben nicht mit den 6Gb/s, das ist der Teil den der Kunde sich dann selbst im Kopf zusammenreimt.

3. ... Das Motherboard ist ein Dual-Socket Server-Motherboard (mit je einem Xeon E5-2630). Die genaue Bezeichnung müsste ich in Erfahrung bringen.

Nicht nötig, die folgende Aussage ist ja eindeutig:

lspci-Auszug des Systems:
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM L0s L1, Latency L0 unlimited, L1 <64us
ClockPM- Surprise- LLActRep- BwNot-
LnkSta: Speed 8GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
Somit ist es mit PCIe 3.0 x8 angebunden.

und hier das andere System:
LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM L0s L1, Latency L0 unlimited, L1 <64us
ClockPM- Surprise- LLActRep- BwNot-
LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk-
ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
LnkSta: Speed 2.5GT/s, Width x4, TrErr- Train- SlotClk- DLActive- BWMgmt- ABWMgmt-

..
Aber es bleibt das Problem, dass egal ob PCIe 3.0 x8 oder PCIe 1.1 x4: Im RAID0 sind mit 2-6 SSDs nicht mehr als 700MB/s möglich.

Das ist in der Tat eine seltsame Sachen, denn mit mehr als 3 bis 4 SSDs sollte deutlich mehr drin sein, zumal die Anbindung ja offenbar stimmt. Welches Stripping habt ihr für das RAID 0 gewählt?

Wenn Du ein RAID über 4 SSDs macht und dann über 6, ändert sich dann der Wert? Das wäre ein Hinweis auf ein viel zu kurzes Strippingsize.

 

[Consystor]

Hallo nochmal!

Also ich korrigiere Dich ungern aber genau genommen steht da SATA and SAS Solid State Drives und nicht SATAII.
Somit wäre bei SSDs nur SATA möglich.

Ich habe mir jedenfalls nichts zusammengereimt. Die Info mit SATAII steht an gerade mal einer Stelle in der Bedienungsanleitung.
Daraus zu schließen, dass irgendjemand nur Preisvergleiche studiert hätte, finde ich unangebracht. Und bei der Produktinfo steht es überhaupt nicht dabei. An vielen anderen Stellen in der Anleitung auch nicht. Das sage ich als neutrale Person - habe schließlich nichts bezahlt und bin nur gefragt worden, weil es Probleme gibt.
Wenn Du nun eine üble Masche als raffinierten Verkaufstrick darstellen willst, nehme ich das nicht persönlich - Du wirst schon Deinen Grund haben. Ich habe ohnehin einen LSI-Controller vorgeschlagen aber gekauft wurde aus vertragstechnischer Sicht dieser Adaptec. Nun habe ich eine Rückgabe vorgeschlagen.

Die Stripe Unit Size ist bei 256kB.
4 SSDs in RAID0 waren sogar wenige zig MB schneller als 6. Für genauere Zahlen müsste ich nochmal testen.

Aber jetzt schreibe ich: Gute Nacht und nochmals danke für den Hinweis!

 

[Holt]

Es ist schlicht die allgemeine Erfahrung, dass man solche unschönen Details eben immer nur gut versteckt in den Anleitungen findet, während es sonst so geschrieben wird, als wäre alles möglich, eben 6Gb/s und dann schön "SATA and SAS Solid State Drives", statt eben konkret SATA bis 3Gb/s und SAS bis 6 Gb/s zu schreiben. Dann hätten die ihn ja nicht gekauft.

256k ist fast schon ein bisschen viel, jedenfalls sollte es daran nicht liegen, außer die Zugriffe mit denen Ihr den Durchsatz ermittelt sind so kurz, dass die Daten nicht über genug SSDs verteilt wurden, aber dann hättet ihr ja auch nicht 1GByte/s im PCIe 1.1 x4 Slot gemessen.

 

[Consystor]

Moin!

Also wir messen mit dd ... bs=256 count=8000 und hdparm --direct -tT /dev/sd....
Die Ergebnisse sind ungefähr gleich.

Weil der Controller m.E. ohnehin keinen Sinn macht, habe ich jetzt wg. des LSI 9271-8i hier gefragt.

 

[Digi-Quick]

Nunja, LSI und 3 Ware kommunizieren das Thema 3G/s bei SATA und 6G/s für SAS sehr deutlich in den technischen Daten, Adaptec hat es scheinbar nötig diese Informationen weitestgehend zu verheimlichen....
Ich weiss schon warum ich nie wieder Adaptec kaufe würde!
Adaptec war mal DAS Synonym für SCSI Controller - lang ist's her.