[Sammelthread] Adaptec 5405/5805 und 2405

[sgrA]

Stimmt nicht. Wenn CrystalDiskMark bei 4K random reads nur einen outstanding io macht kann der doch nur von *einer* SSD kommen. Also kann da rein gar nichts mit der Anzahl der SSDs skalieren.

Nebenbei skalieren die IO/s auch bei einer SSD, allein durch die Latenzen. Sie erreichen den maximalen Durchsatz viel früher als HDDs, aber es macht einen großen Unterschied ob es einer oder vier outstanding IOs sind.

 

[Snoopy69]

Von der seq. Datenrate rede ich garnicht. da sklaiert jedes Array mit mehr und mehr Drives.
Guck dir die 4k-Werte an. Da tut sich fast garnichts zwischen 4 und 6 SSDs.
Mach das Gleiche mit HDDs, dann verstehst du es
Vielleicht verwechselst du auch nur was. Die Anzahl von Outstanding IOs sind gleichzeitige Zugriffe von mehreren Programmen. Wobei Crystaldiskmark sicher nur "1"
hat. Dazu braucht man professionellere Programme wie IOmeter (1-256).
Die Anzeichen sind jedenfalls klar. Das zeigen auch zahlreiche Benches, die man überall so findet.

Hier mal einige Beispiele (siehe IOmeter)

http://forum.ssdworld.ch/viewtopic.php?f=1&t=46

 

[sgrA]

Hier fällt stark auf, dass Raid 0 @ 4k mit 5 + 6 SSDs auch nicht mehr bringt als mit 4 SSDs (also unwesentlich). Liegts am Controller oder an den SSDs?

Darauf beziehe ich mich. Bei nur einem outstanding IO *können* 4 oder 6 oder 100 SSDs nicht schneller sein als EINE.

 

[Snoopy69]

Und so wie ich geschrieben hab auch nicht. Also viele Outstandings und mehrere SSDs <- das meinte ich
Die Aussage von dir ergibt sich daraus automatisch.


@ all

Der Grund, warum SATA-Drives mit IOP348-Controllern schlechter performen...

http://en.wikipedia.org/wiki/Serial_Attached_SCSI
ftp://download.intel.com/technology/serialATA/pdf/25240201.pdf

SAS uses higher signaling voltages (800-1600 mV TX, 275-1600 mV RX) than SATA (400-600 mV TX, 325-600 mV RX). One reason for this higher voltage is so SAS may be used in server backplanes.

 

[sgrA]

Der Grund, warum SATA-Drives mit IOP348-Controllern schlechter performen...

http://en.wikipedia.org/wiki/Serial_Attached_SCSI
ftp://download.intel.com/technology/...f/25240201.pdf

Sorry, das ist totaler Blödsinn.
Und was ist an ca 1GB/s "schlecht performen"?

 

[Snoopy69]

Dann erkläre du mir warum SATA-Drives nicht die Bandbreite des IOP348 ausnutzen können?
Für diesen Test sollte man natürlich ohne Cache Benchen, um die Rohleistung zu sehen.
Fakt ist, dass man mit SSDs (SATA, klar) niemals über 800MB/s. kommt. Dafür gibt es zahlreiche Berichte.
Der IOP341 schafft das aber locker. Warum?

Vielleicht hat ja zufällig jmd viele SATA-HDDs rumfliegen, mit denen er ein grosses Raid 0-Array aufbauen könnte.
Wenn ich jetzt mal von aktuellen SATA-HDDs ausgehe, kann der IOP348 niemals eine Rohleistung von 1GB/s. knacken.
Oder gibt es irgendwo SATA-HDDs mit mehr als 125MB/s.?

Wie gesagt, es muss ohne Cache gebencht werden.

btw:

Die Links oben hab ich auch nur bekommen. Und mir wurde das als Grund genannt.

 

[sgrA]

Vielleicht hat ja zufällig jmd viele SATA-HDDs rumfliegen, mit denen er ein grosses Raid 0-Array aufbauen könnte.
Wenn ich jetzt mal von aktuellen SATA-HDDs ausgehe, kann der IOP348 niemals eine Rohleistung von 1GB/s. knacken.

Gerade mit ein paar alten Barracuda ES und Ultrastars ausprobiert (Adaptec 5085, 2 x 12 Platten, RAID 0, IOmeter 256KB seq. reads queue depth 2). Reads: 1040MB/s, Writes 900MB/s.

 

[Snoopy69]

Darf ich fragen welche Datenrate eine HDD hat?
Du benutzt einen Expander, oder? Weil 2x 12 HDDs. Meinst du wirklich 24?
Der 5085 hat ja meines Wissens nur 8 Ports.

Naja, trotzdem kommt zb der 5805 gerade etwas über 600MB/s. (roh)
Und das mit 8x Supertalent Masterdrive PX (SLC) 170/130MB/s. r/w
Das wären theor. über 1300MB/s.

http://www.xtremesystems.org/forums/showthread.php?t=207557&highlight=ssd

Der ARC-1231ML schafft das zwar auch nicht, aber immer hin über 800MB/s. (roh)


Hast du mal einen HDtach-Bench von deinem Array?

 

[sgrA]

Darf ich fragen welche Datenrate eine HDD hat?

Nicht mehr als 80MB/s.

Du benutzt einen Expander, oder? Weil 2x 12 HDDs. Meinst du wirklich 24?
Der 5085 hat ja meines Wissens nur 8 Ports.

Ja, mit Expander.

Einen HDtach-Bench habe ich nicht, aber da wird man auch nicht auf 1GB/s kommen, weil HDTach glaube ich nur 64KB IOs queue-depth 1 macht.

 

[Snoopy69]

Aha
Mit was könnte man es noch benchen?

 

[sgrA]

Ich habe das Setup schon wieder zerlegt und auch anderes zu tun - wenn du die Werte nicht glauben willst, lass es

 

[Snoopy69]

Wie sieht es bei IOP348 aus?

 

[barnacle2k]

Hi,
ich habe mal ne frage an die adaptecnutzer hier.
habe einen 5445 gekauft.
Ich wollte eine config mit zwei raidsets aufbauen.
1. RAID5 mit 4x 2.5" 10k SAS platten fürs OS
2. Raid 6 mit 6x 1tb oder 1.5tb platten für storage

Meine frage ist nun ob das eine set das andere ausbremst.
Sprich wenn ich auf dem storage R6 was hin und herkoppiere das dann das R5 für sys warten muss bzw. sehr langsam ist.
Oder ob man da Prioritäten oder load balancing 50/50 einstellen kann.
Mir kommts da auf die "Reaktionsfähigkeit" des OS an.
Nicht das man auf die ganzen Storage Ios warten muss.
Hätte noch einen perc5/i im regal wo ich die SAS ansonsten dranhängen würde.

 

[sgrA]

Hi! Die IOs zu den RAID 5 und 6 werden unabhängig von einander bearbeitet und es können deutlich mehr IOs auf dem Controller sein als von normalen OS-Operationen oder copies verursacht werden. Es ist nicht so, dass gewartet wird, bis IOs vom anderen Array fertig sind - die laufen parallel. Die Arrays bremsen sich also nicht gegenseitig aus.

 

[barnacle2k]

danke für die infos.
Habe mir jetzt erstmal kabel bestellt und teste die konfigurationen einfach mal durch.
Denke jetzt, wo ich mir die leistungsdaten des controllers angekuckt habe, dass der wohl bei ~100mb/sec. auf dem 6 wohl noch genug frei hat für das andere array.
Der schafft ja bei einzelnen raid6 arrays ja etwa 400Mb sreibend und lesend.

 

[sgrA]

danke für die infos.
Habe mir jetzt erstmal kabel bestellt und teste die konfigurationen einfach mal durch.
Denke jetzt, wo ich mir die leistungsdaten des controllers angekuckt habe, dass der wohl bei ~100mb/sec. auf dem 6 wohl noch genug frei hat für das andere array.

Ist mit Sicherheit kein Problem.

Der schafft ja bei einzelnen raid6 arrays ja etwa 400Mb sreibend und lesend.

Mit SAS-Platten und genug outstanding IOs etwa das doppelte (800MB/s schreibend) bzw dreifache (1200MB/s lesend), SATA etwas weniger

 

[mrt181]

sagt mal, kann ich auf dem 8port-Controller ein RAID6 aus 4 Platten mit weiteren 4Platten zu einem RAID60 erweitern? Oder muss ich das komplett neu aufbauen?

 

[sgrA]

Komplett neu aufbauen. Warum machst du kein RAID 6 aus 8 Platten? Ansonsten verschenkst du die halbe Kapazität. Dafür würde auch einen Neuaufbau empfehlen - expansion um 4 Laufwerke dauert bei großen Platten ewig.

 

[mrt181]

Performance soll höher sein als raid6, habe es noch nicht selbst getestet und man hat die sicherheit von raid6. kapazität ist nebensächlich, ich will nicht upr0n spiegeln.

 

[Snoopy69]

Ich würde auch lieber auf 8faches Raid 6 setzen.
Die Perf. entspricht in etwa 5fachem Raid 0 (also 8HDDs - 2 HDDs Parität - etwas Verlust)

 

[sgrA]

Die Performance wäre bei einem RAID 60 nicht höher sondern niedriger, weil nur 4 von 8 Platten Daten liefern können, bei einem R6 aus 8 Platten sind es 6 von 8 -> ca. 50% höhere Performance.

P.S.: nimm die default stripe-size (256KB).

 

[Snoopy69]

Nee, nee, ist schon höher, aber nicht so hoch wie 8faches Raid 6.
Raid 60 ist ja 2x Raid 6 @ Raid 0.

 

[sgrA]

Ist doch nicht prinzipiell höher als bei RAID 6? Wenn man beides aus 8 Platten baut ist RAID 6 schneller als RAID 60. So war das gemeint.

 

[Back2Live]

Hallo,

ich hab mal noch eine Frage zur Lese-Cache Einstellung. kann es unter merkwürdigen Bedingungen besser sein den Lesecache abzuschalten ?
Bzw. ist es möglich das sich der Controller-Lese-Cache sich in die Quere kommt mit dem Plattencache ?

Ich habe hier ein komisches Problem gelöst indem ich den Lesecache auf der Systemplatte abgeschaltet habe.

viele Grüße
Andreas

 

[sgrA]

Was für ein Problem und was für eine Platte? In die Quere kommen kann sich nichts, da der Controller nichts direkt vom Plattencache weiß. Es liest von der Platte - ob die es aus dem Cache liefert oder nicht spielt da keine Rolle.

 

[AX842]

Es geht nicht um den Cache auf der Platte, sondern um die Read-Ahead Funktion, bei der der Controller-Cachespeicher genutzt wird.
Der Lesecache bringt Vorteile beim sequentiellen Lesen von Daten. Bei vielen zufälligen Zugriffen kann sich das aber nachteilig auswirken.
Bei SSDs oder bei Systemplatten würde ich diese Funktion deaktivieren.

 

[Back2Live]

Hallo,

habe 5x WD10EACS-32Z im Raid5 + Hotspare. Darauf sind 4 Logical Drives eingerichtet. Auf dem Ersten liegt das BS.

Nun ist es so das ich beim normalen Betrieb nichts davon merke aber beim Spielen in TF2 gibt es eigenartige lags immer dann wenn ein neuer Sound wiedergegeben wird, z.b. HP aufsammeln oder an den Schrank gehen usw. Der lag dauert ca. 20-50ms (geschätzt) je nach Menge der Spieler die gerade einen "neuen" Sound abspielen kann es sein das es einigemale hintereinander vorkommt, ist also fast nicht spielbar wenn man nicht dauernd gekillt werden will.

Ich habe da lange getestet, das Problem habe ich eingegrenzt indem ich ein neues System auf eine einzelne Platte installiert habe und damit getestet habe:

Platte am ICH9 = keine Probleme (ohne eingebauten 5805)
Platte am ICH9 = keine Probleme (mit eingebauten 5805)
Platte am ICH9 = keine Probleme (mit eingebauten 5805, und extrem copyjob im Hintergrund, zig 2GB Files kopiert)

Platte am 5805 = Probleme, auch ohne copyjob

Die Einzelne Systemplatte mit Spiel war am Controller angeschlossen und die anderen Platten waren natürlich auch angeschlossen.

Dann habe ich mit den Einstellungen am Controller experimentiert.
Sobald der Lesecache auf dem Volume mit BS abgeschaltet wird waren die Lags weg, wenn ich den wieder einschalte sind sie wieder da, Fehler ist also reproduzierbar. Egal ob ich jetzt mit der einzelnen Platte teste oder mit dem Raid 5.

Deshalb die Frage ob sich der Lesecache auf irgendeineweise negativ auswirken kann. Ich kann mir das auch nicht erklären aber ich habe alles andere schon ausgeschloßen, anderes Board anderer RAM anderere Soundkarte.

viele Grüße
Andreas

 

[AX842]

Wie ich schon anmerkte, würde ich den Lesecache bei der Systemplatte abstellen wegen der vielen zufälligen Zugriffe.
Das Betriebssystem würde ich im Übrigen nicht auf ein Raid 5 machen, da die Zugriffszeiten dort zu schlecht sind. Nimm dafür am Besten die Einzelplatte.

 

[barnacle2k]

Hi,
bin gerade dabei mein R5 aus den 4stk. 2.5" 10k SAS zu erstellen.
Hatte schon einige probleme mit dem controller.
Der scheint völlig instabil zu sein.
Hatte beim booten mehrmals Kernel Panic der controller, ohne eindeutigen grund.
Dann wollte ich im storage manager in windows alle drives inizieren lassen damit ich da ein array drauf erstellen kann.
(Muss das wirklich sein? Warum muss man die drives stundenlang clearen, um dann bei der array erstellung nochmal stundenlang alles überschreiben zu lassen. Kenn das so das die platten nur einmal genullt werden.)
Tja das hat ihn aufgehängt. Der reagiert nicht mehr, werde nun mal nen neustart machen und kucken ob der wieder PANIC macht.
Und ja, ich kühle ihn mit einem lüfter.

 

[sgrA]

Was machst du? Die Platten kannst du im Storage Manager direkt zu einem logischen Laufwerk "verbauen" ohne irgendwelche surface checks oder sonst etwas vorher damit zu machen.
Das mit den Abstürzen klingt nicht so gut und eher nach Problemen mit dem Board.