Fragen zu LSI 2208 SAS Controller (onboard) und HP SAS Expander

[xoxled]

Hallo,

ich habe zudem noch einige Fragen 3ware 9650SE-12ML LSI 2208 SAS Controller (onboard) und HP SAS Expander.

Die meisten Fragen dürften für Euch wahrscheinlich trivial sein, aber da ich bislang noch keine Erfahrungen mit SAS gesammelt habe, möchte ich einfach sicher gehen.

Als in Frage kommendes Mainboard denke ich an ein Supermicro X9DR7-TF+ mit dem LSI 2208 Chipsatz onboard, dazu vorab folgende Frage:


1) LSI 2208 BBU

Welche BBU genau ist für dieses Board einzusetzen? Ich habe bei meinen Recherchen folgende beiden Produkte angegeben gefunden, weiß aber nicht, was da was ist und ob beide notwendig sind:

- BBU SuperMicro BTR-0022L-LSI00279
- BBU Kit SuperMicro MCP-450-00001-0N

Kann mir jemand zudem eine ungefähre Hausnummer für Preise der Produkte geben? Ich habe bei den einschlägigen Online-Händlern dazu leider keine Angaben gefunden.


Hier nun die Fragen zum Betrieb des HP SAS Expanders mit LSI 2208 SAS Controller auf dem Supermicro X9DR7-TF+ Mainboard


2) Kompatibilität

Vorab natürlich die Frage, ob der HP SAS Expander überhaupt kompatibel zu onboard LSI 2208 SAS Controller ist?

Würde er in dieser Kombination auch die SAS3 Datenraten unterstützen?


3) Firmware Update

Ist ein Firmware Update für den HP SAS Expander über den LSI Controller möglich? In der HP Spezifikation sind hierfür (natürlich) nur die HP Controller angegeben.


4) RAID 6

Sind mit dem LSI 2208 SAS onboard Controller RAID 6 Units möglich, und auch unter Nutzung von am HP Extender angeschlossenen SATA HDDs?

Die Angaben gehen hier nämlich weit auseinander - während die Berichte über den Controller und auch die Händlereinträge zum Supermicro X9DR7-TF+ Mainboard von RAID 6 (und RAID 60) sprechen, werden diese Modi auf der Website von Supermicro zu dem Board und auch im Handbuch nicht angegeben.

Ich habe diesbezüglich schon bei SuperMicro angefragt, bislang jedoch leider keine Antwort erhalten.


5) Gemischte RAID Units (RAID 1 / 5 / 6)

Kann ich verschiedene RAID-Units (RAID 1 + RAID5 + RAID 6) mit LSI 2208 SAS Controller auf Expander HDDs betreiben?

Dies ist wahrscheinlich eine der trivialen Fragen - bei den LSI / 3ware SATA RAID Controllern ist dies ja problemfrei möglich, aber ich möchte hier nur auch für SAS sicher gehen.


6) SSD als RAID 5 an SAS (iSCSI)

In Verbindung mit dem SAS Controller überlege ich, mir einen RAID 5 Verbund aus 4 baugleichen 256GB SSDs einzurichten, um einen schnellen Datenspeicher für meine Workstations (für Virtuelle Machinen, Videoschnitt, Compilierung etc.) zu haben.

Welche Performance dürte ich in der beschriebenen Kombination erwarten, respektive gehe ich richtig davon aus, dass die Performance in etwa dem dreifachen der jeweiligen Lese- und Schreibraten der SSDs entspricht (mir ist bewusst, dass sich die IOPS dadurch nicht steigern lassen)?

Aus Performance-Gründen scheint mir sinnvoll, diesen Speicherplatz über iSCSI anzubinden, habe so etwas jedoch och nicht gemacht. Ist es möglich, denselben iSCSI Speicherbereich zeitgleich von mehreren Workstations aus zu nutzen (unter NTFS), die ihrerseits jedoch dann auf auf unterschiedlich Dateien zugreifen würden.

Oder müsste ich für jede Workstation einen eigenen iSCSI-Bereich schaffen?

Ich habe gelesen, dass es wohl auch spezielle Dateisysteme für eine solche zeitgleiche Nutzung geben soll (oder habe ich das falsch verstanden?). Welche wären das, und welche / wie ließen sich diese unter Windows (Server 2008R und Windows 7 Ultimate) einbinden und nutzen?


7) Anbindung Expander an SAS Controller

Ist eine Anbindung des HP SAS Expanders an den LSI SAS Controller onbard mit 2* 4 Lanes zwingend (da der Expander hierfür 2* 4 Lanes Uplink Ports zur Verfügung stellt), oder dies auch mit 1* 4 Lanes möglich?

Ich nehme an, dass die theoretische Maximalperformace mit nur 1* 4 Lanes zwar leiden mag, aber ebenso, dass dies bei mir in der Praxis keine wirklich Rolle spielen würde.

Hintergrund und verbunden damit ist nämlich die Frage, ob ich dann auch zwei Expander jeweils mit 1* 4 Lanes an LSI SAS Controller anbinden kann (der stellt seinerseits 2* 4 Lanes bereit)?


8) Externer SAS Anschluss am Expander

Ist der externe 4 Lane SAS Anschluss beliebig nutzbar? Dies ist wohl auch so eine triviale Frage, aber in der Anleitung ist dieser als Tape-Anschluss spezifiziert. Ich nehme mal an, dass es hier keine Unterschiede zwischen der Anbindung von Tape-Laufwerken und HDDs geben dürfte, möchte aber auch hier sicher gehen.


9) Kaskadierung von SAS Expandern

Ließe sich der externe Anschluss des HP SAS Expander auch quasi Slave Uplink für einen weiteren kaskadierten SAS Expander nutzen?

Ich dachte daran, den 1ten Expander über 2* 4Lanes an den LSI SAS Controller anzuschließen, und später einen 2ten Expander über den externen 1* 4 Lane Anschluss in einem zweiten Festplatten-Gehäuse.



Auch hier wieder würde ich mich jegliche Antworten sehr freuen und danke schon einmal im Voraus!
Uwe

 

[bluesunset]

Als in Frage kommendes Mainboard denke ich an ein Supermicro X9DR7-TF+ mit dem LSI 2208 Chipsatz onboard, dazu vorab folgende Frage:

Hier nun die Fragen zum Betrieb des HP SAS Expanders mit LSI 2208 SAS Controller auf dem Supermicro X9DR7-TF+ Mainboard

2) Kompatibilität

Vorab natürlich die Frage, ob der HP SAS Expander überhaupt kompatibel zu onboard LSI 2208 SAS Controller ist?

Würde er in dieser Kombination auch die SAS3 Datenraten unterstützen?

Es gibt noch keine SAS3.0 Produkte offiziell im Einzelhandel. SAS 2.0 mit 6Gbit/sec muss dein angestrebter SAS-Expander können, ansonsten ist es relativ uninteressant.

Die Sache mit mehreren Raidsets (unabhängige Raids) bei Onboard Controllern kannst du dir auch gleich einmal sparen, da dies in der Regel per Software nicht möglich ist. Man soll sich teurere PCIe Steckkarten mit extra Cache kaufen. Auch unterstützt LSI nur max. 64TByte je LUN.

6) SSD als RAID 5 an SAS (iSCSI)

In Verbindung mit dem SAS Controller überlege ich, mir einen RAID 5 Verbund aus 4 baugleichen 256GB SSDs einzurichten, um einen schnellen Datenspeicher für meine Workstations (für Virtuelle Machinen, Videoschnitt, Compilierung etc.) zu haben.

Welche Performance dürte ich in der beschriebenen Kombination erwarten, respektive gehe ich richtig davon aus, dass die Performance in etwa dem dreifachen der jeweiligen Lese- und Schreibraten der SSDs entspricht (mir ist bewusst, dass sich die IOPS dadurch nicht steigern lassen)?

Aus Performance-Gründen scheint mir sinnvoll, diesen Speicherplatz über iSCSI anzubinden, habe so etwas jedoch och nicht gemacht. Ist es möglich, denselben iSCSI Speicherbereich zeitgleich von mehreren Workstations aus zu nutzen (unter NTFS), die ihrerseits jedoch dann auf auf unterschiedlich Dateien zugreifen würden.

Oder müsste ich für jede Workstation einen eigenen iSCSI-Bereich schaffen?

Ich habe gelesen, dass es wohl auch spezielle Dateisysteme für eine solche zeitgleiche Nutzung geben soll (oder habe ich das falsch verstanden?). Welche wären das, und welche / wie ließen sich diese unter Windows (Server 2008R und Windows 7 Ultimate) einbinden und nutzen?

Für Benchmarks erreichst du ggf. die dreifache Datenübertragungsrate, ja. Aber für die Bereitstellung über ein Netzwerk limitiert dir wohl vorher dein 1Gbit/sec Ethernet. iSCSI Targets können immer nur von einem Initiator gleichzeitig genutzt werden. Aber ohne Performantes Netzwerk ist das eh nur ein Gedankenspiel.

7) Anbindung Expander an SAS Controller

Ist eine Anbindung des HP SAS Expanders an den LSI SAS Controller onbard mit 2* 4 Lanes zwingend (da der Expander hierfür 2* 4 Lanes Uplink Ports zur Verfügung stellt), oder dies auch mit 1* 4 Lanes möglich?

Ich nehme an, dass die theoretische Maximalperformace mit nur 1* 4 Lanes zwar leiden mag, aber ebenso, dass dies bei mir in der Praxis keine wirklich Rolle spielen würde.

Hintergrund und verbunden damit ist nämlich die Frage, ob ich dann auch zwei Expander jeweils mit 1* 4 Lanes an LSI SAS Controller anbinden kann (der stellt seinerseits 2* 4 Lanes bereit)?

Möglich ja, aber unsinnig. Da bei vier 600MB/sec Lanes du bei aktuellen HDDs nicht mehr als 12 HDDs daran anschließen brauchst, da aktuelle HDDs auch schon länger 200MByte/sec in der Spitze schaffen. Bei SSDs folglich nur eine je Lane = 4 HDDs.

8) Externer SAS Anschluss am Expander

Ist der externe 4 Lane SAS Anschluss beliebig nutzbar? Dies ist wohl auch so eine triviale Frage, aber in der Anleitung ist dieser als Tape-Anschluss spezifiziert. Ich nehme mal an, dass es hier keine Unterschiede zwischen der Anbindung von Tape-Laufwerken und HDDs geben dürfte, möchte aber auch hier sicher gehen.


9) Kaskadierung von SAS Expandern

Ließe sich der externe Anschluss des HP SAS Expander auch quasi Slave Uplink für einen weiteren kaskadierten SAS Expander nutzen?

Ich dachte daran, den 1ten Expander über 2* 4Lanes an den LSI SAS Controller anzuschließen, und später einen 2ten Expander über den externen 1* 4 Lane Anschluss in einem zweiten Festplatten-Gehäuse.

Kaskadierungen sind prinzipiell möglich, aber wie gesagt wegen dem Bandbreitenproblem ohne SAS3.0 mit 12Gbit/sec bisher noch uninteressant. Es gibt schon entsprechende Controllerchips für bis zu 64 HDDs, aber noch nicht als käufliches Produkt.
Bei Supermicros aktuellen 4HE Expander SAS Gehäusen passen 45x 3.5" HDDs hinein, diese teilen sich alle eine Bandbreite von 8x6Gbit/sec. Somit bleibt je HDD gerade mal etwas mehr als 100MByte/sec übrig. Selbst mit SAS3.0 schließt man gerade mal die Lücke zur aktuellen (max.) Übertragungsrate von HDDs.

 

[xoxled]

Re,

Die Sache mit mehreren Raidsets (unabhängige Raids) bei Onboard Controllern kannst du dir auch gleich einmal sparen, da dies in der Regel per Software nicht möglich ist. Man soll sich teurere PCIe Steckkarten mit extra Cache kaufen. Auch unterstützt LSI nur max. 64TByte je LUN.

Wahrscheinlich habe ich micht da nicht wirklich klar ausgedrückt: ich möchte am Anfang 2 Hardware RAID Arrays am selben Controller einsetzen, einmal 16* 2TB HDDs als RAID 6, und ein 4* 256MB SSD als RAID 5, beide über den HP SAS Expander am LSI onboard Controller. Ich meinte hierbei kein Software RAID über das OS.

Bei einem entsprechenden 3ware SATA RAID Controller (e.g. 9650SE-24ML) wäre dies ja problemfrei möglich - ich kann über den Controller (oder das Web Interface) die entsprechenden Festplatten auswählen und darauf dann das RAID Units generieren.

Ist dies mit dem LSI in Kombination mit dem SAS Controller nicht möglich?

Für Benchmarks erreichst du ggf. die dreifache Datenübertragungsrate, ja. Aber für die Bereitstellung über ein Netzwerk limitiert dir wohl vorher dein 1Gbit/sec Ethernet. iSCSI Targets können immer nur von einem Initiator gleichzeitig genutzt werden. Aber ohne Performantes Netzwerk ist das eh nur ein Gedankenspiel.

Hinsichtlich der Ethernet Bandbreitenbegrenzung war mir das klar.

Das Mainboard verfügt über zwei 10GBASE-T Ethernet Anschlüsse, über die ich am Anfang zwei Workstations ebenfalls mit 10GBASE-T Ethernet Adaptern direkt anschließen will (quasi jeweils als Crosslink Punkt-zu-Punkt Anbindung). Der Rest der Rechner soll dann über eine Intel Pro 1000 MT Quad (4* 1 GBit/s mit TCP Offload) angebunden werden.

Möglich ja, aber unsinnig. Da bei vier 600MB/sec Lanes du bei aktuellen HDDs nicht mehr als 12 HDDs daran anschließen brauchst, da aktuelle HDDs auch schon länger 200MByte/sec in der Spitze schaffen. Bei SSDs folglich nur eine je Lane = 4 HDDs.

Okay, also - wenn ich das jetzt richtig verstehe - etwa 600MB/s per Lane, zusammen bei 4 SAS Lanes also etwa 2,4 GBit/s?

Da wie Du ja schon angedeutet hast, in meinem Fall eher die Ethernet Anbindungen (selbst bei 10 GBit/s Adaptern) den Flaschenhals darstellen, sehe ich hier eigentlich (noch) kein Problem. Wenn ich "mich" richtig verstehe, dürften die Anzahl der an die vier Lanes angeschlossenen Festplatten theoretisch doch sogar keine Rolle spielen, wenn ich das Ganze jetzt nur mal aus Sicht der per LAN mit 10GBit/s angebundenen Workstations aus betrachte, oder?

Kaskadierungen sind prinzipiell möglich, aber wie gesagt wegen dem Bandbreitenproblem ohne SAS3.0 mit 12Gbit/sec bisher noch uninteressant. Es gibt schon entsprechende Controllerchips für bis zu 64 HDDs, aber noch nicht als käufliches Produkt.
Bei Supermicros aktuellen 4HE Expander SAS Gehäusen passen 45x 3.5" HDDs hinein, diese teilen sich alle eine Bandbreite von 8x6Gbit/sec. Somit bleibt je HDD gerade mal etwas mehr als 100MByte/sec übrig. Selbst mit SAS3.0 schließt man gerade mal die Lücke zur aktuellen (max.) Übertragungsrate von HDDs.

Diese Frage hatte ich vor dem Hintergrund gestellt, später einmal ein weiteres Rechnergehäuse nur mit Festplatten (ebenfalls bis maximal 16 Stück) und einem internen SAS Expander (dort also nur stromversorgt) zusammenzustellen, das ich dann per externem SAS Kabel mit dem ersten Rechner(gehäuse) verbinde. Mit Hinblick auf die oben genannten Beschränkungen durch die LAN-Anbindungen hatte ich eigentlich vermutet, dass hierdurch für meinen Nutzungsfall kein so richtiges Problem entstünde, und ich mir dadurch (vorerst) einen zweiten SAS Controller sparen könnte.


Besides - herzlichen Dank für Deine Hilfe!!!


Uwe

 

[bluesunset]

Spielt bei dir Platz keine Rolle? Ein normales 19" Gehäuse für 16 HDDs benötigt 3HE, bestimmte sogar 4HE. Das Supermicro ist das kompakteste bei dem du vorne und hinten Zugriff auf die HDDs hast. Kostenpunkt inkl. Backplanes mit dual Expandern (36 Ports) und redundantem Netzteil ~ 2000 Euro.
Du brauchst dann nur einen Raidcontroller mit vier oder besser acht externen SAS Links und ein oder zwei externe SAS-Kabel.
Wenn du noch kein Gehäuse für einen Rechner hast und dir 36HDDs reichen kannst du auch das 4HE Gehäuse nehmen wo vorne 24x 3,5" HDDs und hinten 12x 3,5" HDDs rein passen. Durch die 2HE welche für den Rechner dann übrig bleiben kannst du dann nur halbhohe Erweiterungskarten mit Low-Profile Blende verwenden. Von Chenbro würde es ein Gehäuse mit 5HE geben bei dem 3HE für den Rechner und somit normal hohe Karten platz hätten, dieses wird in Europa aber nicht offiziell angeboten und liegt preislich leider jenseits der 3000 Euro.

Es ist fraglich wie viele Raid-Arrays du an dem Onboard LSI 2208 SAS erstellen kannst. Ich kenne es nur vom LSI 2008er als IBM 1015, das dieser eigentlich für nichts als Raid 0 und 1(0) taugt. Frag hier lieber mal bei Supermicro nach wie viele unabhängige Raids du erstellen kannst und mit jeweils welchem Raidlevel. Die onboard SAS-Anschlüsse sind in der Regel nur für eine handvoll HDDs gedacht. Da man oft genug nicht weiß mit wie vielen PCIe-Lanes solch ein Chip angebunden ist verbaut man lieber günstige SAS-HBAs in den vorhandenen PCIe x8 Slots und setzt z.B. mittels ZFS auf ein relativ flexibles Softwareraid mit ein paar Extras.

Eine SAS Multilaneverbindung mit vier Links setzt bei 600MB (6Gbit) übrigens 2,4GB (24Gbit) je Sekunde max. um - mit ein Grund warum es auch 40Gbit Ethernet gibt.
Wir haben hier noch weitere Foren: Server/Workstation Profibereich sowie (Home-) Server/Workstation Forum

 

[Boy2006]

Wenn du Preise brauchst wir beziehen im Grosshandel.