Verwirrung bei SAS-Expander + Bandbreite

[tbol]

Hallo zusammen,

Ich habe ein Verständnis-Problem mit SAS-Expandern. Zum Beispiel:

Der Intel RES3FV288 RAID Expander, PCIe 2.0 x4 bietet bis zu 36 SAS 12 GBit/s Anschlüsse (über 7 interne SFF-8643 und 2 externe SFF-8644 Ports = 9 * 4 Disks pro Port = 36 Ports).

Das macht ein theoretisches Maximum von 432 GBit/s (54 GB/s).

Wie transportiert es diese ab? Über PCIe 2.0 x4 (max. theorethische Bandbreite 2GB/s)?
Oder nur 7 SFF-8643 und dann über die externen raus, aber da geht doch auch bandbreite verloren. Könnt ihr da Licht ins Dunkel bringen?


Danke und Gruß,

tbol

 

[Steggi]

Von den 7 internen Anschlüssen können zwei die Verbindung zum Controller herstellen. Das macht also (weil Multilane) bis zu 8x 12Gbit/s zum Controller

 

[tbol]

Danke. Es existiert also ein Flaschenhals.

Ich frage deswegen, weil ich mir Gedanken mache wie ich zum Beispiel 24 * 2.5" 1 TB SAS SSDs mit ~1.5 GB/s = 36 GB/s von einem System (Shelf) an einen Controller weiterleiten soll.
Wie ist da die Kette der Verbindungen? 24 Platten an einem Expander/Controller und von dort aus wie weiter? Über PCIe an einen HBA, der das nach draußen leiten kann? Wie bekomme ich die Platten an einen Controller?

EDIT: bzw. wie bekomme ich diese (theretische) Bandbreite von 36 GB/s an einen Controller weiter gereicht?

 

[passat3233]

SSDs werden in Servern selten über SAS angebunden, sondern direkt.
Über SAS werden i.d.R. normale HDDs angebunden und da limitiert die Geschwindigkeit der HDDs, so das es in der Praxis kaum zu einem Flaschenhals kommt.

 

[Steggi]

Klar ist da ein Flaschenhals. Der Expander ist vergleichbar mit einem USB Hub.

Der Expander, den du dir ausgesucht hast, wird in etwa wie folgt angeschlossen

Du kannst über die internen Lanes also 20 SSDs anschprechen und 8 für die Verbindung zum Controller nutzen. Zusätzlich kannst du über die externen Ports noch ein JBOD dran hängen.

Den PCIe Anschluss nutzt der Expander für die Stromversorgung (alternativ über 4 Pin Molex), nicht zur Datenübertragung an den Controller.

Wie ist denn sonst der Aufbau? Für mich klingt das nach einem Server mit Controller, an dem ein zusätzliches Shelf mit SSDs dran soll.

Wenn dem so währe, dann müsste der Controller entweder externe Ports haben oder du brauchst einen Adapter. Dann via Kabel zum Shelf, dort wieder via Adapter auf SFF-8643 umwandeln und in den Expander.

 

[tbol]

Den PCIe Anschluss nutzt der Expander für die Stromversorgung (alternativ über 4 Pin Molex), nicht zur Datenübertragung an den Controller.

Danke, das hab ich nun verstanden.

Wie ist denn sonst der Aufbau? Für mich klingt das nach einem Server mit Controller, an dem ein zusätzliches Shelf mit SSDs dran soll.
Wenn dem so währe, dann müsste der Controller entweder externe Ports haben oder du brauchst einen Adapter. Dann via Kabel zum Shelf, dort wieder via Adapter auf SFF-8643 umwandeln und in den Expander.

Genau das sollte es werden. 1 Server, an dem ein Shelf mit 24 SSDs angeschlossen werden soll (eventuell auch mehrere davon). Mir war selbst nur nicht klar, wie ich die Bandbreite vom Shelf auf den Controller bekomme. Ich dachte man könne alle Platten an einem Expander sammeln, an einem Controller weiterreichen, der diese wiederum an den Server weiterreicht, aber offensichtlich geht das nicht ohne Flaschenhals. Bevor die Frage nach dem "Wozu brauchst du das denn?" kommt: Es ist ein Gedankenspiel.

 

[underclocker2k4]

Die Anbindung an den Expander schafft 12GByte/s. Bei 24SSDs bleiben also 500MB/s über. Das reicht für normale SSDs aus. (nen bissle Overhead muss man aber noch abziehen)
Wenn du mehr willst, musst du mehr investieren.
z.B. 2 Expander und die SSDs 50/50 aufteilen. Braucht dann halt doppelt so viele Controller Ports.
Dafür gäbe es auch SFF-8644 Durchführungen fürs Case.
Alternativ wäre einfach nen ordentliches Case kaufen, dann hat man solche Probleme nicht.
Chenbro - Products
Wer mehr will kann man bei Supermicro schauen.

 

[Steggi]

aber offensichtlich geht das nicht ohne Flaschenhals

Wenn du keinen Flaschenhals zwischen Controller und Expander haben willst, dann muss der Controller von vornherein genügend Ports mitbringen und du genügend Kleingeld.

Bei normalen HDDs ist das auch eigentlich kein Problem. SSDs können da natürlich etwas ausgebremst werden.
Wobei ich mal davon ausgehen kann, dass du zum einen nicht dauerhaft Volldampf auf den SSDs fährst und zum anderen der Controller und dessen Anbindung das nicht packen.
Allein durch die Verbindung zwischen Controller und Expander könnten theoretisch 12 Gigabyte/s übertragen werden. Würder der Controller das schaffen müsste er schon mindestens mit 16PCIe 3.0 Lanes angebunden sein. Gängig sind hier 4x und 8x

 

[Eye-Q]

Es gibt immer irgendwo mindestens einen Flaschenhals, der Trick ist nur, das System so zu konfigurieren, dass dieser möglichst irrelevant ist.

Beispiel: wenn man 24 SSDs mit vollen 12 Gbit/s an einen Controller mit 24 Ports anschließt, können theoretisch 36 GB/s übertragen werden, wenn man die 24 SSDs in ein RAID 0 packt ( ), selbst ein PCIe 3.0 x16-Controller bekommt davon "nur" knapp 16 GB/s über den Bus geschaufelt. Wenn dann die Daten jedoch über das Netzwerk übertragen werden und man ein 10 Gbit-Netzwerk hat, bleiben davon nur noch 1,2 GB/s übrig. Somit ist es vollkommen egal, dass der SSD-Verbund eine theoretische Bandbreite von 36 GB/s besitzt, der limitierende Faktor ist dann das Netzwerk. Im Falle, dass die Daten lokal verarbeitet werden, ist der limitierende Faktor die Anbindung des Controllers an das Mainboard.

Wenn man die selben 24 SSDs an einen Expander mit 24 Ports anschließt, der wiederum mit zwei Kabeln á vier Links mit jeweils 12 Gbit/s mit dem Controller verbunden ist, ist die Verbindung zwischen Controller und Expander immer noch breitbandiger als der Controller am Mainboard angebunden ist (12 GB/s gegenüber knapp 8 GB/s bei PCIe 3.0 x8), außerdem ist der limitierende Faktor immer noch das Netzwerk. Der Vorteil bei dieser Controller + Expander-Lösung ist dann, dass ein Controller mit zwei Ports plus ein Expander mit 24 Ports (teilweise deutlich) günstiger ist als ein Controller mit 24 Ports.

 

[Morpheus2200]

Wenn man die Bandbreite wirklich braucht sind NVME SSDs manchmal auch eine interessante Lösung.
Es gibt Chassis mit platz für bis zu 24 2.5" NVME SSDs. Die Anzahl der PCI-E Lanes wird da schon knapp.
Viel früher limitiert jedoch meist das Netzwerk.
Einen schönen Test allerdings mit preiswerten NVME SSDs gibt es hier.

 

[tbol]

Wenn man die Bandbreite wirklich braucht sind NVME SSDs manchmal auch eine interessante Lösung.
Es gibt Chassis mit platz für bis zu 24 2.5" NVME SSDs. Die Anzahl der PCI-E Lanes wird da schon knapp.
Viel früher limitiert jedoch meist das Netzwerk.
Einen schönen Test allerdings mit preiswerten NVME SSDs gibt es hier.

Den Test kenne ich bereits (echt beeindruckend).

Aber wie ihr es beide schon gesagt hattet: Der Flaschenhals ist das Netzwerk und der am Ende benötigte Bedarf an IOPS/Bandwith/Kapazität.


Habe das mal in einem groben Beispiel durchgespielt:

 8 Disks (2 TB) * 0,5 GB/s => 4 GB/s	=> Controller A (PCIe x8) 	=>  vdev0 (RAIDZ-2) [DDDDDDPP]	=> pool0
 8 Disks (2 TB) * 0,5 GB/s => 4 GB/s	=> Controller B (PCIe x8) 	=>  vdev1 (RAIDZ-2) [DDDDDDPP]	=> pool0

pool0 = 24 TB (netto) with ~6 GB/s (wegen Overhead)

Das sind am Ende 48 GBit/s, die das Netzwerk wegschaufeln müsste.

Mit einem 100G/dual 40G in einem LACP/LAG(insofern die Software multiple Channel unterstützt) Verbindung über Ethernet noch machbar.

Für eine Direktverbindung zwischen Storage und Virtualisierer noch möglich, aber teuer.


Danke an alle für Eure Hilfe.