frage zu SAS3 und DualExpander

[supern00b]

Hi,

kurze Verständnisfrage, SAS3 bietet 12GB/s wenn ich ein JBOD habe bit 24HDDs, hab ich doch schon ein Engpass, richtig? Es gibt ja zudem auch DualExpander, daran kann ich meines Wissens aber auch "nur" einen weiteren Server anschliessen und nicht den selben um dann quasi 24GB/s zu bekommen oder?

Zudem dann noch warum gibt es dann JBODs jenseits der 48HDDs wenn ich diese nicht auslasten kann?

Danke für die Hilfe

 

[gea]

Die Verbindung zwischen HBA und Single Expander geht immer über 4 SAS Kanäle (miniSAS Port) gleichzeitig, gibt also theoretisch 48 Gbit/s also ca 6 GByte/s. Wenn eine Platte ca 150 MByte/s liefert, reicht das für ca 40 Platten ohne dass das einen wirklichen Engpass darstellt. Mit SSDs die ja ca 500MB/s pro Platte liefern sieht das dann anders aus.

Dual Expander Lösungen nutzt man um beide Ports von SAS Platten gleichzeitig anzusprechen. Damit kann man die Bandbreite verdoppeln oder Redundanz schaffen, also zwei Datenpfade entweder zu zwei miniSAS Ports eines Servers oder als HA Lösung für zwei Server. Damit kann ein zweites System die Platten bei Ausfall des ersten Systems sofort übernehmen.

Größere Storagesysteme nutzen dann mehrere Jbod (je bis zu 90 Platten) die je über HBA und Dual miniSAS angebunden werden. Wenn man ein aktuelles Mainboard System mit 7 PCI-e Slots und 16x SAS HBA betrachtet, so kann man damit (wenn man einen Port für 10/40/100gBit Netz und einen für eine Cache NVMe abzieht) bleiben 5 Slots frei. Je 16Port HBA kann man 2 Jbod mit je 48Gbit Dualpath anschliessen, also insgesamt 10 Jbod à bis zu 90 Platten. Wenn man dann je Platte die neuen 14TB HGST Platten.....

Die addierte Bandbreite der angeschlossenen Jbod geht weit über die Fähigkeiten jedes Servers oder Netzes, selbst bei 100G

 

[michathe]

Die Verbindung zwischen HBA und Single Expander geht immer über 4 SAS Kanäle (miniSAS Port) gleichzeitig, gibt also theoretisch 48 Gbit/s also ca 6 GByte/s. Wenn eine Platte ca 150 MByte/s liefert, reicht das für ca 40 Platten ohne dass das einen wirklichen Engpass darstellt. Mit SSDs die ja ca 500MB/s pro Platte liefern sieht das dann anders aus.

Wobei die meisten Expander Backplanes über 2 Ports, 8 SAS Kanäle, mit dem Controller verbunden werden können. Somit hätte man bei SAS 3 96Gbit bandbreite zwischen Controller und Expander.

 

[gea]

Ganz genau.
Dualpath SAS nutzt man zwar meist für Redundanz/HA. Man kann aber auch die Bandbreite verdoppeln.
Bei Dual Expander könnte man sogar eins draufsetzen und 4 miniSAS Kanäle à 48 Gbit = 192Gbit/s zum Jbod bündeln.

Ganz schnell ist aber der Server und das Netz so viel langsamer als die SAS Bandbreite weshalb das dann eher sinnfrei ist.

 

[supern00b]

super vielen Dank dafür!
aber das da 4mal mini-sas rein und raus geht steht nirgends oder? ich hab grade etwas gesucht, aber ich bin anscheinend zu doof um was zu finden..

ok, 40 platten ist ganz nett, aber wenn ich 2-3jbods ranknalle und das ausfallsicher haben möchte, also den zweiten expander an einen anderen Server anschliesse, dann hab ich doch recht schnell einen engpass, oder?

Wobei die meisten Expander Backplanes über 2 Ports, 8 SAS Kanäle, mit dem Controller verbunden werden können. Somit hätte man bei SAS 3 96Gbit bandbreite zwischen Controller und Expander.

wärst du so nett und würdest mir 1-2jbods zeigen+controller die das so machen?

 

[gea]

Eine Kurzübersicht
http://h20564.www2.hpe.com/hpsc/doc/public/display?docId=c01451157

Prinzipiell ist SAS sehr flexibel.

Man kann mit einem Server
- mehrere Expander Kaskadieren
- Zwischen einem HBA und Expander mit 4 Ports (1 x miniSAS) oder mit 8 Ports (2 x miniSAS) fahren

Wenn man mehrere Jbod anschliessen möchte so kann man statt kaskadieren
- Mehrere HBA nutzen, Ein gängiger LSI 9300-16e hat 4 x miniSAS extern
SAS/SATA/NVMe Host Bus Adapters

Als Jbod mal bei SuperMicro sschauen
Da gibt es alles, auch mit externen SAS Anschlüssen und Single oder Dual Expander
alternativ als Cluster in a box (2 Mainboards, ein SAS Jbod mit Dual Expander)

Wenn man einen Jbod mit Single miniSAS anschliesst, hat man 48Gbit/s Bandbreite
Wenn man einen Jbod mit Dual miniSAS anschliesst, hat man 96Gbit/s Bandbreite

Wenn man Redundanz/HA haben möchte, braucht man ein SAS Jbod mit Dual Expander.
Jeder Expander könnte ein oder zwei miniSAS Anschlüsse haben.
Man könnte also auch mit Dual Expander/Dual Server 96 Gbit Bandbreite haben

Mit mehreren Jbod muss jedes mit jedem Server über miniSAS oder Dual miniSAS verbunden sein.

siehe auch mein pdf http://www.napp-it.org/doc/downloads/napp-it_build_examples.pdf
Seite 17

 

[michathe]

Klar hie ein Beispiel: https://www.supermicro.nl/products/chassis/4U/847/SC847E1C-R1K28JBOD

Das Gehäuse hat auf jeder der beiden Backplanes einen Expander, diese sind intern hintereinander gekoppelt somit bleiben dir 2 Ports rein und 2 raus.

Somit bei 44 HDDs einen Troughput von ~ max 12 Gigabyte Pro sekunde! Also Schneller als eine 100GBe verbindung
Allerding nur bei nem HBA der auch mit PCIe 3.0 X16 angebunden ist. (LSI SAS 9302-16e)


Als Controller z.b nen LSI 9380-8i wen Raid Benötigt oder nen LSI 9305-16eHBA bei Software Lösungen.

Du Könntest das Jbod jetzt natürlich intern Anders verkabeln und beide Expander mit 2 Ports nach außen führen dann Hättest du pro ~20 Platten 12Gigabyte/s zu Verfügung.
Es gibt die Gehäuse auch mit Dual Expander Packplanes aber um die zu nutzen braucht es Dual Port SAS Platten soweit ich weiß.

Ein "Engpass" würde nur entstehen wenn du alles hintereinander hängst. Wenn aber wirklich solch Übertragungsraten benötigt werden könntest du ja auch jedes Jbot an seinen eigenen HBA Anschließen.

Lass dich aber bitte mal von einem Profi beraten.

Eddit:

Gea war schneller