SSD´s Performance in SAS3 Gehäuse

[Gelöschtes Mitglied 271956]

Hallo ich hatte schonmal eine Ähnliche frage gestellt aber jetzt geht es konkret um ein fiktives Anwendungsszenario. Nehmen wir mal an das ich ein JBOD Gehäuse mit 24 SSD´s an einer Expander Karte angeschlossen habe und diese Karte SAS3 also 12Gb/s kann, dann ist ja jede Festplatte 200Mb/s angebunden da SAS3 ja 4 Lanes mit ja 1200Mb/s hat das macht insgesamt eine Bandbreite pro Stecker von 4800Mb/s und das dann durch 24 SSD´s. Wenn ich jetzt die Theoretische Performance kalkulieren will mit welcher Geschwindigkeit soll ich bei dem SSD RAID Performance Calculator von WintelGuy rechnen? Ich kann ja die 500Mb/s der SSD´s nehmen oder entweder die 200Mb/s Bandbreite die jeder SSD zur verfügung stehen. Die Hardware wäre ein 12Gb/S JBOD Gehäuse, 24 SSD´s und ein SAS3 HBA. Die Bandbreite kann ich ja verdoppeln in dem ich einfach 2 SAS3 Kabel pro JBOD nehme aber ich möchte erstmal wissen wie es mit der Performance bei einem SAS3 Kabel aussieht. Für Hilfe wäre ich sehr dankbar und schonmal danke im Voraus.

 

[l0n]

SAS-3 kann 12 Gbit (~1200 MB/s). Wie du da auf deine 4 Lanes je 1200 MB/s kommst ist mir gerade schleierhaft. SAS kann Dual-Porting, du kannst also 2x SAS-3 Verbindungen je Device (Disk oder Expander ist in dem Fall egal, muss der Expander halt unterstützen) nutzen, entweder als Kanalbündelung oder als Redundanz. Allerdings können die Interfaces des HBA eben auch "nur" 12 Gbit, wenn dann an einem Interface ein Port-Expander hängt teilen sich alle Disks dahinter die Bandbreite.

Wenn in deinem JOBD Gehäuse nun 24 SSDs drin sind und der Expander ist mit 2x 12 Gbit angebunden bis du bei ca. 2400 MB/s / 24 = 100MB's pro SSD.

 

[Gelöschtes Mitglied 271956]

Pro SAS Kabel kann man ja 4 Platten anschießen und jede kann dann mit 12Gb/s kommunizieren deswegen die 4 Lanes. zusammen macht das ja dann eine theoretische Bandbreite von 48Gb/s.

 

[danielmayer]

Nein.
12Gbit bei SAS3 bedeutet vom Chip zur HDD/SDD JEWEILS.
Vom PC zum Chip (SAS HBA) sind die Karten üblicherweise mit PCIe x8 angeschlossen, d.h. bei PCIe 3.0 mit 8x8Gbit = 64GBit.
Wenn Du noch einen Expander nutzt, ist die Frage wie dieser an den HBA angeschlossen ist. Es sind 1xMiniSAS oder 2xMiniSAS üblich, dementsprechend 48 oder 96Gbit vom HBA zum Expander.
Also können max 64Gbit "netto" zum PC/LAN/etc geschoben werden, allerdings bis zu 96Gbit ZWISCHEN den Platten am gleichen HBA... jeweils im Übrigen "duplex", d.h. Lesen&Schreiben jeweils 64/96Gbit.
Evtl. ist damit etwas Licht im Dunkeln.

 

[Gelöschtes Mitglied 271956]

So meine ich es ja auch. Ich kann ja pro MiniSAS Kabel 4 Festplatten mit jeweils 12Gbit direkt mit dem HBA verbinden. So bekomme ich ja wie du gesagt hast 48Gbit Bandbreite pro MiniSAS Kabel und wenn ich das dann auch 24 SSD´s aufteile macht das 200 MB/s pro SSD. Wenn ich jetzt die Geschwindigkeit kalkulieren will nehme ich dann jetzt die 200 MB/s das scheint mir nämlich logisch zu sein. Laut dem SSD Raid Performce Rechner von WintelGuy komme ich bei 24 SSD´s im Raid 6 auf eine Geschwindigkeit von 1371.43 MB/s kann das so stimmen oder ist der Ansatz falsch?

 

[danielmayer]

Wenn Du eine 24er Backplane tatsächlich mit nur 4 SAS-Lanes anschließt ist schon was falsch. Deswegen auch die Frage, wie nun die Anbindung aussieht.
Oben sprichst Du von "Expander", im letzten Post (nur) von HBA. Was denn nun?
1) PC -> PCIex8 -> HBA -> 1x4 Lanes -> Expander ( -> 6x4 Lanes -> passive Backplane) -> 24SSD
2) PC -> PCIex8 -> HBA -> 2x4 Lanes -> Expander (-> 6x4 Lanes -> passive Backplane) -> 24SSD
oder
3) PC -> PCIex8 -> HBA -> 1x4 Lanes -> aktive Expander-Backplane -> 24SSD
4) PC -> PCIex8 -> HBA -> 2x4 Lanes -> aktive Expander-Backplane -> 24SSD
oder
5) PC -> PCIex8 -> HBA -> 2x4 Lanes -> \
-> PCIex8 -> HBA -> 2x4 Lanes -> passive Backplane -> 24SSDs
-> PCIex8 -> HBA -> 2x4 Lanes -> /
Sind so die Möglichkeiten, die mir spontan einfallen.

Bei 1) ist der Flaschenhals 48Gbit = "1x4 Lanes", also max 6Gbyte/sek grob für Datenmasse. Da die RAID-Redundanz "vor" dem SAS-Chip berechnet wird, bleibt das auch das Daten-Netto.
Bei 2) ist der Flaschenhals 64Gbit = "PCIex8->HBA", also max 8Gbyte/sek grob zur Datenverarbeitung (bzw. zum 100Gbit-NIC...), jedoch etwa 10Gbyte/sek zwischen den SSDs, falls es doch mind. 2 getrennte RAIDs werden sollten.
3) und 4) sind elektrisch wie 1) bzw. 2)
Bei 5) ist der Flaschenhals bei 3xPCIex8=192Gbit... also keiner. Dazu halt 3xHBA in jeweils PCIex8 notwendig. In diesem Falle könnte jede SSD mit >1GByte/sek arbeiten, der Flaschenhals wäre wohl eher der PC/server selbst.
Alle Werte basierend auf PCIe3.0-HBAs. Was aber meiner Kenntnis nach alle SAS3-Karten sind.
Und zur letzten Frage "kann das so stimmen": "Etwas" zu langsam...

Nochmal zur Klärung:
12Gbit je SSD heißt, dass eine einzelne mit max 1,2Gbyte/sek locker arbeiten könnte.
Die o.g. 48/64/etc Gbit sind die Gesamtleistung des Systems, unabhängig von der einzelnen SSD-Leistung.
Und vorsorglich "ja", die 24 SSDs könnten deutlich schneller sein als 192Gbit, daher gibt es ja nun auch NVME-Protokoll und Occu-Links für SSD-Server.

Edit: Wenn jede SSD eine SATA-Samsung 960Evo wäre, dann käme man bei Raid6 auf locker 22x550MB/sek* = 12Gbyte/sek. Also sind die immer "ausgebremst" außer in Variante 5.
"Sternchen": Bei sequenzieller Nutzung...

 

[Gelöschtes Mitglied 271956]

Natürlich meine ich eine Expander Backplane die dann über ein MiniSAS Kabel am HBA angeschlossen wird.

- - - Updated - - -

Also meinst du damit dass wenn ich 24 SSD´s habe die im Raid 6 und die Geschwindigkeit des Raids höher ist als die 48Gbit der Anbindung zum server ich mit 48Gbit rechen kann? Aber eins verstehe ich nicht kann mann wenn man die Raid Geschwindigkeit errechnet einfach die Anzahl der Platten minus der Paritäts Platten nehmen und das mit der Geschwindigkeit pro Platte Multiplizieren so wie du es gemacht hast und auf diene 12Gbyte/sek gekommen bist. Wenn ich das mit dem rechender von WintelGuy rechen (24 Platten im Raid 6 mit je 550MB/s) komme ich auf 3771.43 MB/s.

 

[l0n]

Ach jetzt komm ich mit...

Klar MiniSAS Breakout kann 4 Disks anbinden, MiniSAS auf MiniSAS schiebt die 4 Links zum Expander.

Angenommen du nimmst also einen HBA mit 2 Ports und einen Expander mit 2 Ports = 96 GBit / 24 SSDs = 4 GBit pro SSD ~ 400 MB/s (theoretisch)
Das packt ja jede SSD eigentlich.
Um aber hier kein Bottleneck zu haben sollte jede SSD mit 6 GBit angeschlossen sein --> 6x 24 = 144 GBit. Soweit ich weiß gibt es keinen 3 Port HBA, also müsstest du einen 4 Port (Enterprise!) oder 2 2-Port HBAs nutzen.

PCIe 3.0 x8 schafft 8 GB/s Duplex, 144 GBit sind aber leider etwas mehr, also hast du da auch einen Bottleneck --> 2 HBAs nutzen.

Alles angenommen mit SATA/SAS SSDs, wenn du da NVMe nehmen willst sieht die Welt ganz anderst aus

 

[danielmayer]

Ich kannte das WintelGuy bislang nicht. Hab mal eben eingegeben: da kommen auch 13Gbyte/sek raus, wenn du auf 100%read gehst. Im Drittelmix einer täglichen Anwendung sind es natürlich weniger, daher die praxisnahere 3,7Gbyte/sek.
Ja. Parity-Platten bekommen ja die Redundanz-Daten bei Software-Raid "vor" dem Controller bereits berechnet, beim Hardware-Raid "im" Controller. Dann werden zeitgleich alle 24 SSDs beschrieben. Die "netto"-Datenrate ist also 22x "Echtdaten" zzgl zweier Doppel.

- - - Updated - - -

Deleted