HP DL380e: 8-Kanal HBA und 12 HDD Backplane - Kanalaufteilung?

[basstscho]

Hallo zusammen,

ich habe einen gebrauchten HP DL380e G8 mit einem H220 HBA und einer 12x HDD-Backplane (die verbaute von HP). Installiert ist auf dem Server freenas 11.3 und er soll als ESXi-Storage (Testumgebung) dienen. Aktuell sind neben ein paar HDDs auch 2x SSDs verbaut. Anmerkung: Ram-Caching ist überall deaktiviert. Laut dmesg ist jede Platte per Bus mit 600 MB/s angebunden. Getestet wurde jeweils mit 100GB dd.
Nun habe ich folgendes Verhalten festgestellt: Wenn ich einen Pool mit einer SSD erstelle, erhalte ich eine Schreibgeschwindigkeit von ca. 480 MB/s. Wenn ich die SSDs in einem Pool spiegle, komme ich auf eine Schreibgeschwindigkeit von ca. 280 MB/s.
Klar ist: Im gespiegelten Zustand werde ich nicht über die Geschwindigkeit der einzelnen SSD kommen. Aber ich hätte theoretisch nahezu die selbe Schreibgeschwindigkeit erwartet. Die CPU-Auslastung ist im Test mit den gespiegelten Platten bei ca. 8% und damit folglich auch nicht der Flaschenhals.

Nun zur Kernfrage: Kann dieser Geschwindigkeitsunterschied tatsächlich durch das Spiegeln entstehen, oder habe ich die Festplatten ungünstig in die Backplane gesteckt? Der HBA hat 8 Kanäle und die Backplane 12 Festplatten. Werden diese Kanäle irgendwie Hardwareseitig aufgeteilt: z.B. die oberste Reihe jeweils voll angebunden, die mittlere Reihe voll angebunden und in der untersten Reihe teilen sich zwei Slots einen Kanal? Oder wird das irgendwie dynamisch zwischen der Backplane und dem HBA aufgeteilt? Die 280 MB/s ergeben *2 knapp 600 MB/s - kann natürlich auch Zufall sein.

Leider habe ich in der Dokumentation der Backplane nichts zu einer entsprechenden Aufteilung gefunden. Evt. weiß jemand von euch etwas oder kann die Befürchtung entkräften.

Danke und Grüße,
Johannes

 

[p4n0]

Ich tippe darauf, dass an der Backplane ein Expander verbaut ist, welcher fuer den Einbruch sorgt.
Alles ueber >4 Laufwerke pro Kabel deutet stark darauf hin.
Wuerde dann auch die <300Mb/Sec erklaeren.

Grueße

 

[basstscho]

Könnte ich dann durch geschickte Steckplatzwahl die Performance erhöhen? Aktuell sind die SSDs nebeneinander in der untersten Reihe rechts montiert:
- - - -
- - - -
- - x x

ggf. bringt ja die folgende Konfiguration etwas:
- - - -
- - - -
- x - x

Grundsätzlich würde mich sowas wundern - dann müsste doch in der Dokumentation auf soetwas hingewiesen werden (wie z.B. bei der RAM-Konfiguration).

Grüße,
Johannes

 

[VirtuGuy]

Der DL380E hat eine Expander Backplane. Du kannst ja testweise einfach mal einen Port abziehen, dann halbierst du nochmals die Bandbreite.

 

[basstscho]

Wenn ich die Backplane nur mit diesen zwei SSDs "belaste" (also Last der anderen HDDs = 0) sollte doch auch ein Port für die volle Bandbreite ausreichen = 4x 600 MB/s. Oder trifft dies auf Grund der internen Verschaltung zu? Ich kann mir die Funktionsweise der Expander Backplane nur bedingt vorstellen. Anbindung zum HBA: 8x 600 MB/s; Anbindung an die Platten: 12x 600 MB/s. Wenn ich mir die Verbindung zwischen dem HBA und dem Expander wie bei einer Switch-Switch Verbindung mit LAG vorstelle, dann sollten meine zwei SSDs eigentlich kein Problem mit der Geschwindigkeitsübertragung haben. Oder funktioniert die Verteilung der Datenströme irgendwie anders?

 

[p4n0]

Aus 8x600 werden 4x600 + 8x300

 

[basstscho]

Kann ich irgendwie feststellen an welchen Slots die 8x300 und an welchen die 4x600 anliegen?
dmesg sagt, dass alle Platten mit 600 MB/s angeschlossen sind.