HBA Controller für ein ZFS

B

bbott

Experte
Thread Starter
Mitglied seit
23.03.2015
Beiträge
463
Hallo,

ich bin auf der Suche nach einem HBA Controller für (min) 16 HDDs für ein ZFS (TrueNAS).

Mir wurde der LSI 9300-16i empfohlen.
Jetzt gibt es aber noch den:
LSI 9305-16i (Single Chip, niedrigere Leistungsaufnahme, kein Batterie Anschluss)
LSI 9311-16i
LSI 9361-16i (Raid? Nachteile? Bei Preisparität Empfehlenswert?)

Dann wären noch die
LSI 9400-16i (Preislich teils unter dem 9300-16i)
LSI 9405W-16i (W?)
LSI 9500-16i (PCI 4.0)

Hinzukommen noch andere Hersteller mit abweichenden Namen, z. B . Lenovo DCG ThinkSystem 430-16i. Für den 9200er gibt es eine Übersichtsseite, für die neueren Chipsätze habe ich nur diese gefunden:

Broadcom Business Products Overview | SSDWorks.com

Broadcom Product Overview.
www.ssdworks.com www.ssdworks.com
Welche kaum Fragen beantwortet, bzw. die Unterschiede aufzeigt.

Der PCI3.1 hat keinen wirklichen Mehrwert, oder? Welche Controller sind besonders Empfehlenswert, welcher "Aufpreis" lohnt sich, sollte man welche vermeiden?

Der LSI 9400 gibt es hier zum Top Preis:
www.serverschmiede.com

Serverschmiede.com GmbH

Vertrieb & Konzeption von refurbished Enterprise Server & Storagelösungen im Business Umfeld - maßgeschneiderte, wiederaufgearbeitete Server & mehr
www.serverschmiede.com www.serverschmiede.com

Oder übersehe ich etwas?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Danke. haben die auch empfehlenswerte SAS/STATA Kabel? Ich habe da nur ~80€ teure Kabel gefunden.
 
Zuletzt bearbeitet:
Was/wie willst du denn anschließen? SFF -> SATA oder SFF -> SFF (ggf. mit nem anderen Stecker)?
 
Danke, also nicht in der Serverschmiede mitbestellten. ;-)
 
Ältere Liste hier; mit LSI SAS 3008 gibt es aber nur einen 16i:

LSI RAID Controller and HBA Complete Listing Plus OEM Models

Below is a list of all known LSI SAS devices from the SAS1068 chipset to the very latest not yet publicly available SAS3xxx series. Devices with links have been released and official website technical info/support. Quite a few devices with no links are devices that may have been going to be...
forums.servethehome.com forums.servethehome.com
 
Hab auch einen 9400-16i, läuft per Passthrough in einer ESXI-VM und hat zwei Zpools dran (6xSSD , 6xHDD)

Der 9405 W ist die Highperformance-Variante mit 16 PCIe-Lanes und noch mehr Geräten als der 9400er (PCIe gen 3 x8) .

Die 9500er können dann PCIE gen 4, was interessant sein kann wenn man z.b. nur sehr wenige PCIe-Lanes, aber dafür gen4, zur Verfügung hat. Z.b. auch in Zusammenhang mit PCIe-Bifurcation und Risercards.

Controller mit Cache und Hardware-Raid generell nicht für ZFS verwenden, nur "dumme" HBA. ZFS will direkt mit den Geräten kommunizieren. Jegliche Hardware oder Softwareschicht dazwischen torpediert die Mechanismen von ZFS für Datenintegrität.
 
Zuletzt bearbeitet:
Was man auch noch beachten sollte

Für die neuesten HBA gibts teils nur Treiber für Linux oder Windows.
Will man Unix wegen problemloserem ZFS (Free-BSD, Solarish) so gibt es teils (noch) keine Treiberunterstützung. Auch unterstützen manche BroadCom Tools auf die man ungern verzichtet (z.B. sas3ircu) die neuesten HBAs nicht.

SAS 3008 ist da nach wie vor "Gold Standard". Im Zweifel, HCL beachten z.B. https://illumos.org/hcl/. Controller mit Cache oder Raid 5/6 Unterstützung sind immer für ZFS ungeeignet. IT (ideal) oder IR Firmware ist Pflicht.
 
Zuletzt bearbeitet:
Im TrueNAS Forum gibt es aktuell wieder eine ähnliche Diskussion, die 9500/9600 Reihe hat halt bis jetzt ihre (Firmware und Treiber)Stabilität noch nicht im Masseneinsatz bewiesen.
Dagegen ist die Firmware und die Treiber für die 9300 komplett ausgereift. Der 9305 Chip ist dabei die wesentlich bessere Wahl gegenüber den billiger angeboten 9300 16/24 Karten, letztere sind nur zwei 9300 Chips mit PCIE Switch auf einer Karte und dementsprechend deutlich stromhungriger.
Ich würde zum 9305 24i greifen, eventuell nochmal prüfen ob nicht ein 9305 8i + Expander Karte ausreichend ist.
 
Ich habe eine 9400 16i und bisher ziemlich zufrieden. Gerade weil die 9305 16i aus zwei 9305 8i'er besteht, hatte ich damals zu 9400er gegriffen. Die 9305 8i + Expander Karte braucht zwei PCIe Slots, oder? Ich brauch den zweiten schon für 10G Lan :cry: Meist auch teuer als eine 16i?

Das "9500/9600 Reihe hat halt bis jetzt ihre (Firmware und Treiber)Stabilität noch nicht im Masseneinsatz bewiesen" hört sich nicht gut an o_O Unter Windows würde mich das nicht aufschrecken, aber seit das Mobo Realtek 2,5 GBit Lan unter TrueNAS regelmäßig nach ein paar Stunden/ Tagen abgeschmiert ist (inkl Hardreset) und selbst sein USB GB LAN nicht 100% stabil lieft. Bin ich bei Stabilität aussagen unter unter Linux sehr vorsichtig. Allerdings ist LSI auch wieder kein Realtek :unsure: :LOL: Ist es wirklich so schlimm?
 
Ich suche grade nach neuer Firmware für meinen LSI HBA 9400-16i 9600-16i. Ich habe nur diese Website gefunden https://www.broadcom.com/support/kn...300-9302-9305-9400-and-9405w-hba-for-external
Ist LSI der Hersteller oder Broadcom und LSI ein Produktname oder Unterunternehmen? Also wäre die Broadcom FW die richtige?
Gibt es unter Linux eine Möglichkeit die Firmware anzuzeigen? (google: beim Booten sichtbar (bei mir bisher leider nicht), im OS nicht?)

Update:
sas2flash -list
1707598471791.png

o_O
 
Zuletzt bearbeitet:
LSI war mal das Unternehmen und ist in Broadcom aufgegangen:

de.wikipedia.org

LSI Corporation – Wikipedia

de.wikipedia.org de.wikipedia.org

Bei einem LSI HBA 9300-16i erscheinen im UEFI zwei Einträge. Die ersten 8 der 16 Anschlüsse erscheinen als ein PCIe-Geräte und die weiteren 8 dann als zweites. Warum das so ist KA, der RAID-Controller ASR71605 bringt nur einen Eintrag hervor.

Dort im UEFI kannst du dann auch Einstellungen vornehmen und man sollte die FW-Version sehen. Schau mal rein.

Du kannst im Linux mal

lspci -vvv

machen. Dort siehst noch die Revision beim HBA 9300-16i bei mir 02:

1707598673109.png
 
Nemetron schrieb:
Bei einem LSI HBA 9300-16i erscheinen im UEFI zwei Einträge. Die ersten 8 der 16 Anschlüsse erscheinen als ein PCIe-Geräte und die weiteren 8 dann als zweites. Warum das so ist KA, der RAID-Controller ASR71605 bringt nur einen Eintrag hervor.
Zum Vergrößern anklicken....
Der HBA 9300-16i besteht aus zwei 9300-8i auf einer Platine, verbunden über einen PCIE-Switch. Daher siehst du zwei Geräte. Erst der 9305-16i hat dann einen Controller mit 16 Ports.

bbott schrieb:
sas2flash -list
1707598471791.png
Zum Vergrößern anklicken....
sas2flash funktioniert nur für die SAS2 (6G) Controller. Probiere mal ob du mit sas3flash deine. Controller erkennen kannst.


bbott schrieb:
Ich suche grade nach neuer Firmware für meinen LSI HBA 9600-16i. Ich habe nur diese Website gefunden https://www.broadcom.com/support/kn...300-9302-9305-9400-and-9405w-hba-for-external
Zum Vergrößern anklicken....
Wenn du einen eHBA 9600-16i hast benötigst du die „Phase 8.7 SAS“ Firmware. Dein Link ist nur für ältere Adapter.
Schau mal hier entlang:

Broadcom Inc. | Connecting Everything

docs.broadcom.com docs.broadcom.com
 
Klasse, dass du es gewusst hast und erklärt hast.

Habe selbst mal sas2flash -list und sas3flash -list probiert, allerdings wurden beide Male die Kommandos nicht gefunden.

1707601661619.png


Welche APT-Pakete wären zu installieren? apt install sas2flash oder sas3flash gehen leider nicht.
 
mrpasc schrieb:
Wenn du einen eHBA 9600-16i hast benötigst du die „Phase 8.7 SAS“ Firmware. Dein Link ist nur für ältere Adapter.
Schau mal hier entlang:

Broadcom Inc. | Connecting Everything

docs.broadcom.com docs.broadcom.com
Zum Vergrößern anklicken....
Sorry hatte mich vertippt meinte 9400-16i ich bekomme über die Suche einige Downlaods. Ist dies die richtige FW:

Broadcom Inc. | Connecting Everything

docs.broadcom.com docs.broadcom.com
? Danke.
Beitrag automatisch zusammengeführt:

Bei dem Befehl "sas3flash -list" ist die Ausgabe beim LSI 9400-16i leider identisch.
 
Zuletzt bearbeitet:
gibt es denn schon brauchbare Erfahrungen für den 9500-8i unter Windows? Will damit ein Softraid zusammenbasteln mit echten SAS-Platten. Windows Storage Spaces soll verwendet werden
 
b99 schrieb:
gibt es denn schon brauchbare Erfahrungen für den 9500-8i unter Windows? Will damit ein Softraid zusammenbasteln mit echten SAS-Platten. Windows Storage Spaces soll verwendet werden
Zum Vergrößern anklicken....

Bedenke aber das es arsch lahm sein wird.
 
an CPU und Ram mangelt es nicht... Ryzen 3950 + 64 GB ECCRam
 
Es geht mir eher um Windows Storage Spaces. Das ist wirkich ultra lahm.
 
achso.., mal etwas experimentieren... kommt ja noch eine SSD als Cache dazu
 
bbott schrieb:
Sorry hatte mich vertippt meinte 9400-16i ich bekomme über die Suche einige Downlaods. Ist dies die richtige FW:

Broadcom Inc. | Connecting Everything

docs.broadcom.com docs.broadcom.com
? Danke.
Zum Vergrößern anklicken....
Das sollte die richtige sein, soweit ich das mit deiner Modellangabe beurteilen kann. Sollte es doch eine falsche sein schlägt das Update einfach fehl, kaputt geht nix bei einem reinen Update.
bbott schrieb:
Beitrag automatisch zusammengeführt:

Bei dem Befehl "sas3flash -list" ist die Ausgabe beim LSI 9400-16i leider identisch.
Zum Vergrößern anklicken....
Das ist doch etwas verwunderlich, bei einem Spezl mit 9400-8i funktioniert das. Solltest doch nochmal ganz genau recherchieren was für eine Karte du da hast 🤔
 
mrpasc schrieb:
Das ist doch etwas verwunderlich, bei einem Spezl mit 9400-8i funktioniert das. Solltest doch nochmal ganz genau recherchieren was für eine Karte du da hast 🤔
Zum Vergrößern anklicken....
LSI SAS 9400-16i PCIe x8 4x SFF-8643 12G SAS3 NVMe HBA HDD SSD NVMe JBOD Tri-Mod (konfiguriert) von der Serverschmiede, sollte also ein original sein 🤔

Ich habe diese im PCIe Slot für GPU stecken, ist das evtl. ein Problem? Muss da an der Konfig was geändert werden?
Beitrag automatisch zusammengeführt:

Ich habe mich noch mal etwas umgeschaut der LSI 9305-24i / 9306-24i sieht auch interessant aus. Der Stromverbrauch ~16W (vs 12W 9400-16i) ist ganz gut, Low Profile. Die gleichen Anschlusskabel wie der 9400er, gehört zu 9300er Serie also gute TrueNAS Support? Hat jemand Erfahrung bzw. mehr wissen?
 
Zuletzt bearbeitet:
LSI 9305 ist der „Goldstandard“ für TrueNAS, insbesondere für Core (BSD) aber auch Scale (Linux). Sowohl Treiber auf Betriebssystem Seite als auch Firmware der Controller sind ausgereift und auf Hunderttausenden von Installationen in Betrieb.
Wichtig: der braucht (nochmehr als der 9400) eine gute Belüftung, also entweder im direkten Luftstrom oder mit einem Lüfter auf dem Kühler betreiben.
Beitrag automatisch zusammengeführt:

bbott schrieb:
LSI SAS 9400-16i PCIe x8 4x SFF-8643 12G SAS3 NVMe HBA HDD SSD NVMe JBOD Tri-Mod (konfiguriert) von der Serverschmiede, sollte also ein original sein 🤔
Zum Vergrößern anklicken....

Sollte passen, das von dir weiter oben ausgesuchte Update Paket ist das richtige


bbott schrieb:
Ich habe diese im PCIe Slot für GPU stecken, ist das evtl. ein Problem? Muss da an der Konfig was geändert werden?
Zum Vergrößern anklicken....


Nein, da steckt er gut.
Ab der 9400er Serie ist das von Broadcom präferierte Tool „storcli“. Keine Ahnung ob iX so nett war das auch im TrueNAS zu integrieren, denke schon.
 
Zuletzt bearbeitet:
Habe auch zwei LSI HBA 9300-16i. Meinst du die brauchen ebenfalls eine gute Lüftung? Eigentlich ist der passive Kühlkörper massiv. Aber man weiß ja nie.
 
Ich
mrpasc schrieb:
Wichtig: der braucht (nochmehr als der 9400) eine gute Belüftung, also entweder im direkten Luftstrom oder mit einem Lüfter auf dem Kühler betreiben.
Zum Vergrößern anklicken....
Welche Auswirkungen hat es, wenn dieser nicht bzw. nicht gut genug gekühlt wird? Datenverlust? Absturz?
Reicht es in einem Tower, wenn die LSI im GPU PCIe Slot durch unten HDD und oben Case Kühler ein indirekter Luftstrom die Karte kühlt? Mir ist jedanfalls nocht nichts bewusst aufgefallen :LOL: Weil für 3,5-12W (hatte Idle ~7W für 10G + LSI gemessen) erscheint mir der Kühlkörper ausreichend dimensioniert.
Wie hoch ist der reale Stromverbrauch des 9305 (Datenblatt <=16W) vs 9400 (Datenblatt <=12W) in der Praxis? Hat jemand Erfahrungen?
 
Anmelden, um zu antworten.
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh