Probleme mit LSI 9300-8i unter Linux

[killer196]

Guten Morgen,

ich dachte mir ich frag auch mal hier. Frage läuft auch im Unraid Forum, aber mehr Denker schaden ja nicht.

Ich habe eine LSI 9300-8i, an der 8x Samsung SAS 12G Datacenter SSDs hängen. Bios und linkstatus unter Linux sagen auch 12G pro SSD. die 9300-8i wird auch korrekt mit 8x pcie3 lanes erkannt. Karte und SSDs werden scheinbar auch korrekt initialisiert, das Log spuckt keinerlei Fehler aus.

Problem: Unter Linux (Unraid in dem fall) werden die SSDs nur mit max. 56mb/s beschrieben oder gelesen. Egal was ich mache. Schreibcache/lesecache, alles aktiv. Die 8 SSDs laufen als eigentständiger Pool, nicht im Array. Dateisystem scheint hierbei egal zu sein, das Problem tritt sowohl unter ZFS, als auch mit btfrs und xfs auf.

Jetzt hatte ich testweise TrueNAS Core installiert um zu schauen ob es damit besser ist: Ist es. Beim Lesen und Schreiben im RaidZ Pool (1vdev 8 Platten) laste ich meine 10G leitung voll aus mit 1,1GB/s. Also kann die karte oder die ssds eigentlich nicht kaputt sein.

Jetzt wollte ich aber gerade wegen Docker und der besseren VM Verwaltung Unraid nutzen. Hat jemand eine Idee was das Problem sein könnte?

 

[Fusseltuch]

Kann es eventuell sein, dass du im BIOS des Mainboards ASPM oder weitere/andere Stromspartechniken für PCIe aktiv hast? Eventuell gibt's nen Kernel-Bug, der aus Energiespargründen die Karte in den PCIe 1.0 x1 Modus setzt. Welche Firmware hat der Controller?

Wenn es unter FreeBSD funktioniert, klingt das für mich sehr nach Kernel-Bug im Linux-Kernel. Ich kenne mich mit Unraid nicht aus, ist das ein eigenes OS oder wird das zB über ein Debian oder Ubuntu drüberinstalliert? Welche Kernelversion kommt zum Einsatz (In der Shell 'uname -a' sollte die version anzeigen)?

 

[killer196]

Moin, danke für die Antwort Unraid ist eigentständig, keine Zusatz Installation.

ASPM ist aktiv, das Problem besteht jedoch auch wenn es im Bios komplett deaktiviert ist.

Linux Kernel sollte die

• version 6.1.33

sein, kann ich aber später testen wenn ich von der arbeit komme.

 

[Fusseltuch]

Oder "Cache an/aus" wird nicht an den Controller gemeldet/weitergereicht. Hast du die Chance, LSI/Avago/Broadcom storcli zu installieren, sodass man den Controller direkt steuern kann?

Alternativ eventuell mal mit einem "nackten" Ubuntu 23.10 testen, das verwendet Kernel 6.5.x, der ist ja etwas neuer als bei UnRAID.

 

[killer196]

Werde ich so testen, einmal mit ubuntu und einmal ob storcli geht.

 

[killer196]

Habe jetzt nochmal TrueNAS Scale gestestet, ist ja auch Linux. Damit Laste ich die 10G leitung voll aus. Lesend und schreibend, auch nach 1TB noch.
Was etwas Besserung brachte bevor ich gewechselt hab, war DiskShare statt User Share. Damit konnte ich immerhin fast konstant mit 900mb/s schreiben und immerhin mit 700mb/s lesen.

Edit: TrueNAS scale musste es nur werden auf die schnelle weil die Daten rüber mussten. Die Tage setz ich mich dann eventuell nochmal an Unraid wenn ich Zeit finde.

 

[Trambahner]

Ich bin jetzt kein Unraid-Kenner, aber bei SSD-only Pools ist IMO das Hauptargument bei Unraid (HDDs müssen nicht alle aufwachen) weg.

=> einfach ZFS nutzen bei SSDs am Hostbusadapter (dort natürlich IT- (oder notfalls IR-) Firmware) und gut is; (=> keinerlei Hardware-Raid oder Cachegedöns einrichten!)

 

[killer196]

Ich bin jetzt kein Unraid-Kenner, aber bei SSD-only Pools ist IMO das Hauptargument bei Unraid (HDDs müssen nicht alle aufwachen) weg.

=> einfach ZFS nutzen bei SSDs am Hostbusadapter (dort natürlich IT- (oder notfalls IR-) Firmware) und gut is; (=> keinerlei Hardware-Raid oder Cachegedöns einrichten!)

Die SSDs hängen alle direkt am HBA, der läuft im IT-Mode. ZFS hatte ich eingestellt. Mit TrueNAS rennt es ja jetzt erstmal. Und Scale kann docker auch ganz gut.

 

[killer196]

Kurzes Update: Ich bekomme es mit Unraid nicht hin. Heute nochmal 9h Probiert. Alle Einstellungen durch, von direkt DriveShare, zum Exclusive Share, Power Settings whatever. Samba versucht zu Optimieren, alles ohne erfolg. Selbst mit Raid0 komme ich nicht über 900mb/s schreiben und 700mb/s lesend.

TrueNAS Scale hat keine Probleme, da hänge ich absolut im 10Gbe limit mit 1,1gb/s im SMB Share.

Windows 10 lokal installiert auch nicht, da schafft der controller bei 8er striped (in windoof selbst) 6000mb/s lesend und 5000mb/s schreibend.

Also kaputt kann er nicht sein. Aber egal, dann ist es jetzt TrueNAS. Vielleicht kann ich die Lizenz von Unraid dann irgendwann noch fürn mini docker server nutzen.

 

[Ceiber3]

UnRaid funzt halt mit ZFS selber noch bissel anders. Was passiert den wenn du das ZFS Raid in Unraid manuell über die Konsole erstellst.
ZFS Plugin aber vorher aus dem Plugin Store installieren.

 

[killer196]

UnRaid funzt halt mit ZFS selber noch bissel anders. Was passiert den wenn du das ZFS Raid in Unraid manuell über die Konsole erstellst.
ZFS Plugin aber vorher aus dem Plugin Store installieren.

Das Problem besteht bei Unraid nicht zwingend nur mit ZFS. Auch BTFRS und XFS konnten den Speed nicht halten. Aber danke für die Idee, vielleicht teste ich das doch nochmal.

 

[gea]

ZFS ist ZFS. letztendlich ist es egal ob man einen Pool mit einer GUI oder auf der Console mit zpool create erzeugt. Das Ergebnis muss das Gleiche sein. Was man mit ZFS nicht machen sollte sind extra Cache Laufwerke. Das macht ZFS viel schneller im RAM. Unter Linux sollte man für ZFS mindestens 8 besser 16GB+ RAM haben. Im Raid Z sollte man Performance einer SSD x Anzahl der Datenplatten im Raid-Z (6 bei 8 SSD im Z2) x 0,7 haben sofern CPU oder RAM nicht limitiert was bei hohen Datenraten schnell passiert.

Was ich prüfen würde ist ob es mit SSD an 6G Sata gleich schlecht ist. Auch ZFS recsize kann ein Problem sein wenn der Wert zu klein ist. Da für erste Tests den Defaultwert 128K lassen. LZ4 compress kann man anlassen, dedup sollte man normalerweise auslassen.

 

[killer196]

ZFS ist ZFS. letztendlich ist es egal ob man einen Pool mit einer GUI oder auf der Console mit zpool create erzeugt. Das Ergebnis muss das Gleiche sein. Was man mit ZFS nicht machen sollte sind extra Cache Laufwerke. Das macht ZFS viel schneller im RAM. Unter Linux sollte man für ZFS mindestens 8 besser 16GB+ RAM haben.

Was ich prüfen würde ist ob es mit SSD an 6G Sata gleich schlecht ist. Auch ZFS recsize kann ein Problem sein wenn der Wert zu klein ist. Da für erste Tests den Defaultwert 128K lassen. LZ4 compress kann man anlassen, dedup sollte man normalerweise auslassen.

Danke für deinen Input. RAM standen 48GB explizit für ZFS zur verfügung, insgesammt 64GB. Sata SSD wird schwer, habe ich keine hier, die SSDs die ich nutze sind explizit SAS.
ZFS recsize hatte ich aufm schirm, da hat es leider keinen unterschied gemacht ob 128K oder 1M. Dedup war aus.

Aber wie gesagt, ich denke nicht das es direkt ein ZFS Problem war, da auch BTFRS langsam war. Ich denke irgendwas am Unraid Kernel, oder etwas dazwischen hatte irgendwelche Probleme.

 

[Ceiber3]

Hat nichts mit den Kernel zu tun. Du kannst bei UnRaid mit ZFS über die Gui unterschiedlich große Platten nutzen und hast volle Kapazitäten. UnRaid nutzt ZFS/BTRFS wie XFS. Nur halt mit den Vorteilen von ZFS/BTRFS. Probiere mal über Konsole. Früher konnte UnRaid kein ZFS von Haus aus, und da musste man es über Konsole machen. Da hatte ich immer vollspeed.