sas3ircu Verhalten bei locate auf disk in enclosure

[Wesumat]

Hallo zusammen,

ich bastle jetzt schon etwas länger rum und konnte die ein oder andere Hürde in diesem Kontext auch schon umschiffen.

Bin jetzt aber auf ein Verhalten gestossen, was sich mir noch nicht so genau erschliesst, vielleicht hat ja jemand 'ne Idee dazu
oder selber in der Richtung schon mal etwas herum experimentiert.

Ich verwende einen ML310e gen8 v2 mit einem LSI 9300-8i im IT-Mode, auf diesem läuft OmniOS r151052. An dem HBA hängt
ein Supermicro M14TQC, sowie ein hp 12G SAS Expander. An diesem Expander ist dann der interne hp 4x 3,5" Hotplug Laufwerkskäfig
angeschlossen.

Nun verhält sich der sas3ircu etwas bockig, das locate auf den M14TQC funktioniert problemlos. Die hp Slots wollen nicht richtig.
Das command wird abgesetzt aber es passiert nichts. Grundsätzlich funktionieren tut es aber, macht man es stattdessen via sg_ses
kann man problemlos mit den verschiedene LED Stati spielen (identify, fault, do not remove, etc.).

Was macht hier sas3ircu grundsätzlich anders als beispielsweise sg_ses?

Erkannt wird meines Erachtens auch erst einmal alles korrekt via sas3ircu:

Avago Technologies SAS3 IR Configuration Utility.
Version 17.00.00.00 (2018.04.02)
Copyright (c) 2009-2018 Avago Technologies. All rights reserved.

Read configuration has been initiated for controller 0
------------------------------------------------------------------------
Controller information
------------------------------------------------------------------------
  Controller type                         : SAS3008
  BIOS version                            : 0.00.00.00
  Firmware version                        : 16.00.12.00
  Channel description                     : 1 Serial Attached SCSI
  Initiator ID                            : 0
  Maximum physical devices                : 1023
  Concurrent commands supported           : 9856
  Slot                                    : 3
  Segment                                 : 0
  Bus                                     : 7
  Device                                  : 0
  Function                                : 0
  RAID Support                            : No
------------------------------------------------------------------------
IR Volume information
------------------------------------------------------------------------
------------------------------------------------------------------------
Physical device information
------------------------------------------------------------------------
Initiator at ID #0

Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 0
  SAS Address                             : 58ce38e-e-200a-3de6
  State                                   : Ready (RDY)
  Size (in MB)/(in sectors)               : 763097/1562824367
  Manufacturer                            : TOSHIBA
  Model Number                            : PX05SMB080Y
  Firmware Revision                       : AU0F
  Serial No                               : X7L0A08STF7E
  Unit Serial No(VPD)                     : X7L0A08STF7E
  GUID                                    : 58ce38ee200a3de5
  Protocol                                : SAS
  Drive Type                              : SAS_SSD

Device is a Hard disk
  Enclosure #                             : 1
  Slot #                                  : 1
  SAS Address                             : 5000cca-0-1327-6d9d
  State                                   : Ready (RDY)
  Size (in MB)/(in sectors)               : 190782/390721967
  Manufacturer                            : HITACHI
  Model Number                            : HUSRL402 CLAR200
  Firmware Revision                       : C1C0
  Serial No                               : XTVPP6EA
  Unit Serial No(VPD)                     : XTVPP6EA
  GUID                                    : 5000cca013276d9c
  Protocol                                : SAS
  Drive Type                              : SAS_SSD

Device is a Hard disk
  Enclosure #                             : 2
  Slot #                                  : 36
  SAS Address                             : 5000039-d-7838-bf3a
  State                                   : Ready (RDY)
  Size (in MB)/(in sectors)               : 15259647/31251759103
  Manufacturer                            : TOSHIBA
  Model Number                            : MG09SCA16TE
  Firmware Revision                       : 0106
  Serial No                               : 84P0A00HFJ1H
  Unit Serial No(VPD)                     : 84P0A00HFJ1H
  GUID                                    : 5000039d7838bf39
  Protocol                                : SAS
  Drive Type                              : SAS_HDD

Device is a Hard disk
  Enclosure #                             : 2
  Slot #                                  : 37
  SAS Address                             : 5000039-d-7838-b4d2
  State                                   : Ready (RDY)
  Size (in MB)/(in sectors)               : 15259647/31251759103
  Manufacturer                            : TOSHIBA
  Model Number                            : MG09SCA16TE
  Firmware Revision                       : 0106
  Serial No                               : 84P0A00DFJ1H
  Unit Serial No(VPD)                     : 84P0A00DFJ1H
  GUID                                    : 5000039d7838b4d1
  Protocol                                : SAS
  Drive Type                              : SAS_HDD

Device is a Sequential access device
  Enclosure #                             : 2
  Slot #                                  : 57
  SAS Address                             : 5001438-0-358b-b4fc
  State                                   : Standby (SBY)
  Manufacturer                            : HPE
  Model Number                            : 12G SAS Exp Card
  Firmware Revision                       : 5.15
  Serial No                               : D
  Unit Serial No(VPD)                     : PDNRB0BWW8RBEQ
  GUID                                    : N/A
  Protocol                                : SAS
  Drive Type                              : SAS_HDD
------------------------------------------------------------------------
Enclosure information
------------------------------------------------------------------------
  Enclosure#                              : 1
  Logical ID                              : 500605b0:0dcb0640
  Numslots                                : 8
  StartSlot                               : 0
  Primary Boot Slot                       : 0
  Enclosure#                              : 2
  Logical ID                              : 50014380:358bb4c0
  Numslots                                : 31
  StartSlot                               : 27
------------------------------------------------------------------------
SAS3IRCU: Command DISPLAY Completed Successfully.
SAS3IRCU: Utility Completed Successfully.

Jetzt würde man denken, es würde wie folgt funktionieren, aber Pustekuchen ist,
gibt zwar auch keine Fehler beim Auruf, aber funktionieren tut es auch nicht.

root@NAS01:/var/web-gui/_my/tools/sas3ircu# ./sas3ircu 0 locate 2:36 on
Avago Technologies SAS3 IR Configuration Utility.
Version 17.00.00.00 (2018.04.02)
Copyright (c) 2009-2018 Avago Technologies. All rights reserved.

SAS3IRCU: LOCATE command completed successfully.
SAS3IRCU: Command LOCATE Completed Successfully.
SAS3IRCU: Utility Completed Successfully.

Lässt sich jetzt beispielsweise für slot 1 aber ohne Probleme mittels sg_ses aktiveren:

root@NAS01:~# sg_ses --device-slot-num=1 --set=locate /dev/es/ses0
root@NAS01:~# ./status.sh
get status for dev-slot 1,2
  HPE       12G SAS Exp Card  5.15
Enclosure reports this timestamp:
    Mon, 01 Jun 2020 03:57:06 +0100:
    Mon, 01 Jun 2020 05:57:06.250 +0200:
    origin: since power on or hard reset
  Primary enclosure logical identifier (hex): 50014380358bb4c0
[0,0]  Element type: Array device slot
  Enclosure Status:
    Predicted failure=0, Disabled=0, Swap=0, status: OK
    OK=0, Reserved device=0, Hot spare=0, Cons check=0
    In crit array=0, In failed array=0, Rebuild/remap=0, R/R abort=0
    App client bypass A=0, Do not remove=0, Enc bypass A=0, Enc bypass B=0
    Ready to insert=0, RMV=0, Ident=1, Report=0
    App client bypass B=0, Fault sensed=0, Fault reqstd=0, Device off=0
    Bypassed A=0, Bypassed B=0, Dev bypassed A=0, Dev bypassed B=0
  Additional Element Status:
    Transport protocol: SAS
    number of phys: 1, not all phys: 1, device slot number: 1
    phy index: 0
      SAS device type: end device
      initiator port for:
      target port for: SSP
      attached SAS address: 0x50014380358bb4fd
      SAS address: 0x5000039d7838bf3a
      phy identifier: 0x0
...

und wieder deaktiveren.

root@NAS01:~# sg_ses --device-slot-num=1 --clear=locate /dev/es/ses0
root@NAS01:~# ./status.sh
get status for dev-slot 1,2
...
    Ready to insert=0, RMV=0, Ident=0, Report=0
...

Und die Funktion ist natürlich auch gegeben, locate LED leuchtet, bzw. geht dann wieder aus.

 

[gea]

Das LSI Programm sasircu2/3 ist ein tolles Tool zum Identifizieren von Platten mit WWN Identifikation in einem Jbod.
Leider wurde es nach Übernahme von LSI von Avago und BroadCom nicht weitergepflegt,

Es ist also "as is" und je älter es wird, mit desto mehr Systemen funktioniert es nicht mehr richtig. Mit neueren 12G HBAs tut es leider gar nicht mehr. Man muss sich also zur Slot Identifikation anders behelfen, z.B. mit einer Disk Map der Platten (Ausdrucken und auf das Storage legen), ses Tools oder Identifikation mit dd bei ruhendem Pool.

 

[Wesumat]

Hm, ja es ist alt und hat auch offenbar schon viele "Probleme" durch, wenn man mal so durchs Internet google't. Besser wird es
unter Broadcom diesbezüglich sicher nicht.

Hast du eventuell mal mit dem Gedanken gespielt, perspektivisch auch die ses tools als Alternative oder Option zu sas2/sas3 in
napp-it zum locating, etc. zu integrieren? Wird ja mit kommenden Controller Generation dann immer problematischer werden.

Die größte Herausforderung wäre vermutlich ein eindeutiges mapping von disk zum slot, eindeutige SAS Adressen dürften z.B.
SATA Laufwerke ja nicht mitbringen, oder sie bekommen etwas pseudohaftes vom enclosure was dann sicher gematcht sein müsste.
Dann könnte man auch direkt über die target sas Adresse ansprechen.

 

[gea]

Controller, OS oder SAS/Sata spezifische Tools sind immer problematisch. Der OmniOS mpt Treiber liefert aber selber eine Port Nummer für eine WWN. Ist halt nicht unbedingt die Slotnummer aus sasircu.

Das "Standardverfahren" in napp-it ist auf jeden Fall eine DiskMap anzulegen und auszudrucken und dem Storageserver beilegen. Damit hat man eine schnelle Übersicht. Auch dd identifiziert bei einem Pool ohne viel Last schnell eine Platte.

 

[Wesumat]

Das ist auch sicher eher ein feature aus der Kategorie nice-to-have ;-)

Appliance Map nutze ich bereits, aber man bastelt ja auch gerne und guckt, was machbar ist.