[Sammelthread] ZFS Stammtisch

[reap]

Ja, schon klar. Die Frage war, ob ich die anschließen kann, und die Daten lesen kann, oder ob das Software-technisch nicht mehr geht (also eher in der näheren Zukunft).
Wenn die Platten in der Zwischenzeit kaputt sind, ists klar dass es nicht geht, und auch in Ordnung. Es ist nicht als langlebiges offline Backup gedacht.

 

[gea]

ZFS ist und bleibt abwärtskompatibel.
Wenn es wichtige Daten sind, dann halt einen Mirror aufheben und jedes Jahr anschließen und einen Scrub laufen lassen.

 

[waste]

Hallo,

ich teste gerade napp-it und stehe vor dem Problem, dass die Festplatten nicht erkannt werden. Ich meinem Dell T20 (ESXi 7.0) nutze ich einen LSI 9207 via Passthrough um SSDs (3x LiteOn 128GB) an die Storage VM durchzureichen. Allerdings werden mir in der Web-GUI keine Disks angezeigt.

Geprüft habe ich schon folgendes:
Passthrough aktiv

PCI Gerät an VM durchgereicht

In der prtconf wird der Controller angezeigt

Die Konfig unter Applicane Tuning /etc/system sollte auch passen?
* enable sata hotplug
set sata:sata_auto_online=1

WWN Problem
Könnte es mit den WWNs der SSDs zusammenhängen wie hier erwähnt? Dann sollte aber zumindest wenn eine SSD gesteckt ist diese angezeigt werden?
Ich habe noch eine alte WD1003FBYX an gefunden und an den Controller gehängt, diese wird auch nicht angezeigt. Bei dieser Platte sollte aber die WWN kein Problem sein, da es sich dabei um eine Enterprise Platte handelt?

Testweise habe ich den Controller an einen Windowsserver 2019 durchgereicht, dort werden die SSDs korrekt angezeigt. Somit schließe ich einen Defekt des HBAs, der Kabel oder ähnlichem erstmal aus.

Habt ihr noch eine Idee, woran es liegen könnte?

Grüße

Sebastian

 

[martingo]

Ja, schon klar. Die Frage war, ob ich die anschließen kann, und die Daten lesen kann, oder ob das Software-technisch nicht mehr geht (also eher in der näheren Zukunft).
Wenn die Platten in der Zwischenzeit kaputt sind, ists klar dass es nicht geht, und auch in Ordnung. Es ist nicht als langlebiges offline Backup gedacht.

Ich denke, worauf Du hinauswillst, ist: auf dem bestehenden System ist nur ein Export und auf dem neuen (gleichartigen) System ein Import notwendig. Du musst keine Konfiguration vom Server sichern, sondern alle relevanten Header usw. sind auf den Pool Platten vorhanden.

 

[gea]

Habt ihr noch eine Idee, woran es liegen könnte?

Grüße

Sebastian

Unter Controller wird nur ein 3G LSI 1068 angezeigt. Das ist was ganz altes und unterstützt nur Platten bis 2 TB. Der neuere 6G 2308 wird nicht erkannt. Werden denn die Platten angezeigt, wenn man den SAS Controller unter ESXi nutzt (ohne Passthrough) und die Platten per Disk > add raw disk in ESXi einzeln dr VM hinzufügt?

 

[waste]

Ja, da sind beide Platten da.

Ich denke ich werde mal 6.7 U3 testen. Laut HCL ist der HBA nicht mehr supportet? https://www.vmware.com/resources/compatibility/vcl/result.php?search=LSI+SAS+9207-8i&searchCategory=all&&lpos=apps_scodevmw+:+0=Search

EDIT: Anscheinend fällt der HBA unter die Kategorie 2b und wird in einem der kommenden Releases wegfallen. Quelle: https://kb.vmware.com/s/article/77304 -> Deprecated Devices 7.0 native and not removed in driver

EDIT2: Habe jetzt die 6.7 U3b installiert aber der Controller wird immer noch als 1068 angezeigt. Ich habe zur Sicherheit nochmal die neuste Firmware 20.00.07.00 geflasht, leider ohne Besserung.

 

[Digi-Quick]

Unter welchem OS hast du denn NAPP-IT installiert?
Napp-It zeigt dir nur, was das OS erkennt und eingebunden hat - und das ist in diesem Falle der falsche oder komplett veralteter Treiber

ESXI hat den Controller korrekt erkannt und dieser ist auch in der VM Konfiguration korrekt eingetragen.

 

[waste]

Ich nutze die Vorlage zfs_vsan_omni30_esxi67u3v2, also die Napp-In-One Lösung.

 

[v3nom]

Gestern unter unRAID die ZFS Snapshots zum laufen bekommen und diese per SMB Freigabe unter Windows als Vorgängerversionen eingebunden.

 

[gea]

Ich nutze die Vorlage zfs_vsan_omni30_esxi67u3v2, also die Napp-In-One Lösung.

Das ist OmniOS 151030, die aktuelle long term stable.
Da sollte es mit dem LSI mit Pass-through keine Probleme geben - zumindest nicht mit IT und IR Firmware. Auch ist es mit Pass-trough egal ob es ESXi Treiber gibt.

ps
Gibt es denn einen LSI 1068 im System. Eine Fehlerkennung (1068 statt 2308) würde ich komplett ausschließen.

 

[asche77]

unter unRAID die ZFS Snapshots

Wohl so ziemlich das unsinnigste, was man machen kann ... entweder unRAID oder ZFS-System, die design-Philosophien sind mE zu unterschiedlich.

 

[waste]

ps
Gibt es denn einen LSI 1068 im System. Eine Fehlerkennung (1068 statt 2308) würde ich komplett ausschließen.

Nein, einen LSI1068 gibt es nicht im System. Der 9702 ist neben einer Intel 350-T4 die einzige Karte. Auch wenn die Intel Karte nicht gesteckt ist, ändert sich nichts an der Erkennung.

Einen umgelabelten HBA schließe ich einfach mal aus. Sonst hätttle vermutlich der Firmwareflash auch nicht geklappt.

 

[gea]

Letztendliche Sicherheit ob es sich um ein ESXi oder OmniOS Problem handelt, hätte man wohl nur wenn man OmniOS direkt auf Hardware installieren würde.

Man könnte vorher noch ein Update auf OmniOS 151032 versuchen. Da hat sich zwar sehr viel geändert, der mpt-sas Treiber sollte aber der gleiche sein, http://www.napp-it.org/doc/downloads/setup_napp-it_os.pdf

 

[v3nom]

Wohl so ziemlich das unsinnigste, was man machen kann ... entweder unRAID oder ZFS-System, die design-Philosophien sind mE zu unterschiedlich.

Klar, man kann es aber zum Teil vermischen oder aus beiden Welten profitieren
Ich finde es eine spannende Sache und habe Spaß daran.

 

[waste]

Das Update auf 151032 hat auch keine Besserung gebracht. Welche omniOS Version würdest du für die Installation auf Blech empfehlen?

 

[Digi-Quick]

Merkwürdig....

Wenn ich es richtig sehe, hast du ja auch eine Windows-VM.
Wie wird denn der Controller erkannt (Gerätemanager, evtl muß noch der Treiebr installiert werden) , wenn du den der Win-VM zuweist?
9207 bzw. 2308 oder auch 1068?

 

[waste]

Ich würde sagen beides

 

[gea]

Das Update auf 151032 hat auch keine Besserung gebracht. Welche omniOS Version würdest du für die Installation auf Blech empfehlen?

Die aktuelle 151032 stable.
Die hat alle neuen ZFS Features (ZFS Verschlüssellung, special vdev, System Snapshots, Trim, SMB 3 im ZFS/kernel SMB Server. etc).

Was mich aber ganz stark irritiert ist der LSI 1068 der ja gar nicht da sein soll?

 

[Trambahner]

Das dürfte der virtuelle SAS-Controller von ESXI sein; es gibt ja auch eine Virtual Disk (Vmware Virtual disk SCSI Disk Device).
ESXI emuliert da doch einen 1068 .

 

[waste]

OmniOS on ESXi:

Windows Server on ESXi:

Somit stimmt Trambahners Vermutung, dass der 1068er vom ESXi stammt.


Controllerinfo von baremetal omnios-r151032. Auch hier wird der HBA nicht angezeigt

Mittlerweile sieht das für mich so aus, als ob die Treiber in OmniOS fehlen?

 

[gea]

LSI Controller (Avago/Broadcom und OEM) sind in fast allen professionellen ZFS Systemen unter Solaris/ Illumos zu finden. Aktuell sind zwar die 12G Modelle, die 6G Modelle sind aber immer noch sehr verbreitet. Im Gegensatz zu ESXi ist da auch absehbar nicht zu erwarten dass die 6G Modelle nicht mehr unterstützt werden. Den LSI 9207 mit Chipsatz 2308 habe ich selber noch mehrfach im Einsatz genau wie die LSI 9211 mit 2008 Chipsatz, extrem problemfreie HBAs. Nicht unterstützt sind lediglich Controller mit Raid-5 Firmware statt IR/IT Firmware (wie z.B. der IBM 1015 mit LSI 2008 mit Raid5 Originalfirmware)

Solange da eine IT oder IR Firmware drauf ist, werden die unterstützt.

illumos HCL - WIP

Ändert sich etwas, wenn man den PCI Slot wechselt?

 

[waste]

Nein leider nicht, ich habe den PCIe Slot gestern schon mal durchgetauscht und auch die Intel Netzwerkkarte testweise weggelassen. Auch in einem zweiten Rechner (DELL Optiplex 7040) wird in napp-it unter esxi kein Controller angezeigt.

 

[gea]

Pass-through kann manchmal ganz schön zicken. Die LSI Controller sind aber normalerweise das Paradebeispiel für problemfreies Pass-through in ESXi.

Die entscheidende Frage ist aber immer noch offen. Erkennt ein Barebone OmniOS den Controller. Dann liegt das Problem nicht beim Controller (9207 tut normalerweise sofort) sondern bei ESXi oder pass-through.

Wenn ESXi den Controller ohne pass-through erkennt, geht dann raw disk mapping,
also Disk > Add > raw disk in ESXi. Im Gegensatz zu Sata Controllern unterstützt ESXi bei SAS Controllern raw disk mapping direkt.

 

[waste]

Ich werde das im OmniOS prüfen, gibt es einen Befehl um das anzufragen? Ich habe bisher nur Befehle für FC Karten gefunden.

In ESXi werde ich das Raw Mapping auch noch testen.

 

[PeterRocco]

Ein Versuch in OmniOS wäre mit lspci zu schauen ob der Controller erkannt wird, wenn ja dann welche PCI ID er liefert und mit dieser dann in die HCL schauen.

root@san01:~# lspci

00:00.0 Host bridge: Intel Corporation 440BX/ZX/DX - 82443BX/ZX/DX Host bridge (rev 01)
00:01.0 PCI bridge: Intel Corporation 440BX/ZX/DX - 82443BX/ZX/DX AGP bridge (rev 01)
00:07.0 ISA bridge: Intel Corporation 82371AB/EB/MB PIIX4 ISA (rev 08)
00:07.1 IDE interface: Intel Corporation 82371AB/EB/MB PIIX4 IDE (rev 01)
00:07.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 08)
00:07.7 System peripheral: VMware Virtual Machine Communication Interface (rev 10)
00:0f.0 VGA compatible controller: VMware SVGA II Adapter
00:10.0 SCSI storage controller: Broadcom / LSI 53c1030 PCI-X Fusion-MPT Dual Ultra320 SCSI (rev 01)
00:11.0 PCI bridge: VMware PCI bridge (rev 02)
00:15.0 PCI bridge: VMware PCI Express Root Port (rev 01)
00:15.1 PCI bridge: VMware PCI Express Root Port (rev 01)
00:15.2 PCI bridge: VMware PCI Express Root Port (rev 01)
00:15.3 PCI bridge: VMware PCI Express Root Port (rev 01)
00:15.4 PCI bridge: VMware PCI Express Root Port (rev 01)
00:15.5 PCI bridge: VMware PCI Express Root Port (rev 01)
00:15.6 PCI bridge: VMware PCI Express Root Port (rev 01)
00:15.7 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.0 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.1 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.2 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.3 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.4 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.5 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.6 PCI bridge: VMware PCI Express Root Port (rev 01)
00:16.7 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.0 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.1 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.2 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.3 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.4 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.5 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.6 PCI bridge: VMware PCI Express Root Port (rev 01)
00:17.7 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.0 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.1 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.2 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.3 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.4 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.5 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.6 PCI bridge: VMware PCI Express Root Port (rev 01)
00:18.7 PCI bridge: VMware PCI Express Root Port (rev 01)
02:00.0 USB controller: VMware USB1.1 UHCI Controller
02:01.0 USB controller: VMware USB2 EHCI Controller
02:03.0 SATA controller: VMware SATA AHCI controller
03:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 (rev 02)
0b:00.0 Ethernet controller: Intel Corporation 82574L Gigabit Network Connection
13:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
1b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)

root@san01:~# lspci -s 03:00.0 -vnn

03:00.0 Serial Attached SCSI controller [0107]: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 [1000:0097] (rev 02)
        Subsystem: Super Micro Computer Inc AOC-S3008L-L8e [15d9:0808]
        Flags: bus master, fast devsel, latency 64, IRQ 10
        I/O ports at 4000 [disabled]
        Memory at fd4f0000 (64-bit, non-prefetchable)
        Memory at fd480000 (64-bit, non-prefetchable)
        Capabilities: [50] Power Management version 3
        Capabilities: [68] Express Endpoint, MSI 00
        Capabilities: [a8] MSI: Enable+ Count=1/1 Maskable+ 64bit+
        Capabilities: [c0] MSI-X: Enable- Count=96 Masked-

root@san01:~#

 

[gea]

Der LSI 9207 ist in der HCL.

Alternativ:
Wenn der Controller erkannt wird, so werden angeschlossene Platten via Format gelistet. Alternativ sas2ircu aufrufen. Das zeigt dann alle Details (Tool von BroadCom als Download bei irgendeinem 6G HBA Controller, gibts für Solaris und alle anderen OS)

 

[waste]

Also wenn ich OmniOS baremetal starte, bekomme ich folgende Ausgaben:

Ausgabe format auf baremetal OmniOS:
Es sind 3SSDs angesteckt (1x Onboard Sata mit OmniOS und 2x am HBA), sowie die 1TB WD die ebenfalls am HBA steckt.

prtconf

Spoiler: prtconf

root@omniosce:~# prtconf
System Configuration: Dell Inc. i86pc
Memory size: 32677 Megabytes
System Peripherals (Software Nodes):

i86pc
scsi_vhci, instance #0
disk, instance #3
pci, instance #0
pci1028,620 (driver not attached)
pci8086,c01, instance #0
pci1000,3020, instance #0
iport, instance #2
disk, instance #2
iport, instance #1
disk, instance #1
iport, instance #3
iport, instance #4
display, instance #0
pci1028,620, instance #0
keyboard, instance #0
pci1028,620 (driver not attached)
pci1028,620 (driver not attached)
pci1028,5a6, instance #0
pci1028,620, instance #0
hub, instance #0
pci8086,8c10 (driver not attached)
pci8086,8c12, instance #1
pci104c,8240, instance #2
pci8086,8c18, instance #3
pci8086,5001, instance #0
pci8086,5001, instance #1
pci8086,5001, instance #2
pci8086,5001, instance #3
pci1028,620, instance #1
hub, instance #1
isa, instance #0
motherboard (driver not attached)
asy, instance #0
pit_beep, instance #0
pci1028,620, instance #0
disk, instance #0
pci1028,620 (driver not attached)
fw, instance #0
cpu, instance #0
cpu, instance #1
cpu, instance #2
cpu, instance #3
cpu, instance #4
cpu, instance #5
cpu, instance #6
cpu, instance #7
sb, instance #1
usbroothub, instance #2
port, instance #5
port, instance #28
port, instance #29
port, instance #30
port, instance #31
port, instance #32
port, instance #33
port, instance #34
port, instance #35
usbroothub, instance #3
port, instance #6
port, instance #36
port, instance #37
port, instance #38
port, instance #39
port, instance #40
port, instance #41
usbroothub, instance #4
port, instance #7
port, instance #8
port, instance #9
port, instance #10
port, instance #11
port, instance #12
port, instance #13
port, instance #14
port, instance #15
port, instance #16
port, instance #17
port, instance #18
port, instance #19
port, instance #20
port, instance #21
port, instance #22
port, instance #23
port, instance #24
port, instance #25
port, instance #26
port, instance #27
used-resources (driver not attached)
iscsi, instance #0
agpgart, instance #0
options, instance #0
pseudo, instance #0

cfgadm

Spoiler: cfgadm

root@omniosce:~# cfgadm
Ap_Id Type Receptacle Occupant Condition
c3 scsi-sas connected unconfigured unknown
c4 scsi-sas connected configured unknown
c5 scsi-sas connected configured unknown
c6 scsi-sas connected unconfigured unknown
sata1/0:sk/c2t0d0 disk connected configured ok
usb1/1 unknown empty unconfigured ok
usb1/2 unknown empty unconfigured ok
usb1/3 unknown empty unconfigured ok
usb1/4 usb-kbd connected configured ok
usb1/5 unknown empty unconfigured ok
usb1/6 unknown empty unconfigured ok
usb1/7 unknown empty unconfigured ok
usb1/8 unknown empty unconfigured ok
usb1/9 unknown empty unconfigured ok
usb1/10 unknown empty unconfigured ok
usb1/11 unknown empty unconfigured ok
usb1/12 unknown empty unconfigured ok
usb1/13 unknown empty unconfigured ok
usb1/14 unknown empty unconfigured ok
usb1/15 unknown empty unconfigured ok
usb1/16 unknown empty unconfigured ok
usb1/17 unknown empty unconfigured ok
usb1/18 unknown empty unconfigured ok
usb1/19 unknown empty unconfigured ok
usb1/20 unknown empty unconfigured ok
usb1/21 unknown empty unconfigured ok
usb2/1 usb-hub connected configured ok
usb2/1.1 unknown empty unconfigured ok
usb2/1.2 unknown empty unconfigured ok
usb2/1.3 unknown empty unconfigured ok
usb2/1.4 unknown empty unconfigured ok
usb2/1.5 unknown empty unconfigured ok
usb2/1.6 unknown empty unconfigured ok
usb2/2 unknown empty unconfigured ok
usb2/3 unknown empty unconfigured ok
usb3/1 usb-hub connected configured ok
usb3/1.1 unknown empty unconfigured ok
usb3/1.2 unknown empty unconfigured ok
usb3/1.3 unknown empty unconfigured ok
usb3/1.4 unknown empty unconfigured ok
usb3/1.5 unknown empty unconfigured ok
usb3/1.6 unknown empty unconfigured ok
usb3/1.7 unknown empty unconfigured ok
usb3/1.8 unknown empty unconfigured ok
usb3/2 unknown empty unconfigured ok
usb3/3 unknown empty unconfigured ok

lspci hat leider keine Ausgabe gebracht. Ich denke, dass das nicht installiert ist.
Raw Disk teste ich gleich noch.

Edit:
Hier noch der Screenshot von napp-it on esxi mit raw disk mapping. Disk 1 und 2 hängen am HBA und werden korrekt erkannt.

Wenn ich die Platten via raw disk mapping an die VM anhänge, hat dies irgendwelche Nachteile?

 

[gea]

Also scheint das Problem an ESXi pass-through zu liegen, hatte das mit LSI HBA noch nie. Muss also an der Kombination z.B. mit dem Mainbaord liegen.

ESXi Raw Disk Mapping von Sata/SAS Platten über einen SAS Controller hat als wesentlichen Nachteil dass man jede Platte einzeln durchreichen muss und nicht nur den einen Controller. Bei vielen Platten etwas mühsam. Ansonst hat OmniOS direkten Zugriff inkl. Smart Werten. Meist macht man RDM ansonst wenn man mehrere VMs hat und denen selektiv einzelne Platten zuweisen will oder wenn pass-through nicht funktioniert. Das passiert auch bei deaktiviertem oder nicht vorhandenem vt-d beim Mainboard. Ich nehme aber an dass vt-d im Bios aktiviert ist.

 

[besterino]

Ich hatte auch mit einem Original LSI 9207 Probleme und seinerzeit verschiedene Einträge in Foren gefunden, dass der unter ESXi-Passthrough wohl gerne rumzickt. Das muss so zu Zeiten von ESXi 6.0 oder 6.5 gewesen sein. Seitdem liegt der hier ungenutzt rum und ich habe das nicht weiter verfolgt...

 

[waste]

Ok, dann wird es wohl am Mainboard liegen. vt-d ist natürlich aktiviert. Wenn nicht, hätte vermutlich auch das Passthrough an die Windows VM nicht geklappt. Ich teste jetzt einfach mal mit RDM, Dankeschön an alle für die Hilfe!