[Sammelthread] ZFS Stammtisch

[Pazecx]

Moin,

ich hab mir eine neue Hardware Appliance aufgebaut mit einem Supermicro X11SSH-CTF onboard 10GB SAS Controller, 10 GBit.
Neu zusammengebaut und 8 Platten per Backplane an dem Onboard Controller, schmeißt mir OmniOS nach kurzer Zeit folgende Fehlermeldungen.
Das passiert besonders dann ganz oft, wenn ich in napp-it durch die Menüs Disks, Pools etc navigiere.

Das System ist auf einer SSD installiert, welche mit an dem onboard Controller hängt.


Jemand eine Idee? Das Mainboard ist neu und ich befürchte das es was mit dem onboard Controller zutun hat?
Derzeit hängen nur die 8 Platten am Controller / System.

 

[AliManali]

Läuft die Pro Lizenz ab, kann man alternativ auf napp-it Free zurückgehen.

Danke.

Ich hatte glaub ich nie die Pro Version. Wie gehe ich da auf free zurück? Habe den Keychange versucht, und in der Mail steht eine leere Linie, wo der Key sein sollte. Ich habe jetzt mal bei Extensions > Register einfach die komplette Linie raus gelöscht. Wars das?

 

[gea]

Es sieht so aus, dass beim Zugriff auf den Pool die Platte Target 10 mit der WWN 500...085b Probleme macht indem sie innerhalb der Default Wartezeit von 60s nicht reagiert.

Diese Platte ist vermutlich defekt oder die Verkabelung macht Probleme.
Im Zweifel entfernen und z.B. mit WD Data Lifeguard testen.


In System > Logs oder System > Fault werden die Fehler sicher auch auftauchen.
Eventuell sagt Disks > Smart noch was dazu aus, ich würde sie auf jedenfall vor Weiternutzung extern intensiv testen.

- - - Updated - - -

Danke.

Ich hatte glaub ich nie die Pro Version. Wie gehe ich da auf free zurück? Habe den Keychange versucht, und in der Mail steht eine leere Linie, wo der Key sein sollte. Ich habe jetzt mal bei Extensions > Register einfach die komplette Linie raus gelöscht. Wars das?

Wenn es sich um eine Free z.B. 18.12 free handelt und ein Key registriert ist, den unter Extension > Register > Edit löschen. Wurde ein Update auf eine Pro z.B. 19.06 vorgenommen, dann in About > Update auf napp-it Free 18.12 wechseln.

 

[Pazecx]

Es sieht so aus, dass beim Zugriff auf den Pool die Platte Target 10 mit der WWN 500...085b Probleme macht indem sie innerhalb der Default Wartezeit von 60s nicht reagiert.

Diese Platte ist vermutlich defekt oder die Verkabelung macht Probleme.
Im Zweifel entfernen und z.B. mit WD Data Lifeguard testen.


In System > Logs oder System > Fault werden die Fehler sicher auch auftauchen.
Eventuell sagt Disks > Smart noch was dazu aus, ich würde sie auf jedenfall vor Weiternutzung extern intensiv testen.

Moin,
eine SSD hat es tatsächlich erwischt.
Dazu kam das ich mit Molex Erweiterung -> 2 gearbeitet habe und die wohl nicht genug Saft liefern konnten. Jedenfalls betrifft das immer nur die Festplatten mit den Erweiterungen als Kabel.

Weiß jemand wo ich für mein Netzteil passende Kabel für die Backplane / Molex bekomme?
Habe hier etwas mit einem 4PIN -> Molex gefunden.
adaptare 35012 15 cm Netzteil Adapter-Kabel 4-polig: Amazon.de: Computer Zubehör

Das Netzteil hat noch 3x 8PIN/4PIN PCI und zwei von diesen "Drives" Anschlüssen frei. Kann ich da einfach einen 4PIN in den 8PIN reinstecken?

 

[Trambahner]

Diese Molex-Erweiterungen sind teilw. mit erheblich Skepsis zu betrachten. Da gibts genug, die Kurzschlüsse produziert haben und kann auch Brände auslösen.
Auch Crucial warnt: https://www.crucial.de/deu/de/dangerous-molex-to-sata-cables.
Irgendwo gabs ne Webseite, auf der die guten und die schlechten Bauweisen dieser Dinger beschrieben sind/waren..

Mir hats vermutlich mit einem so einem Adapter die Powerloss-Kondensatoren einer Datacenter-SSDs gegrillt. War auch in einem Zpool und zum Glück war das betroffene Vdev als Mirror angelegt. Die betroffene SSD war zwar noch ansprechbar, aber schrieb nur noch mit etwa 30MB/s. Mittlerweile natürlich längst ausgetauscht, aber Mangels Gewährleistung für Endkunde (war eine SM863) waren 350 Euro beim Teufel.

 

[Elektromat]

Hallo Zusammen,

kann das sein, das im Solaris 11.4 Napp-it Interface zur User Passwort vergabe, bzw. dem SMB Passwort eine Längenbegrenzung aktiv ist? Oder kommt vom Solaris eine Begrenzung.
Ich hatte versucht ein Passwort das mir per Generator erzeugt wurde mit 50 Zeichen zu verwenden.
Damit bekomme ich keinen Zugang zu meinem Share über Windows Veeam.
16Zeichen hingegen waren OK.

Zufällig jemand ne info ob es hier eine Limitierung gibt, wenn ja welche? Bzw. sollte man bestimmte Zeichen nicht verwenden?

Grüße
Elektromat

 

[Ceiber3]

50 ? Ist das nicht bissel übertrieben ?

 

[gea]

Windows nimmt max 16 Zeichen.
What is the maximum length of password in Windows 10?


Unter X Systemen ist default 8 Zeichen, kann aber bei aktuelleren Systemen vergrößert werden
Am Besten max 16 wie bei Windows nehmen
https://docs.oracle.com/cd/E88353_01/html/E37839/passwd-1.html

 

[Elektromat]

50 ? Ist das nicht bissel übertrieben ?

50 ja etwas. Ich wollt einfach mal testen was geht.

Windows nimmt max 16 Zeichen.
What is the maximum length of password in Windows 10?


Unter X Systemen ist default 8 Zeichen, kann aber bei aktuelleren Systemen vergrößert werden
Am Besten max 16 wie bei Windows nehmen
https://docs.oracle.com/cd/E88353_01/html/E37839/passwd-1.html

Ich dachte mir schon sowas. Danke.

 

[Peli67]

Servus gibt es eine Möglichkeit den Port:81 von Napp It zu ändern ?

 

[snipor]

Gibt es eine Möglichkeit eine nvme SSD (P4510) welche über ESXi (6.7U3) mittels pass-through durchgereicht wird in napp-it zum Laufen zu bekommen? Wird leider gar nicht erkannt.

 

[CommanderBond]

kann man auch einzelne nvme ssds durchreichen? mal angenommen ich habe über entsprechende Adapterkabel an einem pcie x16 slots 4 ssds welche an jeweils 4 lanes hängen. Kann ich das für jede festlegen oder nur den ganzen x16 slot und damit alle 4?

 

[snipor]

Ich wäre froh wenn die eine wenigstens mal funktionieren würde.

 

[Luckysh0t]

@snipor
In welchem OS willst du die denn durchreichen - nappit ist ja kein OS.

Hast du mal ein anderes OS getestet zB Windows ?

 

[Haithabu84]

Hallo, ich habe mal eine generelle Frage: Wie verhält sich eigentlich die Kompatibilität zwischen ZFSonLinux und ZFS auf z.B. OmniOS mit napp-it?

Kurz zu meinem Vorhaben: Ich habe zwei Proxmox-Nodes mit ZFS und einen Backup-Server der derzeit mit Debian und Ubuntu läuft. Letzteren würde ich gern Umbauen und mit OmniOS und napp-it ausstatten. Soll dann in erster Linie wieder als Backup-Storage und ZFS send/recv arbeiten. Ich brauche da also nicht die Super-Mega-Performance.

Das System:

CPU E3-1230 v6
Mainboard Supermicro X11SSH-F
RAM 16Gb ECC
Backplane 12Gb/s
4x WD Red 4TB (Ich weiß: nicht gerade erste Wahl, aber leider schon vorhanden)

Als Systemplatten hätte ich dann noch zwei WD 530 SAS SSD reingehauen und dann so partitioniert das man noch Platz für ein SLOG hat. Für die HDD würde ich ein RAID-Z2 fokussieren.

Sind da Probleme zu erwarten, weil vielleicht Funktionen im ZFSonLinux noch nicht implementiert sind? Hat da jemand Erfahrung mit gesammelt? Würde mich auch über weitere Verbesserungsvorschläge freuen.

Gruß

 

[snipor]

Hatte ich vergessen zu erwähnen. Es handelt sich um das ESXi OmniOS Template von gea.
Unter einer Windows Server 2019 VM wird die SSD problemlos erkannt.

 

[gea]

Hatte ich vergessen zu erwähnen. Es handelt sich um das ESXi OmniOS Template von gea.
Unter einer Windows Server 2019 VM wird die SSD problemlos erkannt.

Wie bereits angemerkt, ist das OS entscheidend. Unter einem älteren OmniOS gab es teils Probleme mit NVMe pass-through (hatte ich z.B. mit Optane, ging mit P3x00). Ein aktuelles OmniOS 151030 sollte keine Probleme haben. Noch neuer ist 151031 bloody (Basis für 151031 stable im November). Im Zweifel auf neuestes OmniOS updaten, http://www.napp-it.org/doc/downloads/setup_napp-it_os.pdf

- - - Updated - - -

Sind da Probleme zu erwarten, weil vielleicht Funktionen im ZFSonLinux noch nicht implementiert sind? Hat da jemand Erfahrung mit gesammelt? Würde mich auch über weitere Verbesserungsvorschläge freuen.

Gruß

Illumos (OmniOS) und ZoL nutzen Open-ZFS mit Features. Das neueste ZoL 0.8 und Illumos (OmniOS bloody/OI) sind weitgehend gleichauf was ZFS Features angeht. Ist das OS etwas älter (OmniOS stable oder älteres ZoL) so kann es sein, dass die Pools nicht kompatibel sind, z.B. weil das Verschlüssellungs Feature, System-Wiederherstellungspunkte, Remove-vdev oder spezielle vdev noch nicht enthalten sind.

Weitere ZFS Unterschiede (neben OS Unterschieden) betreffen eher ACL und NFS/SMB. Solarish nutzt da ZFS/OS Kerneldienste mit ntfs artigen Rechten und Windows sid während ZoL z.B. SAMBA und Linux Posix ACL mit Linux uid/gid unterstützt. Das ist aber auf ZFS Poolebene zunächst egal. Werden die gleichen ZFS Features unterstützt, geht auch z.B. ZFS Replikation OS übergreifend.

 

[Haithabu84]

Wie bereits angemerkt, ist das OS entscheidend. Unter einem älteren OmniOS gab es teils Probleme mit NVMe pass-through (hatte ich z.B. mit Optane, ging mit P3x00). Ein aktuelles OmniOS 151030 sollte keine Probleme haben. Noch neuer ist 151031 bloody (Basis für 151031 stable im November). Im Zweifel auf neuestes OmniOS updaten, http://www.napp-it.org/doc/downloads/setup_napp-it_os.pdf

- - - Updated - - -



Illumos (OmniOS) und ZoL nutzen Open-ZFS mit Features. Das neueste ZoL 0.8 und Illumos (OmniOS bloody/OI) sind weitgehend gleichauf was ZFS Features angeht. Ist das OS etwas älter (OmniOS stable oder älteres ZoL) so kann es sein, dass die Pools nicht kompatibel sind, z.B. weil das Verschlüssellungs Feature, System-Wiederherstellungspunkte, Remove-vdev oder spezielle vdev noch nicht enthalten sind.

Weitere ZFS Unterschiede (neben OS Unterschieden) betreffen eher ACL und NFS/SMB. Solarish nutzt da ZFS/OS Kerneldienste mit ntfs artigen Rechten und Windows sid während ZoL z.B. SAMBA und Linux Posix ACL mit Linux uid/gid unterstützt. Das ist aber auf ZFS Poolebene zunächst egal. Werden die gleichen ZFS Features unterstützt, geht auch z.B. ZFS Replikation OS übergreifend.

Ok, dann sehe ich prinzipiell keine Probleme. Proxmox ist up-to-date mit dem aktuellen ZoL und bei OmniOS würde ich sowieso die letzte LTS verwenden. ACL verwende ich in meiner aktuellen Umgebung eher selten. In erster Linie wird das Replikation-Feature benötigt, später vielleicht mal NFS für zusätzlichen Storage. Danke.

 

[gea]

Der aktuelle OmniOS 151030 LTS fehlen ZoL 0.8 Fetures wie encryption, trim, spezielle vdevs. Die sind erst in der aktuellen OmniOS 151031 bloody/nächste 151032 stable enthalten. Pools aus ZoL 0.8 und OmniOS 151030 LTS sind also inkompatibel wenn man in ZoL 0.8 alle Features aktiviert hatte. Ob OmniOS die in die LTS rückportiert muss man sehen.

 

[snipor]

Es handelt sich um ein vor wenigen Tagen heruntergeladenes (Template zfs_vsan_omni030_esxi67u2v1.ova), OmniOS upgedatet auf 151030. Muss evtl. noch etwas umkonfiguriert werden damit das klappt?

 

[gea]

Auf ESXi sieht alles gut aus (sofern nach Einrichtung ESXi neu gestarte wurde)
OmniOS 151030 ist vom Juni

mit "pkg update" kommt man auf das aktuelle 151030 vom 1.Oktober,
omnios-build/ReleaseNotes.md at r151030 · omniosorg/omnios-build · GitHub

Man könnte auf 151031 bloody updaten. Bei NVMe tut sich gerade einiges (bis hin zu NVMe hotplug).
Im November könnte man dann auf 151032 stable gehen
http://www.napp-it.org/doc/downloads/setup_napp-it_os.pdf

Ansonsten in der Mailliste Illumos-discuss fragen.
Vielleicht hat eine User mit dieser Platte oder ein Treiber-Developper etwas dazu sagen


update
Ich habe gerade noch gesehen, dass in dem Console Screenshot ein device als retired angezeigt wird. Das macht der Solarish Fehlermanagement Daemon fmd wenn ein Device Fehler erzeugt um das Restsystem zu schützen.

Eventuell dieses Device re-aktivieren.
Siehe Menü System > Faults > Repair

 

[snipor]

Es gibt tatsächlich ein Problem mit dem PCI Device. Unter dirveresen Windows VMs läuft sie problemlos. Habe die SSD nochmal einzeln, auch in anderen Rechnern probiert. Konnte dort keine Fehler feststellen.
Hatte das Problem schonmal jemand?

 

[gea]

was passiert denn wenn man die NVMe wieder aktiviert?

 

[snipor]

Die Meldung erscheint nach einem reboot erneut.
Anbei mal der Log dazu.


Habe dazu noch folgendes gefunden:

Topicbox

Aber eigentlich sollte das doch schon behoben sein?

 

[gea]

Die Mails von der Illumos Mailliste sind 1.5 Jahre alt und nicht mehr relevant da sowohl ESXi wie auch die OmniOS Treiber zwischenzeitlich mehrfach upgedated wurden.

Eventuell hilft wirklich nur eine Mail dazu in Illumos-Discuss (mit dem Log) weiter.

 

[Luckysh0t]

Würde Windows denn überhaupt so einen Fehler erkennen und reagieren - sofern es einen gibt ?

Und würde Solaris auch so reagieren - wenn es einen defekt oder Treiberproblem gibt ?

Fals es hw Defekte gibt, die unter Solarish entdeckt und unter Windows scheinbar nicht vorhanden sind.

Wäre vlt. noch eine Testmöglichkeit

 

[snipor]

Das ist eine gute Frage, die SSD ist zwar neu aber das schließt ja einen möglichen Defekt nicht aus.
Anbei mal einen Screen unter Solaris 11.4, installiert in der gleichen VM (anstatt von omnios)

 

[Haithabu84]

Der aktuelle OmniOS 151030 LTS fehlen ZoL 0.8 Fetures wie encryption, trim, spezielle vdevs. Die sind erst in der aktuellen OmniOS 151031 bloody/nächste 151032 stable enthalten. Pools aus ZoL 0.8 und OmniOS 151030 LTS sind also inkompatibel wenn man in ZoL 0.8 alle Features aktiviert hatte. Ob OmniOS die in die LTS rückportiert muss man sehen.

Aber was passiert dann im Detail? Bedeutet das, dass man den Pool nicht impotieren kann oder man diesen importieren kann aber die ensprechenden Features nur nicht funktionieren? Datenverlust oder Korruption?

Habe mich unter anderem etwas im FreeNas-Foren belesen und da war die Rede davon, dass es ohne Probleme möglich sei z.B. einen Pool an ein ZoL zu importieren und auch send/recv zu verwenden. Da ja FreeNAS, OmniOS und ZoL alle auf Open-ZFS basieren...

Encryption ist deaktiviert.
autotrim ist ebenfalls deaktiviert, wird wenn überhaupt von mir manuell oder per cronjob ausgeführt. Aber solange die Option autotrim nicht gesetzt ist, sollte es doch kein Problem geben, oder?
"spezielle vdevs" musst du mal erklären was du damit meinst.

 

[martingo]

Je nach fehlenden Features in der älteren zfs Version kann es sein, dass der Pool nicht oder nur read-only importiert werden kann.
Bspw. konnte ich Proxmox 6.0 Pools sowohl unter Debian Buster als auch Bullseye/Testing nur Readonly importieren weil Proxmox neue zfs Versionen verwendet.

 

[Haithabu84]

Ok. Das mit dem Import leuchtet mir ein. Aber wenn ich OmniOS einfach als Backup-Storage verwende, sei mal dahin gestellt ob mit NFS/rsync/send-recv, dann sollte es doch keine Probleme geben. Oder übersehe ich da etwas?