[Sammelthread] ZFS Stammtisch

[CommanderBond]

Beim Anlegen wird automatisch die nächste freie UID > 100 benutzt.
Wenn das nicht passt, einfach ändern z.B.

usermod -u 200 guest

Hab ich mal ausprobiert. Allerdings werden danach weitere user hinter id200 erstellt und nicht wieder im 100er Bereich wie ursprünglich.
Ferner sind alle meine Windows SIDs nun verschwunden, bzw werden in Nappit nicht mehr angezeigt, selbst die windows sid von root ist weg

passwd root schafft auch keine Abhilfe, die Windows SID bleibt verschwunden, bzw wird nicht erstellt.

- - - Updated - - -

Hallo!

Habe Debian Jessie und ZFS seit 2 Jahren ohne Probleme am laufen. Nun habe ich beim raidz1 von 3x2TB auf 3x6TB gewechselt, d.h. eine HD nach der anderen per Replace ausgetauscht. Aber die Geamtkapazität hat sich am Ende nicht erhöht. Ich dachte bisher, das geht aber so. Hab ich was übersehen oder falsch gemacht?

Ciao

Gibt irgendwo ne Einstellung in den Eigenschaften autoexpand oder so, steht meist auf off.

The pool size also be expanded by using the zpool online -e command. For example:

# zpool online -e tank c1t6d0

 

[lutzlustig]

Danke, hat funktioniert mit dem autoexpand!

 

[gea]

Hab ich mal ausprobiert. Allerdings werden danach weitere user hinter id200 erstellt und nicht wieder im 100er Bereich wie ursprünglich.
Ferner sind alle meine Windows SIDs nun verschwunden, bzw werden in Nappit nicht mehr angezeigt, selbst die windows sid von root ist weg

passwd root schafft auch keine Abhilfe, die Windows SID bleibt verschwunden, bzw wird nicht erstellt.

Daran habe ich jetzt auch nicht gedacht. Dann ist es eher sinnvoll die guest uid typischerweise auf 101 zu belassen.

Die User uid sollte dennoch kein Problem darstellen. Man kann die UID nicht nur ändern sondern beim Anlegen eines neuen Users gleich mit angeben. Die Windows sid wird beim Ändern einer uid aber ungültig da sie bei lokalen Usern mit der Unix uid endet. Sobald man aber eine Datei schreibt wird die automatisch neu generiert.

Lediglich wenn man einer Windows Domäne beitritt, bleibt die Window sid beim Solarish SMB Server immer gleich (Über Server hinweg, wird als ZFS Attribut gespeichert). Die wird dann aber auch vom Domänenserver vergeben.

 

[CommanderBond]

Wenn ich eine Datei erstelle per SMB habe ich wieder eine Windows SID für root und mein erstelltes Benutzerkonto, für guest legt er aber keine an.

Habe nun guest wieder auf uid101 gestellt vorrübergehend und die von mir erstellten zusätzlichen accounts lege ich bei uid1001+ an. Vielleicht lege ich den guest wenns geht nach uid1000 und 1001 ist dann der erste user account womit es in meinen Augen übersichtlich ist.

Allerdings verwirrt mich

"UID/GID settings are optionally used for NFS compatibility otherwise keep empty"

Bei Nappit. Trage nun ne UID ein bei meinen neu erstellten Account und lasse GID leer.

Kanns da probleme geben?

 

[Trambahner]

Kann ich irgendwo bei OpenZFS die Writecache-Größe in einem Systemparameter über die 10% des RAM bzw. auch über die 4GB absolut festsetzen?
Oder ist das hart im FreeBSD-Kernel reinkompiliert?

 

[gea]

Wenn ich eine Datei erstelle per SMB habe ich wieder eine Windows SID für root und mein erstelltes Benutzerkonto, für guest legt er aber keine an.

Habe nun guest wieder auf uid101 gestellt vorrübergehend und die von mir erstellten zusätzlichen accounts lege ich bei uid1001+ an. Vielleicht lege ich den guest wenns geht nach uid1000 und 1001 ist dann der erste user account womit es in meinen Augen übersichtlich ist.

Allerdings verwirrt mich

"UID/GID settings are optionally used for NFS compatibility otherwise keep empty"

Bei Nappit. Trage nun ne UID ein bei meinen neu erstellten Account und lasse GID leer.

Kanns da probleme geben?

Meist braucht man nur eine bestimmte uid wenn man mit NFS arbeitet und die uid mit einem Client syncron halten will. Ein Solaris User hat aber immer eine uid (ist halt Unix). Wenn man manuell keine vergibt, erhält er die nächste freie. Gleiches gilt für gid (Unix Gruppe)

- - - Updated - - -

Kann ich irgendwo bei OpenZFS die Writecache-Größe in einem Systemparameter über die 10% des RAM bzw. auch über die 4GB absolut festsetzen?
Oder ist das hart im FreeBSD-Kernel reinkompiliert?

Ist auch bei Free-BSD sicher einstellbar

Parameter siehe (Illumos, sollten aber bei BSD genauso heißen)
Tuning the OpenZFS write throttle | Delphix

 

[CommanderBond]

Ich leite daraus mal ab dass grundsätzlich kein Problem entstehen sollte wenn ich manuell welche vorgebe. Nutze NFS nur im ReadOnly Modus um per Kodi auf die Shares zuzugreifen.

 

[Peli67]

Lese hier einerseits von Backup auf USB (@Besterino), andererseits das USB 3.0 von Solaris nicht unterstüzt wird.
In der Napp IT ESXI Konfig ist auch kein USB 3.0 Controller enthalten / hinzufügen möglich

Oder übersehe ich etwas ?

 

[besterino]

@Peli67:

USB Support in Oracle Solaris 11.3

Ich hatte bei meiner USB3-PCIe-Karte darauf geachtet, dass die einen NEC/Renesas Chipsatz (upd720201) hat, da der relativ früh am Start war und "was Gescheites" ist im Vergleich zu so manch anderem Gelumpe.

Der ist unter ESXi per PCIe-Passthrough an eine Solaris 11.3 VM durchgereicht und meine USB-Platte wird problemlos erkannt und kann auch verwendet werden.

Napp-it zeigt das gute Stück unter Hardware immerhin an (hab noch nicht herausgefunden, was der dazugehörige Consolen-Befehl ist).

pci bus 0x001b cardnum 0x00 function 0x00: vendor 0x1912 device 0x0014
 Renesas Technology Corp. uPD720201 USB 3.0 Host Controller

 

[Bzzz]

Connect X3 geht nur bei Linux, die Unix Optionen (Solarish und Free-BSD) mögen das eher weniger. Die sehe ich bei ZFS aber eher als empfehlenswerter/ einfacher/ schneller - tun einfach auch bei Updates, vor allem bei Solarish. Da ist ZFS daheim. Ansonst lieber eine Intel Dualport 10G oder 40G oder Chelsea nehmen, STHs Guides

Die ConnectX-3 10Gb (nicht notwendigerweise 40) läuft ohne Getüddel problemlos unter Solaris 11.3, braucht aber vorher die aktuelle Firmware.

Für die CX3 40Gb Singleport (notfalls auch kompatibel mit der CX3 10Gb Singleport) hätt ich noch eine Fullsize-Blende aus dem 3D-Drucker zu verschenken. Just sayin...

 

[gea]

Oracle Solaris 11.4 Final kommt heute
Oracle Solaris 11.4: Secure. Simple. Cloud Ready

 

[besterino]

Weißt Du zufällig auch wie der Stand bei den VMware Tools ist?

 

[gea]

Laufen noch dicht "direkt"
Bin aber gerade am Rumspielen mit folgendem Ergebnis
vmware-tools / open-vm-tools on 11.4b |Oracle Community

My findings/ "just a hack"

VMware vmtools for Solaris from ESXi 6.7
Executing on a textonly setup of S11.4 final on ESXi 6.7

Installer vmware-install-pl on 11.4 installs but fails with a message
Package "SUNWuiu8" not found when executing vmtool/bin/vmware-config-tools.pl

This can be skipped by editing vmtool/bin/vmware-config-tools.pl in line 13026
when you comment out the check for SUNWuiu8

When you then run vmtool\bin\vmware-config-tools.pl it hangs due a missing /usr/bin/isalist
I copied isalist over from a Solaris 11.3, made it executable and then vmware-config-tools.pl works

After a reboot I got the message vmools installed with a console message
Warning: Signature verification of module /kernel/drv/amd64/vmmemctl failed

same with verification of the vmxnet3s driver
vmxnet3s reports deprecated "misc/mac"

Not sure if this is critical

vmxnet3s and guest restart from ESXi works

Gea

 

[xymos]

Sehr geil! Kann man mit der freien Version ein Update fahren ? Ich meine leider nein ..

 

[Bzzz]

Ich vermute mal nicht, so übermäßig viel Neues wirds für meinen Anwendungszweck auch nicht geben...aber YMMV.

https://docs.oracle.com/cd/E37838_01/html/E61017/gjxle.html#scrolltoc

ZFS v38 xcopy with encryption
ZFS v39 reduce resilver restart
ZFS v40 Deduplication 2
ZFS v41 Asynchronous dataset destroy
ZFS v42 Support for reguid
ZFS v43 RAID-Z enhancements and cloud device support
ZFS v44 Device Removal

Robert Milkowski's blog: ZFS: Device Removal

Damit müssten doch eigentlich jetzt die Voraussetzungen geschaffen sein, um künftig ein RAIDZ mit ner Platte mehr zu versorgen, oder? Momentan scheint das nur auf der Top-Ebene zu gehen, aber jede Änderung betrifft ja doch jede Platte im Pool. RAIDZ -> Z2 -> Z3 hochzustufen wär cool, und wenn man auch noch nicht optimale Konfigurationen wie bei mir gerade ziehen könnte (Z2 mit 8 Platten -> 10 Platten)...

 

[martingo]

Sehr geil! Kann man mit der freien Version ein Update fahren ? Ich meine leider nein ..

Also, ich hatte vor zwei oder drei Tagen die aktuelle Beta neu installiert, mit pkg Update alles auf neuen Stand gebracht und heute habe ich wieder rund 600mb Updates gehabt. Vermute also, ich bin auf 11.4 final. Frage ist nur, ob man das Beta repo wieder löschen sollte usw.

- - - Updated - - -

Laufen noch dicht "direkt"
Bin aber gerade am Rumspielen mit folgendem Ergebnis
vmware-tools / open-vm-tools on 11.4b |Oracle Community

My findings/ "just a hack"

VMware vmtools for Solaris from ESXi 6.7
Executing on a textonly setup of S11.4 final on ESXi 6.7

Installer vmware-install-pl on 11.4 installs but fails with a message
Package "SUNWuiu8" not found when executing vmtool/bin/vmware-config-tools.pl

This can be skipped by editing vmtool/bin/vmware-config-tools.pl in line 13026
when you comment out the check for SUNWuiu8

When you then run vmtool\bin\vmware-config-tools.pl it hangs due a missing /usr/bin/isalist
I copied isalist over from a Solaris 11.3, made it executable and then vmware-config-tools.pl works

After a reboot I got the message vmools installed with a console message
Warning: Signature verification of module /kernel/drv/amd64/vmmemctl failed

same with verification of the vmxnet3s driver
vmxnet3s reports deprecated "misc/mac"

Not sure if this is critical

vmxnet3s and guest restart from ESXi works

Gea

Quasi diesen Content habe ich bereits am 1.3. in das Beta Forum eingestellt (aber mit symlink auf hinreichend gleiche Ausgabe statt kopierereien); Solaris 11.4b with vmware-tools -Oracle Community

Damals hatte es aber diverse Kernel Panics zur Folge. Daher würde ich empfehlen, das erst mal auf non-productive Systemen zu testen.
Damals war VMware Aussage wohl, dass sie erst für finales System Arbeit investieren wollen. Wenn die Abhängigkeiten noch nicht auflzuösen sind, dann würde wohl noch nichts angepasst und die Risiken sind entsprechend hoch.

 

[gea]

Die Solaris Final benutzt Solaris/release als repository
Das beta repository wird wohl bald abgeschaltet

 

[gea]

OS/ Appliance Backup und Disaster Recovery

Im aktuellen napp-it 18.09dev habe ich eine neue Funktion: System > Recovery
mit angepassten Replicationsjobs für ein einfaches Recovery:


Wiederherstellen des Systems aus einem BE (bootenvironment/ bootfähiger Systemsnap):

1. backup aktuelles BE: Anlegen einer Replikation (18.09dev) mit aktuellem BE als Quelle

2. reinstall OS und napp-it

3. restore BE: Anlegen einer Replikation (18.09dev) mit gesicherten BE als Quelle und rpool/ROOT als Ziel

4. activieren the des wiederhersgestellten BE und reboot


Ab napp-it 18.09dev geht das mit den Replikationsjobs,
alternativ manuelle Replikation mit zfs send


@martingo
Hatte ich übersehen. War dann halt doppelte Arbeit

 

[martingo]

Ich stelle mich scheinbar etwas doof beim Wechsel des Repositories an. Hast Du einen Tip, wie man das richtig macht?

root@bis-nappit-a:~# pkg publisher
PUBLISHER                   TYPE     STATUS P LOCATION
solaris                     origin   online F https://pkg.oracle.com/solaris/beta/
root@bis-nappit-a:~#
root@bis-nappit-a:~# pkg set-publisher -G '*' -g https://pkg.oracle.com/solaris/release/ solaris
The origin URIs for 'solaris' do not appear to point to a valid pkg repository.
Please verify the repository's location and the client's network configuration.
Additional details:

Unable to contact valid package repository: https://pkg.oracle.com/solaris/release
Encountered the following error(s):
Transport errors encountered when trying to contact repository.
Reported the following errors:
Framework error: code: E_SSL_CONNECT_ERROR (35) reason: error:14094410:SSL routines:ssl3_read_bytes:sslv3 alert handshake failure
URL: 'https://pkg.oracle.com/solaris/release'

 

[Wesumat]

Hi,

also bei 'nem frisch aufgesetztem 11.4er zeigt das repository nur auf eine http Quelle.
Eventuell liegt da der Hund begraben, https möglicherweise nur für sru Quellen?

Oracle Corporation      SunOS 5.11      11.4    Aug 2018
root@storage01:~# pkg publisher
PUBLISHER                   TYPE     STATUS P LOCATION
solaris                     origin   online F http://pkg.oracle.com/solaris/release/
root@storage01:~#

 

[martingo]

Das war's, ich danke Dir.
Ja, bei HTTPS wird glaube ich ein Client Zertifikat benötigt. Musste ja auch für das Beta Repo installiert werden.

So geht's:

pkg set-publisher -G '*' -g http://pkg.oracle.com/solaris/release/ solaris

 

[Trambahner]

Hat jemand schon ESXI-Passthrough von NVMe-SSDs in eine 11.4-VM getestet? Z.B. auch der 900p. Bei 11.3 ging das bei mir nicht und hat mich abgehalten, Solaris zu nutzen. Obwohl ich das durchaus gerne mal mit ZFS testen würde.
Im Gegensatz zu BSD könnte ich da ja auch 12c drauf installieren. Darf ich ja durchaus per OTN-Lizenz nutzen.

 

[gea]

Die Optane macht auch bei FreNAS und OmniOS Probleme bei pass-through.
Getestet habe ich es allerdings nocht nicht, mal sehen

 

[gea]

Die Dokumentation zu Solaris 11.4 ist jetzt auch final
Oracle Solaris 11.4 Information Library

 

[gea]

Hat jemand schon ESXI-Passthrough von NVMe-SSDs in eine 11.4-VM getestet? Z.B. auch der 900p. Bei 11.3 ging das bei mir nicht und hat mich abgehalten, Solaris zu nutzen. Obwohl ich das durchaus gerne mal mit ZFS testen würde.
Im Gegensatz zu BSD könnte ich da ja auch 12c drauf installieren. Darf ich ja durchaus per OTN-Lizenz nutzen.

Ich habs mal angetestet.
Ich konnte die Optane 900P durchreichen (ESXi 6.7, Solaris 11.4 final), einen Pool darauf anlegen und den mit Daten füllen

 

[CommanderBond]

Gibt es eine einfache Möglichkeit eine gelöschte Datei wiederzufinden die sich aber noch im vorherigen Snapshot befindet? Also angenommen man hat vor 5 Minuten was gelöscht weiß aber nicht mehr in welchem Ordner oder wie die Datei hieß?

 

[Trambahner]

Danke gea für den Test. Hm, dann wird echtes Solaris nun interessant für eine AIO-Maschine mit NVME-Devices.

 

[martingo]

Gibt es eine einfache Möglichkeit eine gelöschte Datei wiederzufinden die sich aber noch im vorherigen Snapshot befindet? Also angenommen man hat vor 5 Minuten was gelöscht weiß aber nicht mehr in welchem Ordner oder wie die Datei hieß?

Du könntest ein tree über aktuelles FS und Snapshot laufen lassen und das Ergebnis mittels diff vergleichen.

 

[Happy Hepo]

Ich habe ein paar Fragen zu NFS bei ZFS auf dem aktuellen OmniOS, vorab mein Setup:
EXSi/OmniOS/Napp-it AiO mit SATA und NVMe Controller durchgereicht, 2 vNICs, einer an einem rein ESXi-internen vSwitch (SAN), der andere an einem vSwitch an dem auch die 10G-Karte hängt.
Damit es erstmal läuft habe ich die NFS-Share per NFS3 eingebunden, da ESXi einen Timeout geworfen hat, wenn ich versucht habe, per NFS4 und mit einem zuvor in Napp-it extra angelegten User zuzugreifen.

Kann ich irgendwo festlegen, dass auf NFS Shares nur über einen bestimmten NIC (den am SAN) zugegriffen werden kann? Wenn ja, wo kann ich das einstellen und kann ich das Share/Pool-basiert oder nur global oder sowohl als auch einstellen?
Eine weitere Möglichkeit wäre doch die Einschränkung auf IPs, aber wie "sicher" wäre das? Derzeitig haben alle NICs am SAN-Switch eine IP im Bereich 10.X.Y.0/24, auf diesen Bereich würde ich den Zugriff beschränken, alles andere läuft fürs erste über meine Fritzbox mit IPs im Bereich 10.X.Z.0/24, die soll aber noch einem dedizierten Router weichen.
Welche Möglichkeiten habe ich, mit NFS4 nur bestimmte User zugreifen zu lassen? Ich denke mal CLI und die evtl. ACL-Extension, aber würde das auch funktionieren, wenn ich die Share zusätzlich per SMB freigebe und dann mit einem Windows-Rechner berechtige?

Speziell zu der ersten Frage habe ich nichts verwertbares gefunden, und zum Thema IP-Beschränkungen steht überall dass das nicht wirklich sicher sei und man NFS3 am besten nur in wirklich sicheren Netzen einsetzen soll, daher meine Idee der NIC-Beschränkung.

 

[gea]

ESXi und NFS 4
ESXi möchte aktuell NFS 4.1. Das wird von OmniOS noch nicht unterstützt (Lediglich Solaris hat 4.1)

NFS und SMB arbeiten immer auf allen nics.
Man kann den Traffic allenfalls mit einer Firewall begrenzen (Regeln kann man auf nics anwenden)

Wenn Security ein Thema ist, dann würde ich immer ESXi und den NFS Server incl. ESXi und Napp-it Management in ein sicheres Netz z.B. ein vlan legen. Werden zusätzliche "öffentliche" Filer und Backup Dienste benötigt, dann eine zweite OmniOS Instanz aufsetzen und der zwei Netzwerkkarten geben, eine ins LAN und eine ins geschützte Netz. Dann kann die sichere OmniOS Instanz zwar ihr Backup auf den öffentlichen Server machen, aus dem öffentlichen Netz hat man aber keinen Zugriff auf das ESXi oder napp-it Management und auch keinen Zugriff auf dessen Shares.