[Sammelthread] ZFS Stammtisch

ZFS vdev Removal

Das neue OmniOS ist die erste Open-ZFS Plattform die das Entfernen eines Vdev (Pool Shrink) erlaubt.
Momentan aber noch mit den Einschränkungen

- Ein Pool bei dem man ein vdev z.B. basic entfernen möchte darf keine Raid-Z [1-3] enthalten
- zu einem Pool bei dem man ein vdev entfernt hat kann man kein Raid Z[1-3] vdev hinzufügen
- ein Pool bei dem man ein vdev entfernt hat muss anschließen eine Remapping Tabelle im Ram halten.
Das kostet neben etwas RAM auch etwas Performance

Ein Teil dieser Einschränkungen wird bei Delphix sicher noch behoben da es die Nutzbarkeit noch sehr beschränkt.


Das neue Oracle Solaris 11.4 kommt auch mit vdev removal aber wie es scheint ohne diese Einschränkungen
vdev removal, poolwide checkpoints/snaps or imp... |Oracle Community
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Was macht man wenn man sein Rechtemanagmend total vergeigt hat und nun keinen smb Zugriff mehr auf nichts hat und wohl nicht mal mehr der smb service zum laufen kriegt ? Außer den Kopf gegen die Wand hauen..und ihn Zukunft darauf achtet, dass man nicht in der live Maschine ist, sondern in der Testvm...-.-
 
gea schrieb:
Alle Rechte rekursiv auf root=only zurücksetzen und dann neu setzen.
Dank Rechtevererbung wie bei ntfs geht das Ganze ja recht schnell.
Zum Vergrößern anklicken....

Hallo Gea,
ich bräuchte bitte eine kleine Unterstützung bei der Verwendung der Extension "ACL-Settings".

Ich habe wie vorgeschlagen mittels "reset ACL's" alle Rechte rekursiv auf root=only zurück gesetzt.
Nun möchte ich mittels "++add local group" zusätzlich eine Gruppe verrechten.
Die Verrechtung klappt auch soweit, nur leider nicht rekursiv. Welches Häkchen habe ich vergessen zu setzen?
Es gibt nur "inherit only" und no_propagate", beide sind nicht gesetzt.

Gruß und schönes Wochenende
 
Hi millenniumpilot,

das müsste nach meinem Wissen ebenfalls mit "reset ACL's" und der Auswahl "current folder" und "rekursiv" funktionieren.

Siehe auch Erläuterung in der GUI "Current-folder: reset ACL to current folder settings (used for the recursive option)".

Cheers
 
Luckysh0t schrieb:
Was macht man wenn man sein Rechtemanagmend total vergeigt hat und nun keinen smb Zugriff mehr auf nichts hat und wohl nicht mal mehr der smb service zum laufen kriegt ? Außer den Kopf gegen die Wand hauen..und ihn Zukunft darauf achtet, dass man nicht in der live Maschine ist, sondern in der Testvm...-.-
Zum Vergrößern anklicken....

Wenn man sich Solarish zerschossen hat

1. Früheren Systemstand/ Bootenvironment beim booten anwählen.
Wenn der ok ist, den als default setzen

2. reparieren

3. System neu installieren, Pool importieren.
Wenn Solaris nur Storage macht, muss man allenfalls User/Permissions anpassen. So schnell kann man garnichts reparieren.


Wenn man Dateiechte zerschossen hat

1. Alle Rechte rekursiv auf root only setzen
2. Benötigte Rechte neu setzen

- - - Updated - - -

you schrieb:
Hi millenniumpilot,

das müsste nach meinem Wissen ebenfalls mit "reset ACL's" und der Auswahl "current folder" und "rekursiv" funktionieren.

Siehe auch Erläuterung in der GUI "Current-folder: reset ACL to current folder settings (used for the recursive option)".

Cheers
Zum Vergrößern anklicken....

genau so gehts.
Wenn man Rechte setzt und inherit to files and folders aktiviert, gilt das nur für neue Dateien/Ordner. Rekursives Ändern geht über reset ACL.
 
Hallo Gea,

verstanden habe ich es nicht, wie man über dem Napp-it Menüpunkt "Reset ACL" Gruppen verrechten kann.
Habe es dann halt doch über die Kommandozeile gemacht.

Danke trotzdem für die Antworten.
 
Mittels "Reset ACL" überträgst Du mit den Einstellungen "current folder" und "recursive" alle aktuell gegebenen Berechtigungen (egal ob für root oder Gruppe oder ...) rekursiv an alle Dateien und Verzeichnisse im "current folder" und darunter (=recursive).
 
Zuletzt bearbeitet:
Oracle Solaris 11.4 Beta Refresh ist verfügbar
Solaris 11.4 Beta Refresh Now Available |Oracle Community

update
Die neue Beta enthält ZFS Pool v.44 mit vdev remove (im Gegensatz zu Open-ZFS alle vdev Typen inkl Raid-Z).
Ich habe "Pool > Verkleinern" in die aktuelle napp-it dev 18.06 von heute integriert (OmniOS und Solaris)
 
Zuletzt bearbeitet:
Ich bin recht neu, was zfs anbelangt und wollte mal um etwas Anfängerhilfe bitten.

Ich habe drei 6 TB Platten und eine 5 TB platte.

Mein Plan am Anfang war, ein Spare aus einer 6 TB Platte mit der 5 TB Platte zu machen und dann diese per Mirror aus einem spare der anderen beiden 6 TB Platten zusammenzufügen. Alleine hierbei frage ich mich schon ob ich das korrekt ausgedrückt habe. Ich versuchs mal grafisch:

5TB-spare-6TB
mirrored
6TB-spare-6TB

Also quasi ein Raid10 ?!? :d

Dann habe ich auch überlegt ob das so sinnvoll ist oder ob ich nicht doch noch in eine 6 TB Platte investiere und dann eben zwei Spares aus jeweils zwei 6 TB Platten in einen Mirror schiebe.

Ist das so sinnvoll? Dachte an Mirror, weil ich doch etwas mehr Performance haben möchte als ich vermute aus einem raidz zu bekommen.

Wie würde ich das am besten anstellen?


Das Sahnehäubchen wären dann noch 3 SSD a 120 GB, von denen ich eine SSD als ZIL und 2 SSD als Mirror als L2ARC verwenden wollte. Da weiß ich auch nicht wie ich das richtig mache und vor allem nicht ob mir das mehr Probleme macht, wenn ich so einen "großen" ZIL/L2ARC dazu packe. Es sind ConsumerSSD, keine intel optane oder vergleichbares...

Das System selber hat 16GB ECC Ram auf einem MicroServer, weswegen ich den RAM leider auch nicht erhöhen kann und an die SSD gedacht habe.
 
Zuletzt bearbeitet:
Kurze Frage: Gibt es eine Möglichkeit, eine bestimmte Version von Napp-it zu installieren, also nicht direkt mit der aktuellsten zu starten?
 
Ich weiß jetzt nicht was du mir Spare bezeichnest. Ich geh mal davon aus dass das einfach 4 Platten sind die zur Verfügung stehen. Daraus kann man ein Raid-10 mit 6+5 TB=11TB Kapazität bauen. Hätte man 4 x 6TB gäbe es 12 TB Nutz-Kapazität.

Ein Raid-Z aus den 4 Platten hätte 3 x 5 TB=15 TB Kapazität, wäre sequentiell ähnlich schnell hätte aber viel weniger iops. Wenn das ein VM Speicher werden soll, ist das Raid-10 schneller und auch sicherer.

Ob man L2Arc als erweiterten Lesecache oder ein Slog als Sicherung des RAM-Schreibcaches braucht hängt von der Gesamtkonstellation ab. Wenn man ausreichend RAM für ZFS hat, bringt ein L2Arc wenig bis nichts. Ein Slog macht auch nur Sinn wenn Schreiben powerloss-sicher sein soll. Ansonsten kann man gleich Sync Write deaktivieren und den Pool damit viel schneller nachen.

Unter Vernachlässigung des Sync Writes Aspekts würde ich vermutlich ein Raid-Z aus den drei SSDs bauen und die als VM Datastore eventuell mit Sync=enabled einsetzen obwohl die Powerloss Sicherheit nicht perfekt ist. Den Plattenpool dann als Filer und für Backup.

- - - Updated - - -

besterino schrieb:
Kurze Frage: Gibt es eine Möglichkeit, eine bestimmte Version von Napp-it zu installieren, also nicht direkt mit der aktuellsten zu starten?
Zum Vergrößern anklicken....

Der wget Installer installiert immer die aktuelle Free. Danach kann man per Download aus den angebotenen Versionen Up/Downgraden oder falls man bereits eine Version installiert hatte, diese aktivieren. Man muss aber aufpassen da ältere napp-it Versionen teilweise mit neueren Systemen noch nicht laufen.
 
Zuletzt bearbeitet:
Mein Problem mit meiner aktuellen Solaris-Installation ist, dass ich den Fehler um den nicht unterstützten 9305-24i nicht wegbekomme:

Code: 
 mein.hostname.net console login: Apr 19 00:52:59 mein.hostname.net  genunix: NOTICE: Not retired /pci@0,0/pci15ad, 7a016/pci1000,31a0@0

Das ist das Ergebnis einiger Reparatur-Versuche mit fmadm repair / clear & Co. - inzwischen steckt die Karte halt gar nicht mehr drin, ich bekomme das aber irgendwie auch nicht aus dem faulty raus:

Code: 
--------------- ------------------------------------  -------------- ---------
TIME            EVENT-ID                              MSG-ID         SEVERITY
--------------- ------------------------------------  -------------- ---------
Oct 07 2017     9984a538-1d0c-4bc8-8ac5-caf52c26a3a2  PCIEX-8000-0A  Critical

Problem Status    : repaired
Diag Engine       : eft / 1.16
System
    Manufacturer  : unknown
    Name          : unknown
    Part_Number   : unknown
    Serial_Number : unknown

System Component
    Manufacturer  : VMware, Inc.
    Name          : VMware Virtual Platform
    Part_Number   : unknown
    Serial_Number : VMware-56 4d 5b 32 6b 93 7e fc-8d b6 cb 49 66 3a ef 8c
    Host_ID       : 000b5479

----------------------------------------
Suspect 1 of 1 :
   Problem class : fault.io.pciex.device-interr
   Certainty   : 100%
   Affects     : dev:////pci@0,0/pci15ad,7a0@16/pci1000,31a0@0
   Status      : out of service, but associated components no longer faulty

   FRU
     Status           : repaired
     Location         : "/SYS/MB"
     Manufacturer     : unknown
     Name             : unknown
     Part_Number      : unknown
     Revision         : unknown
     Serial_Number    : unknown
     Chassis
        Manufacturer  : No Enclosure
        Name          : VMware Virtual Platform
        Part_Number   : No Asset Tag
        Serial_Number : VMware-56 4d 5b 32 6b 93 7e fc-8d b6 cb 49 66 3a ef 8c

Description : A problem was detected for a PCIEX device.

Response    : One or more device instances may be disabled

Impact      : Loss of services provided by the device instances associated with
              this fault

Action      : Use 'fmadm faulty' to provide a more detailed view of this event.
              Please refer to the associated reference document at
              http://support.oracle.com/msg/PCIEX-8000-0A for the latest
              service procedures and policies regarding this diagnosis.
 
gea schrieb:
Die Meldung bzw den Fehlerzustand sollte man löschen können mit (benötigt Angabe des device):
fmadm repaired dev:////pci@0,0/pci15ad,7a0@16/pci1000,31a0@0
Zum Vergrößern anklicken....

Hmm... klappt nicht. Ich würde gerne irgendwie sämtliche faults zur Not "hart" zurücksetzen. Kann ich das durch Löschen irgendwelcher Logfiles (errlog, infolog_hival, infolog, fltlog?) erreichen?
 
besterino schrieb:
Hmm... klappt nicht. Ich würde gerne irgendwie sämtliche faults zur Not "hart" zurücksetzen. Kann ich das durch Löschen irgendwelcher Logfiles (errlog, infolog_hival, infolog, fltlog?) erreichen?
Zum Vergrößern anklicken....

Habe ich noch nie probiert.

- - - Updated - - -

Fischje schrieb:
@gea:

vielen dank für deine Ausführungen. Ich hab einfach ma ldie Begriffe Spare und Stripe verwechselt.

Das ist, was ich aus meinen Platten machen wollte: HowTo : Create Striped Mirror Vdev ZPool » ZFS Build
Zum Vergrößern anklicken....


ZFS macht folgendes

5TB-spare-6TB
mirrored
6TB-spare-6TB

Also quasi ein Raid10 ?!?
Zum Vergrößern anklicken....


ZFS macht das Raid-10 anders

5TB-mirror-6TB
stripe (Raid-O)
6TB-mirror-6TB

Es werden also mehrere Mirrors gebildet und die dann in der Art eines Raid-0 kombiniert.
Das gilt bei ZFS generell für jeden vdev Typ. Wenn man ein raid aus mehreren basic vdev bildet, so erhält man ein reines Raid-0

ein zpool status würde dann folgendes liefern

Code: 
 pool: rair-10
 state: ONLINE
  scan: none requested
config:

	NAME                       STATE     READ WRITE CKSUM     CAP            Product
	rair-10                    ONLINE       0     0     0
	  mirror-0                 ONLINE       0     0     0
	    c0t5000CCA369C3DE28d0  ONLINE       0     0     0     2 TB           Hitachi HDS5C302
	    c0t5000CCA369C6B275d0  ONLINE       0     0     0     2 TB           Hitachi HDS5C302
	  mirror-1                 ONLINE       0     0     0
	    c0t50014EE25906BCB2d0  ONLINE       0     0     0     2 TB           WDC WD2002FYPS-0
	    c0t50014EE2ADCD3A31d0  ONLINE       0     0     0     2 TB           WDC WD2002FYPS-0
 
Zuletzt bearbeitet:
Ich wäre eher skeptisch.

Attraktiver wäre sowieso eher was mit NVMe statt Sata, z.B. Supermicro AOC-SLG3-2M2 (2 x M.2 NVMe aud 8x). Braucht halt ein neues Mainboard das z.B. einen 8X Slot auf 2 x 4x aufteilen kann.

Wenn die neuen Intel Optane M.2 da sind (64/128 GB, X2) hoffe ich auf einen 4fach Adapter (8x oder 16x) damit man daraus ein ultraschnelles ZFS Raid-Z bauen kann.
 
Danke für deine Einschätzung.Ich wollte halt "das Beste" aus meiner bisherigen HW holen, weil ich ungern neu kaufe wenn ich funktionierende und für meinen Zweck ausreichende HW habe. Und die Karte/SSD sind ja auch übernahme fähig, sollte doch mal neue HW anfallen.

NVMe sind definitv eine schicke Sache, aber ich bräuchte nur deswegen neue HW, zumal der Geschwindigkeitsvorteil für mich so gut wie nie relevant sein dürfte - außer beim Start der VMs, und das mach ich nur einmal.


Jetzt am Ende fällt mir ein, dass ich noch einen h200 oder h310 mal geschossen habe - weil ich ursprünglich einen AiO bauen wollte(Wobei ich jetzt mit Virtual Box in Solaris keinen wirklichen nutzen mehr für ESXi habe - mal vom Basteltrieb abgesehen). Mit der Karte wollte ich halt Kabelsalat vermeiden, den 4 SSDs zweifelsohne bedeuten, trotz mini Fan Out Kabel.
 
4fach M.2 gibts auch mit PLX-Chip: Amfeltec. Sowohl für 8 als auch 16 Lanes. Natürlich nicht ganz billig.
Da kannste notfalls dann auch 4x280GB u.2 900P dranpappen.
 
Zuletzt bearbeitet:
Ich habe nun ein Gehäuse mit 8 Hotswap-Einschüben in Betrieb genommen. Für meine Daten kommen max. 6 Schächte zum Einsatz. Die beiden Anderen bleiben frei. Jetzt habe ich überlegt, meine externen Backups nicht mehr über den Umweg Netzwerk -> MacBook -> USB-3.0-Festplatten, sondern direkt über die napp-IT Instanz zu machen. Also, einfach Backup-Platte rann an den Controller und Backups meiner Daten manuell anstoßen.

1) Wie mache ich diese Backups am besten? Und, geht das auch inkrementell? Ich brauche keine Snapshots, einfach eine Kopie des Status Quo der Files ausgesuchter Freigaben.
2) Kann ich eine Backup-Platte, auf welcher ich einen Pool erstellt habe, einfach einschieben und, nach Backup, rausziehen? Gibt es sowas wie Autoerkennung der Pools? Oder sollte ich besser über Export/Import gehen?

Merci
 
Zuletzt bearbeitet:
1.
Man braucht etwas was den Backup Pool und den Quellpool (oder einzelne Dateisysteme/Ordner) syncronisiert.

Also entweder ZFS Replikation (ist am schnellsten und nimmt offene Dateien mit, braucht aber auf beiden Seiten den letzten Snap) oder man nimmt Rsync. Letzteres kann man als "other job" definieren und starten.

2. Aktuelle SAS Controller sind Hotplugfähig. Bei Onboard Sata kommt es darauf an.
Den Pool sollte man aber per export abmelden bevor man die Platten zieht und nachdem man die Platten eingeschoben hat wieder importieren um die Fehlermeldungen zu vermeiden wenn man einfach einen ZFS Pool wegnimmt. Wenn einen die Fehlermeldungen aber nicht stören, so wäre der Pool wieder online wenn man die Platten einsteckt und vorher nicht exportiert hat.
 
Kann der replication Job in nappit auch mit encryptet Datasets umgehen ?
Da ändert sich ja der Befehl etwas.
 
Zuletzt bearbeitet:
Luckysh0t schrieb:
Kann der replication Job in nappit auch mit encryptet Datasets umgehen ?
Da ändert sich ja der Befehl etwas.
Zum Vergrößern anklicken....

Momentan muss das Quellsystem in Solaris zum Replikationszeitpunkt entschlüsselt sein und die Übertragung geht unverschlüsselt. Vielleicht finde ich etwas Zeit dazu, das in den Job Settings editierbar zu machen.

Ich werde mich dem Thema verschlüsselte Übertragung spätestens widmen sobald OmniOS auch ZFS Verschlüssellung bekommt. Ohnehin bin ich momentan mit Solaris 11.4 und OmniOS 151026 gut ausgelastet.

ZFS Verschlüssellung in Illumos bzw allgemein in Open-ZFS wird hoffentlich im Laufe des Jahres soweit sein und wird wegen der Dsgvu auch dringend benötigt. 8727 Native data and metadata encryption for zfs by lundman · Pull Request #489 · openzfs/openzfs · GitHub


Update
Momentan siehts in Solaris so aus
Ein verschlüsseltes Dateisystem kann man in ein verschlüsseltes Dateisystem replizieren. Dazu muss der zfs send Befehl nicht modifiziert werden, da der eigentliche Datenstream unverschlüsselt ist. Eine Verschlüsellung des Datenstreams selber ist momentan nicht in Solaris enthalten und könnte man allenfalls durch eine Umleitung des zfs send Streams über eine Verschlüssellungsanwendung erreichen die auf Empfängerseite wieder entschlüsselt..

https://docs.oracle.com/cd/E37838_01/html/E61017/gkkih.html#SVZFSgkkof

Eine verschlüsselte Übertragung im raw Modus wäre denkbar, ich habe dazu aber noch keine Informationen. momentan unterstützt der raw Modus nur Compress.

https://docs.oracle.com/cd/E37838_01/html/E60974/dmgmt.html#SOLWNgqqlh

Wie sich das entwickelt oder später in Open-ZFS darstellt, muss man abwarten, geht da aber wohl auch noch nicht, Filesystem created via zfs send --raw between encrypted roots fails to mount · Issue #6624 · zfsonlinux/zfs · GitHub
 
Zuletzt bearbeitet:
Sorry, wenn ein wenig Off-topic, aber da hier auch grundsätzlich über Solaris/OmniOS diskutiert wird, frage ich trotzdem hier um mache keinen neuen Thread auf:
Hat jemand Syncthing unter OmniOS laufen und ggf. einen Tipp, wie ich das installiere?
 
Zum Programm selber kann ich nichts sagen.

Es gibt aber auf deren Homepage ein Packet für 64bit Solaris zusammen mit einem SMF Ordner darin
um Syncthing als Dienst in Solaris zu installieren. Es gibt eine gute Chance dass das mit OmniOS auch funktioniert.

Code: 
This directory contains an example for running Syncthing under SMF on
Solaris.

 1. Install the `syncthing` binary in a directory called `bin` in your
    home directory.

 2. Edit the `syncthing.xml` file in the two places that refer to your
    username and home directory; that is, replace `jb` with your actual
    username and `/home/jb` with your actual home directory location.

 3. Load the service manifest, as a user with the appropriate rights.
    `svccfg import syncthing.xml`.
 
Hallo Napp-It Profis,

Ich hab mal eine Frage zu ESXI Hot-snaps:

Wie wird die Zuordnung des autosnap Jobs zum entsprechenden ESXi Server gemacht?
Ich kann ja mehrere ESXi Server angeben, dannn die VM-Liste importieren und editieren.

Der notwendige Autosnap Job wird ja für einen Pool oder ein ZFS-FS konfiguriert und es gibt lediglich eine relevante Option "Run a pre/post script like ESXi snap sync", welche ich anklicken kann. Ist dies die Option, die in der Hilfe mit enable the "do ESXi snaps prior the ZFS snap" function as a job parameter gemeint ist? Oder gibt es hier noch einen anderen Parameter? Das "like ESXi snap sync" klingt danach, dass man das script noch irgendwo explizit konfigurieren/erstellen muss. Oder enthält das pre/post Script automatisch die ESXi relevanten Befehle?

Wenn ich nun zwei ESXi VM Datastore ZFS FS habe und dementsprechend auch zwei Autosnap Jobs konfiguriere, werden dann bei der Ausführung eines jeden Autosnap Jobs ALLE ESXi snaps erstellt, d.h. auch die, die eigentlich auf dem zweiten ESXI VM Datastore ZFS FS liegen?

Mir fehlt irgendwie gedanklich die Verbindung zwischen dem Autosnap Job und dem relevanten ESXi Server mit seinen VMs, die gesnapshotted werden sollen. Woher weiß napp-it wenn ein Autosnap Job gestartet wird, auf welchem ESXi Server er die ESXi snaps aktivieren muss? Denke ich hier zu kompliziert oder übersehe ich etwas?

EDIT:

Habe meinen Fehler gefunden:

Ich muss im Menü "Edit ESXi VM list" auf submit klicken, auch wenn ich die Liste eigentlich gar nicht editieren will, weil ich alle VMs im Snap haben möchte. Denn nur wenn ich submit klicke, komme ich in den Dialog, in dem die Scripts generiert werden, die man dann dem entsprechenden Autosnap Job anpassen kann.



Weitere Frage: Funktioniert diese ESXi Snaps auch mit VMs, die per Passthrough spezielle HW durchgereicht bekommen? XSIBackup, welches ich derzeit als Backup Lösung für meine VMs verwende, kann z.B. keine Live-Backup dieser Passthrough VMs machen, sondern muss diese zunächst herunterfahren und startet sie nach erfolgreichem Backup wieder.

Danke im Voraus für jegliche Aufklärung ...
 
Zuletzt bearbeitet:
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
690
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
409
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
429
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
8K
gea
G
G
[Übersicht] Windows NAS mit Web-Gui, SMB direkt, (Tiered) Storage Spaces, ReFS (und ZFS)
2
Antworten
48
Aufrufe
2K
gea
G
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh