[Sammelthread] ZFS Stammtisch

[CommanderBond]

glaub ich werde es dann so lassen. Ist nur privat. Verstehe ich das richtig wenn owner vollzugriff hat, ich die Datei aber verschoben habe, dass der "Owner" genau wissen müsste wo die Datei liegt, also den genauen Pfad wissen müsste, um sie zu löschen oder ändern?
Weil auflisten der Ordnerinhalte geht ja nicht, wenn die Rechte fehlen.

 

[gea]

Weil auflisten der Ordnerinhalte geht ja nicht, wenn die Rechte fehlen.

Root and Owner haben immer Vollzugiff - macht ja irgendwo auch Sinn -

 

[CommanderBond]

also sieht der Owner auch alle Dateien, nur weil er Owner von einer Datei ist in einem Ordner?

 

[gea]

Nur wenn der owner@ in der ACL Liste eingetragen ist.
Der Eigentümer kann aber jederzeit die ACL ändern, man kann ihn nicht aussperren.

Daher gibt es auch die ZFS Eigenschaft aclinherit=restricted oder discard mit der man verhindern kann,
dass ein neues Objekt Eigentum des Erzeugers wird oder dass ACL vererbt werden.

https://docs.oracle.com/cd/E19120-01/open.solaris/817-2271/gbaaz/index.html

 

[CommanderBond]

Versteh ich immer noch nicht. Sieht der owner nun sämtliche Dateien oder nicht? Kann der owner einfach Acls ändern von allen anderen Dateien und Ordnern auch wenn er kein owner ist und nicht in der acl steht?

Wie kann der owner auf die Datei zugreifen wenn er kein Zugriff auf den Ordner hat in dem sich die Datei befindet?

Daher nochmal die Frage benötigt der owner den kompletten Pfad wenn er nur owner einer einzelnen Datei ist? Sämtliche Ordnerinhalte kann er doch gar nicht sehen und sich dementsprechend auch nicht durchklicken zur Datei.

 

[gea]

Der Eigentümer kann natürlich nur ACL von den Dateien/ Ordner ändern von denen er der Eigentümer ist
und auf die er Zugriff hat.

Einfach mal folgendes machen
- einen Ordner anlegen (mit aclinherit=passthrough)
Man kann in den Ordner und wird in den Ordner-ACL auch namentlich aufgelistet.

Dann alle ACL entfernen, eventuell root drinlassen (wenn man alle ACL entfernt, geht es auf die default ACL)
-> Man kommt nicht in den Ordner

und wenn man unter Windows die Sicherheitseinstellungen aufruft, ist man da weder als User noch als Owner aufgelistet, dennoch kann man sich selber wieder bei den Ordner ACL eintragen und hat dann Zugriff auf den Ordner. Mit den darin enthaltenen Dateien kann man genauso verfahren.

 

[CommanderBond]

Aber dennoch bleibt es doch dabei wenn ich nur owner einer einzelnen Datei bin nicht aber owner des Ordners und mir auch alle rechte für diesen Ordner entzogen werden, benötige ich doch zum Zugriff auf meine Datei den vollständigen Pfad. Oder verstehe ich das falsch? Weil Listfoldercontent ist ja ebenfalls gesperrt dann

 

[gea]

Wenn ich keinen Zugriff auf den Ordner habe, dann komme ich auch nicht an darin enthaltene Dateien.
Egal ob man Rechte auf den Dateien hat.

 

[CommanderBond]

Okay das wusste ich nicht. Ich dachte mit dem direkten Pfad würde es dennoch gehen dann

 

[besterino]

Mal ne doofe Frage: in meinem Napp-it Monitor zeigt er mir häufiger bei "Disk" eine gelbe oder auch orange Lampe. Bei näherer Betrachtung zeigt sich dann, dass offenbar der USB-Stick mit dem OS die Ursache ist - auf dem Ding sollte aber eigentlich möglichst wenig Bewegung sein.

Swapped Solaris/ZFS standardmäßig auf der Boot-/Installations-Partition (also dem Stick) oder woher kommt die IO-Last? Und noch wichtiger: wie kann ich das verhindern?

 

[KurzGedacht]

Die RAM Anforderungen von ZFS werden gerne mal übertrieben. Wenn da immer nur 1-2 gleichzeitig zugreifen reichen 4GB völlig. Ich kann dir ZFS nur empfehlen. Hat eigentlich nur Vorteile für ein Nas.

Gesendet mit der Hardwareluxx App

 

[supemole]

Hallo gea,

ich habe eine Besonderheit bei der Installation von napp-it beobachtet. Normalerweise habe ich nach der Installation folgende Boot-environments:

ominos -> NR
omniosvar
pre_napp-it-0.9f6
omnios-backup-1

Gestern hatte ich nach der Installation aber zwei weitere Boot-environments und activate->default stand auf omnios-1, was falsch war.

omnios
omniosvar
pre_napp-it-0.9f6
omnios-backup-1
omnios-1 -> R
omnios-backup-2

In den logs kann ich aber nichts auffälliges erkennen. Was kann da passiert sein? Wenn ich das Boot-environment ominos boote, scheint alles ok zu sein.

 

[gea]

Mal ne doofe Frage: in meinem Napp-it Monitor zeigt er mir häufiger bei "Disk" eine gelbe oder auch orange Lampe. Bei näherer Betrachtung zeigt sich dann, dass offenbar der USB-Stick mit dem OS die Ursache ist - auf dem Ding sollte aber eigentlich möglichst wenig Bewegung sein.

Swapped Solaris/ZFS standardmäßig auf der Boot-/Installations-Partition (also dem Stick) oder woher kommt die IO-Last? Und noch wichtiger: wie kann ich das verhindern?

OmniOS läuft ja nicht aus dem RAM wie z.B. SmartOS.

Hauptursachen für Zugriffe können sein
- atime ist on (schreibt letzten Zugriff) -> für rpool auf off stellen
- logs (vor allem wenn irgend etwas alerts oder warnings erzeugt)

testhalber
- napp-it accelerate ausschalten (Top-Menü)
- napp-it monitor ausschalten (Top-Menü)
- napp-it webserver ausschalten (console: /etc/init.d/napp-it stop bzw start)

und iostat auf der Console kontrollieren - vor allem ob die Zugriffe lesend sind oder schreibend

- - - Updated - - -

Hallo gea,

ich habe eine Besonderheit bei der Installation von napp-it beobachtet. Normalerweise habe ich nach der Installation folgende Boot-environments:

ominos -> NR
omniosvar
pre_napp-it-0.9f6
omnios-backup-1

Gestern hatte ich nach der Installation aber zwei weitere Boot-environments und activate->default stand auf omnios-1, was falsch war.

omnios
omniosvar
pre_napp-it-0.9f6
omnios-backup-1
omnios-1 -> R
omnios-backup-2

In den logs kann ich aber nichts auffälliges erkennen. Was kann da passiert sein? Wenn ich das Boot-environment ominos boote, scheint alles ok zu sein.

Der napp-it Installer macht zwei Snapshots, (vorher/nachher als Backup).
Bei der Installation von OmniOS oder weiterer Packete können aber weitere Backup- Snaps dazu kommen.

Insgesamt sollte man nur ab und zu schauen dass es nicht zuviele werden und unnötige Löschen
da ein OmniOS Update bei mehr als ca 30 BEs Probleme mit Grub machen kann.

 

[ron2105]

Hallo,

ich brauche nochmal eure Hilfe. Ich habe einen SSD-Pool aus 2x raidz2 je 6x SSDs je 450GB (Consumer-Qualität) mit compression on und dedup off an einem Linux-System über ZFSonLinux seit 2 Jahren in Betrieb. Zu Performancetestzwecken habe ich einen slog-mirror hinzugefügt. Da keine Verbesserung eintrat habe ich mit einem

zpool remove tank0 mirror-1

das gespiegelte slog wieder entfernt und ein

zpool status tank0

ergab wieder den ursprünglichen Zustand.
Nun habe ich die Kiste normal heruntergefahren. Heute früh starte ich den Rechner und kann nicht mehr auf den Zpool zugreifen. Ein

zpool import tank0

ergibt

cannot import 'tank0': one or more devices is currently unavailable

also gleich darauf ein

zpool import -f -m tank0

.... nichts.
Ein

zpool import

ergibt

   pool: tank0
     id: 7437057956762645351
  state: UNAVAIL
 status: One or more devices are missing from the system.
 action: The pool cannot be imported. Attach the missing
        devices and try again.
   see: http://zfsonlinux.org/msg/ZFS-8000-6X
 config:

        tank0                                        UNAVAIL  missing device
          raidz2-0                                   ONLINE
            sdb                                      ONLINE                                                                                                                                                                                                                                                                                         
            sda                                      ONLINE                                                                                                                                                                                                                                                                                         
            sdl                                      ONLINE                                                                                                                                                                                                                                                                                         
            sdc                                      ONLINE                                                                                                                                                                                                                                                                                         
            sdk                                      ONLINE                                                                                                                                                                                                                                                                                         
            scsi-3500a0751092c0062                   ONLINE                                                                                                                                                                                                                                                                                         
          raidz2-2                                   ONLINE                                                                                                                                                                                                                                                                                         
            scsi-3500a0751095e9f91                   ONLINE                                                                                                                                                                                                                                                                                         
            sdj                                      ONLINE                                                                                                                                                                                                                                                                                         
            scsi-3500a0751095cf735                   ONLINE                                                                                                                                                                                                                                                                                         
            ata-Crucial_CT480M500SSD1_1350095DB41F   ONLINE                                                                                                                                                                                                                                                                                         
            sdi                                      ONLINE                                                                                                                                                                                                                                                                                         
            sdh                                      ONLINE                                                                                                                                                                                                                                                                                         
        logs                                                                                                                                                                                                                                                                                                                                        
          mirror-1                                   FAULTED  corrupted data                                                                                                                                                                                                                                                                        
            cciss-3600508b1001036363320202020200018  FAULTED  corrupted data                                                                                                                                                                                                                                                                        
            c0d1p1                                   FAULTED  corrupted data                                                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                                                                                                                                    
        Additional devices are known to be part of this pool, though their                                                                                                                                                                                                                                                                          
        exact configuration cannot be determined.

Habe div. Versuche mit weiteren Parametern und auch Live-Systemen gemacht, ohne Erfolg.
Die slog Devices sind in der gleichen Form noch vorhanden, da ich sie aber ohne Import nicht wieder hinzufügen kann, beißt sich hier die Katze in den Schwanz.

Vielen Dank für die Hilfe.
Ron

 

[gea]

zppol import -m sollte einen Pool trotz fehlendem Log Device importieren.
Komisch ist aber dass es ein vdev raidz2-0 und raidz2-2 gibt.

Unter Solaris sind die durchnummeriert. Ich denke unter Linux wird das genauso sein.
Wo ist raidz2-1 ??

 

[ron2105]

Hallo Gea,

kann es sein, dass der mirror die Nr. 1 ist, da vielleicht alle vdev durchnummeriert werden (früher hatte der zpool mal ein l2arc und der könnte auch die Nr. 1 gehabt haben, das 2. raidz2 habe ich später angefügt).

Vielen Dank
Ron

 

[gea]

Das könnte so sein.
Ich würde jetzt mal herunterfahren, ausschalten und neu starten.

Eventuell kam ZFS ja durch die Port-Nummerierung sda, sdb,..durcheinander
da die wechseln kann. Besser wäre es ohnehin z.B. auf WWN Identifikation umzustellen.
Die bleibt konstant über Reboots, Plattenwechsel, Controllerwechsel oder Serverwechsel.

 

[ron2105]

Hallo Gea,

ich habe die Kiste inzwischen min. 20 Mal neu gebootet (warm und kalt).

zpool import -f -m -d /dev/disk/by-id tank0

macht keinen Unterschied. Wobei ja schon einige Disks seit ein paar Monaten per WWN angemeldet sind (durch Tausch nach Diskfehler).

 

[besterino]

OmniOS läuft ja nicht aus dem RAM wie z.B. SmartOS.

Hauptursachen für Zugriffe können sein
- atime ist on (schreibt letzten Zugriff) -> für rpool auf off stellen
- logs (vor allem wenn irgend etwas alerts oder warnings erzeugt)

testhalber
- napp-it accelerate ausschalten (Top-Menü)
- napp-it monitor ausschalten (Top-Menü)
- napp-it webserver ausschalten (console: /etc/init.d/napp-it stop bzw start)

und iostat auf der Console kontrollieren - vor allem ob die Zugriffe lesend sind oder schreibend

Ich bin faul. Hab jetzt einfach für'n fuffi 'ne kleine SSD bestellt und werde das OS einfach umziehen...Zeit ist ja irgendwie doch auch Geld... ;-) Danke natürlich aber für die Hilfestellung, wie immer 1a Support hier! =)

 

[gea]

Dann bin ich mit meinen Erfahrungen mit ZoL am Ende.
Ich würde jetzt die Logdevices noch physikalisch herausziehen und es dann erneut versuchen.

Falls keiner was Besseres weiss, könnte man noch versuchen, den Pool unter OmniOS zu importieren.
Falls das klappt dann die Logs entfernen und wieder exportieren.

 

[ron2105]

Hallo Gea,

habe mir gerade mal OmniOS heruntergeladen und versucht den zpool zu importieren, aber leider ebenfalls ohne Erfolg.

Vielen Dank.

 

[ludwinator]

Bin ich der Einzige, der hier grade ein deja-vu hat?

http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052-58.html#post17840688

 

[ron2105]

Bin ich der Einzige, der hier grade ein deja-vu hat?

http://www.hardwareluxx.de/community/f101/zfs-stammtisch-570052-58.html#post17840688

Neihein, ich leider auch!
Ist aber diesmal eine andere Maschine und damals half dann ein

import -o readonly -f -m

(war damals ein brandneues Feature und komischerweise klappte es nur mit readonly)
Den damaligen Pool habe ich inzwischen x-mal ex- und importiert, no problem.
Alles auch diesmal schon durchprobiert.
Bin weiterhin für Tipps offen.

Danke

 

[gea]

Ich hatte das Problem noch nie und bin auch bisher kaum mit einem derartigen
Problem konfrontiert worden. Ist also was sehr seltenes.

ZFS kann seit Version 19 einen Pool auch bei fehlendem Logdevice importieren.
Das Problem in diesen beiden Fällen scheint ein Fehler in der Poolstruktur zu sein -
ob die Ursache bei einem OpenSolaris Pool 22 oder einem ZoL Pool vermutlich v28
oder v5000 die gleiche ist - da kann man allenfalls spekulieren.

Wichtiger ist die Erkenntnis, das auch ZFS Pools obwohl deutlich robuster als
Hardware Raids mit ext oder ntfs auch kaputtgehen können - ob durch RAM Fehler
oder andere Probleme mag dahingestellt sein. Letztlich kommt es immer wieder mal
vor, dass man ein Disaster Backup haben sollte.

Importversuche mit readonly oder -F für einen früheren Stand können aber bei
korrupten Pools versucht werden

 

[P0stbote]

Heyho,

ich setzte momentan 3 Einzelplatten mit ext4 unter Ubuntu ein. Ich liebäugle allerdings schon lange mit ZFS (Einige Erfahrung habe ich bereits mit ZOL gesammelt)
Davon verreckt mir wohl momentan eine, deswegen muss schnell Ersatz her. Hätte mir eigentlich eine weitere WD Red gekauft, allerdings ist die Seagate Archive 8TB für 200€ im Angebot und ich kann kaum widerstehen zu zuschlagen.


Hauptsächlich soll meine Serien und Filmsammlung darauf abgelegt werden - Sprich WORM.
Mein Plan war es, 2 Platten zu Mirrorn.
Schreibperformance ist vollkommend egal, der Pool muss nur einmalig befüllt werden.
Lesegeschwindigkeit ist an sich nicht wichtig, wenn der GBit Link vollgemacht wird, ist das vollkommen in Ordnung.
Gibt es da akute Probleme in Verbindung mit ZFS (bzgl SMR)?
Mein Host ist leider nicht ECC fähig und besitzt nur 4GB RAM, soll aber im nächsten Monat durch ein HP MicroServer (Mit 8GB ECC) ersetzt werden.
Wenn ich das richtig sehe, habe ich dadurch erstmal kein größere Risiko als wenn ich ext4 fahre, oder?

 

[gea]

Heyho,

.. allerdings ist die Seagate Archive 8TB für 200€ im Angebot ...

Damit erschöpfen sich auch schon die Vorzüge.

Auf der letzten OpenZFS Konferenz in Paris wurde über ZFS und SMR Platten diskutiert.
Tenor war, dass es nicht nur sehr langsam ist, sondern dass auch durchaus Pool-Probleme auftreten können.
Ich würde mit ZFS und generell mit Echtzeit-Raid davon abraten.

Ansonsten sind 4 GB für ZFS @ home vollkommen ok.
Oracle Solaris nennt als Minimum 2 GB ohne dass die Poolgröße eine Rolle spielt. Bei BSD heisst es gerne 1 GB pro TB.

 

[Stangensellerie]

Wenn "4 GB für ZFS @ home vollkommen ok" sind, wie wirkt sich denn mehr oder weniger direkt aus?

Wie bereits in Posting 5969 beschrieben, setze ich deine Appliance ein und mein Mirror krankt schon wieder. Einen ESXi-Reboot habe ich inzwischen auch mal gemacht, hat aber nichts an der lausigen Performance geändert. Ich habe daher testweise mal eine Platte auf Off- und wieder Online gesetzt und nach lasse gerade resilvern. In napp-it werden mir jetzt unterirdische Werte von knapp 22MB/s angezeigt und die dürften mit einem geschätzten Zeitbedarf von 4,5h für die belegten ~300GB auch hinkommen.

 

[P0stbote]

Hm das klingt ja eher unschön.

Was will man denn fahren, wenn ich die 4 Slots des Microservers mit normalen 4 oder 6TB Platten vollmachen würde?
RaidZ möchte ja eher ungrade Zahlen an Platten, oder bin ich da auf dem Holzweg?

 

[gea]

Wenn "4 GB für ZFS @ home vollkommen ok" sind, wie wirkt sich denn mehr oder weniger direkt aus?

Wie bereits in Posting 5969 beschrieben, setze ich deine Appliance ein und mein Mirror krankt schon wieder. Einen ESXi-Reboot habe ich inzwischen auch mal gemacht, hat aber nichts an der lausigen Performance geändert. Ich habe daher testweise mal eine Platte auf Off- und wieder Online gesetzt und nach lasse gerade resilvern. In napp-it werden mir jetzt unterirdische Werte von knapp 22MB/s angezeigt und die dürften mit einem geschätzten Zeitbedarf von 4,5h für die belegten ~300GB auch hinkommen.

ZFS nutzt RAM als Lesecache. Idealerweise werden nach einer gewissen Zeit die meisten Lesezugriffe aus dem RAM bedient. Das ist 1000x schneller als ein Zugriff auf die Platte vor allem beim wahlfreien Lesen jleiner Dateien. Ein Browsen durch die Dateisystruktur geht z.B. dann ohne Verzögerung. Andere Server geben sich da gerne bei jedem Verzeichniswechsel ein oder zwei Gedenksekunden um die Struktur von Platte zu lesen.

Zum Resilver
Eine Festplatte liefert eine sequentielle Performance zwischen ca 70 und bestenfalls 200 MB/s. Bei kleinen Dateien und wahlfreiem Zugriff sinkt das auch gerne mal auf 10-20 MB/s ab. Da beim Resilvern alle Dateien gelesen werden müssen, bremst die geringe iops Leistung. 22 MB/s bei einem relativ vollen Mirror-Pool mit vielen kleinen Dateien sind durchaus nicht unterirdisch.

Was man noch kontrollieren könnte ist iostat. Insbesondere die wait und iops Werte. Eine halbgare Festplatte kann enorm bremsen.

- - - Updated - - -

Hm das klingt ja eher unschön.

Was will man denn fahren, wenn ich die 4 Slots des Microservers mit normalen 4 oder 6TB Platten vollmachen würde?
RaidZ möchte ja eher ungrade Zahlen an Platten, oder bin ich da auf dem Holzweg?

Die ideale Anzahl von Platten in eine Raid-Z beträgt eine Zweierpotenz für die Datenplatten + die Platten für Redundanz, also 2,4,8,16,.. Datenplatten damit sich jeder Datenblock ohne Rest gleichmäßig auf alle Platten schreiben läßt. Ein Raid-Z2 mit zwei Redundanzplatten hat damit idealerweise 4, 6, 10 Platten. Bei mehr als 10 sollte man auf Z3 gehen.

Man kann auch davon abweichen und hat etwas mehr "Verschnitt", d.h. die effektive Nutzkapazität sinkt etwas. Ein Z1 mit 4 Platten wäre also auch möglich genau wie ein Raid-10 oder ein Z2 mit 4 Platten.

 

[Stangensellerie]

ZFS nutzt RAM als Lesecache. Idealerweise werden nach einer gewissen Zeit die meisten Lesezugriffe aus dem RAM bedient. Das ist 1000x schneller als ein Zugriff auf die Platte vor allem beim wahlfreien Lesen jleiner Dateien. Ein Browsen durch die Dateisystruktur geht z.B. dann ohne Verzögerung. Andere Server geben sich da gerne bei jedem Verzeichniswechsel ein oder zwei Gedenksekunden um die Struktur von Platte zu lesen.

Zum Resilver
Eine Festplatte liefert eine sequentielle Performance zwischen ca 70 und bestenfalls 200 MB/s. Bei kleinen Dateien und wahlfreiem Zugriff sinkt das auch gerne mal auf 10-20 MB/s ab. Da beim Resilvern alle Dateien gelesen werden müssen, bremst die geringe iops Leistung. 22 MB/s bei einem relativ vollen Mirror-Pool mit vielen kleinen Dateien sind durchaus nicht unterirdisch.

Was man noch kontrollieren könnte ist iostat. Insbesondere die wait und iops Werte. Eine halbgare Festplatte kann enorm bremsen.

Spielt da eigentlich noch das Powermanagement mit rein?
Ich habe dieses jetzt mal wie folgt gesetzt:

#
# Copyright 1996-2002 Sun Microsystems, Inc.  All rights reserved.
# Use is subject to license terms.
#
#pragma ident   "@(#)power.conf 2.1     02/03/04 SMI"
#
# Power Management Configuration File
#

device-dependency-property removable-media /dev/fb
autopm                  enable
autoS3                  default
cpu-threshold           1s
# Auto-Shutdown         Idle(min)       Start/Finish(hh:mm)     Behavior
autoshutdown            30              9:00 9:00               noshutdown
cpupm  enable
cpu-threshold 900s

Sinnvoll wäre es bestimmt gewesen, wenn ich mir die Vorgaben irgendwo notiert hätte...


Wenn ich dir iostat-Ausgabe sinnvoll formatiert hier posten könnte, würde ich dies machen...