[Sammelthread] ZFS Stammtisch

[Swivel]

hab noch eine Frage

Bei ZFS sollten ja nur 80% des Systems genutzt werden. Das wären bei einem Z1 mit 3x2TB = 3.088940 TB
Im Moment ist die Situation:

NAME   USED  AVAIL  REFER  MOUNTPOINT
data  2,96T   572G   149K  /data

Ich würde jetzt ein Quarta setzen können:

zfs set quota=3088G data

Geht das jetzt noch so einfach und würde ich damit den Speicherplatz begrenzen? Was würde passieren wenn ich über diese Grenze komme?
Würde das die Pools dadrunter ebenfalls betreffen und limitieren?

 

[asche77]

Quota wäre vermutlich die falsche Lösung dafür. Dann eher FRES erhöhen.

 

[gea]

Mit einer Quota kann man festlegen, wieviel Platz belegt werden darf.
Das gilt nur wenn genügend Platz da ist. Ist der Pool vorher voll, dann erreicht man das Quota nicht.

Eine Reservierung garantiert diesen Platz indem er für die anderen Dateisysteme als "belegt" betrachtet wird.
Deren "freier Platz" wird um die Reservierung verringert.

Möchte man Platz auf X GB begrenzen (Quota) und garantieren dass diese X GB auch tatsächlich zur Verfügung stehen, muss man die zusätzlich reservieren.

 

[flxmmr]

@gea, @ludwinator
gut zu hören. Wie ist das eigentlich mit der Replikation, geht das auch über minor-Versionen hinweg, genauso wie das mounten? (oder muss man da für 1-2a Rückwärtskompatibilität einfach eine alte Version des Systems nutzen?)

 

[asche77]

Geht grds über Betriebssysteme und Versionen hinweg - aber natürlich sollte (muss?) das target alle zfs Features des Ursprungs streams anbieten.

 

[gea]

Replikation von/zu Solaris mit Original ZFS von/zu Open-ZFS geht nur mit ZFS v28/1

Replikation von/zu Open-ZFS von/zu Open-ZFS geht immer wenn das Ziel eine neuere Version ist und alle Features unterstützt, sonst kommt es auf die aktivierten Features an (Versuch macht klug).

Replikation unter Open-ZFS zu einem Ziel mit anderem vererbtem Recsize ist momentan problematisch. Da ist aktuell ein Bug bekannt geworden der zu Datenkorruption führen kann. Man sollte also bei Replikation neben den Features auf gleiche Recsize achten.

 

[Swivel]

Ich benötige nochmal eure Hilfe. Wie bereits geschrieben, ich nutze OmniOs.
Hab bereits Poole per zfs smb freigegeben. Nun soll aber nicht mehr ein Nutzer zugreifen sondern mehrere .
Das ganze wird per ACL gesteuert. Soweit verstanden.

Mein Vorhaben: Bestimmte Nutzer sollen nur Ordner A und nicht Ordner B & C sehen. Was ich bis jetzt im Netz gelesen haben ist das nicht möglich?
Oder hat jemand eine Lösung?

 

[VirtuGuy]

Naja, genau dafür sind ACL´s ja da

Erstelle pro Ordner eine Gruppe und füge die Mitglieder je nach Bedarf hinzu. Die Vererbung must du auf der Ebene natürlich aufbrechen.

 

[gea]

Mit ACL kann man regeln, wer/was darf. Ein Ordner auf den man keinen Zugriff hat, ist dennoch sichtbar.

Um Ordner unsichtbar zu machen auf die man keinen Zugriff hat, muss man beim Freigeben eines Dateisystems per SMB die Option "Access based enumeration/ABE" aktivieren.

Bei napp-it ist das eine Option im SMB Share Menü. Per Console ist das eine Shareoption abe=true.

Um ein Share selber unsichtbar zu machen, muss man lediglich ein $ an den Sharenamen anfügen. Für den Zugriff muss man dann den Pfad angeben z.B. \\server\data$

 

[Swivel]

MEGA GEA, das hab ich gesucht. Du hast es echt drauf

Hab die Option gesetzt aber der Ordner wird trotzdem angezeigt

1) wenn ich SMB Neustarten will erscheint:

svcadm restart application/network/samba
svcadm: Pattern 'application/network/samba' doesn't match any instances

Was kann ich da tun?

2) weitere Frage :/

Bei Version Abfrage bekomme ich:

zpool get version data

NAME  PROPERTY  VALUE    SOURCE
data  version   -        default

Wenn ich upgraden möchte erscheint :

zpool upgrade -a

This system supports ZFS pool feature flags.

All pools are already formatted using feature flags.

Every feature flags pool already has all supported features enabled.

Läuft da irgendwas schief im System?

 

[gea]

1.
Meine Anmerkung bezog sich auf den kernelbasierten multithreaded SMB Server von Solarish. Der ist Bestandteil eines Solarish Betriebssystems und eben nicht SAMBA.

Ist denn SAMBA stattdessen installiert? Eigentlich ist jeder Solarish Nutzer ganz besonders happy dass er SAMBA nicht braucht. Ich selber bin erst zu Solaris gekommen wegen ZFS aber auch weil ich meine Windows Server ablösen wollte und mit SAMBA nicht glücklich wurde was die Abbildung von Windows ntfs Rechten betraf. Der Solaris eigene SMB Server hat zwar manche Features von SAMBA nicht, ist aber viel unkomplizierter (einschalten und tut), oft schneller und verhält sich mit Windows sid, nfs4 ACL, lokalen SMB Gruppen und ohne wenn und aber funktionierende ZFS Snaps als Windows vorherige Version eher wie ein echter Windows Server mit ntfs als wie ein Linux/Unix Server der lediglich per SMB Zugriff auf Dateien eines Linux/Unix Dateisystem zur Verfügung stellt..

Der Service heißt dann auch smb/server und nicht samba
svcadm restart smb/server

2.
Die interne Pool Version bei Open-ZFS ist 5000. Bei der Versions-Abfrage kommt "-" im Sinne von keine.
Open-ZFS hat die Versionierung von Sun/Oracle durch Features ersetzt. Die Version 5000 wird wohl nie mit Oracle kollidieren (Original ZFS steht da bei v.44)

Der Versuch eines Upgrades führt hier lediglich zu dem Hinweis, dass bereits alle Features auf dem Pool verfügbar sind. Also alles wie es sein soll.

 

[Swivel]

zu 2.) super dann bin ich da auch wieder schlauer

zu 1.) ich bilde mir mal ein, dass Solaris für smb nutze und nicht Samba Server. Nachdem der "Abe" nicht funktioniert hatte, wollte ich eigentlich irgendwas Neustarten um alles neu einzulesen....aus diesem Grund hatte ich den Befehl genommen.

Das abe funktioniert aber immer noch nicht. Genommen habe ich folgenden Command:

zfs set sharesmb=name=test,path=/data/test,rw=@192.168.178.11,abe=true data/test

Seitens ACL sollte es funktionieren. User A hat Zugriff und User B nicht. Nun soll aber der Ordner nicht für User B erscheinen.

 

[gea]

Ich habe das mal ausprobiert.

In einem Share liegt ein Ordner auf dem alle User Zugriff haben.
Für den Ordner habe ich als root alle ACL entfernt bis auf root=full

Um gepufferte Zugangsdaten sicher zu löschen habe ich Windows neugestartet,

Dann habe ich das share deaktiviert und mit abe aktiviert.
Wenn ich mich als normaler User anmelde ist der Ordner nicht sichtbar.

 

[Digi-Quick]

@gea,
@Holt,

https://research.cs.wisc.edu/wind/Publications/zfs-corruption-fast10.pdf

Die Studie ist wohl ca. 10 Jahre alt, habe ich aber heute zum ersten mal gesehen und noch n icht komplett gelesen!!

"Disk corruptions happen due to many reasons originating at different layers of the storage stack. Errors in the magnetic media lead to the problem of bit-rot” where the magnetic properties of a single bit or few bits are damaged. Spikes in power, erratic arm movements, and scratches in media can also cause corruptions in disk blocks [4, 47, 54]. On-disk ECC catches many (but not all) of these corruptions."

Holt behauptet ja immer gerne, daß HDDs keine Fehlerhaften Daten liefern können, hier wird das Gegenteil behauptet. Ob auch bewiesen wird sich erst nach vollständigem Lesen zeigen.

 

[martingo]

Ich habe bisher nicht gelesen, dass Holt behauptet hätte, dass Festplatten keine fehlerhaften Daten liefern könnten??? War das vielleicht ein Missverständnis?
Die Bitrot Thematik besagt ja genau das.

 

[gea]

In der Untersuchung geht es eher darum warum und wie oft Lesefehler auftreten und wie ZFS damit umgeht. Dass die auftreten haben viele die ZFS benutzen bereits selber gemerkt. Bei einem Pool bei dem ein Scrub keine Fehler liefert sind die Daten garantiert fehlerfrei. Die ZFS Prüfsummen auf Daten und Metadaten arbeiten da sehr zuverlässig.

Treten dann plötzlich Prüfsummenfehler beim Lesen oder Scrub auf (ohne dass die Platte selber einen Fehler meldet) so sind die Daten garantiert korrupt. Man könnte jetzt zwar noch arumentieren dass der Fehler nach dem Lesen aufgetreten ist (Kabel, Treiber, Backplane, RAM trotz ECC etc). Da der Fehler aber hartnäckig da bleibt, auch wenn man den Pool woanders importiert (sofern er nicht sofort automatisch aus Redundanz repariert wird) müssen die Daten auf Platte korrupt sein.

Vor/ ohne ZFS fällt das halt nicht auf oder erst dann wenn man z.B. ein Bild öffnet und das zur Hälfte schwarz bleibt oder ein Programm das beim Aufruf abstürzt obwohl eine Kopie davon noch funktioniert.

Der Rest ist Wahrscheinlichkeit. Man muss etwas nur genügend oft machen bis es schief geht, auch wenn es sich um Triviales handelt. Bezogen auf RAM und Platten bedeutet das dass ein früher seltenes Ereignis plötzlich sehr häufig wird, allein deshalb weil RAM und Platten heute so viel größer sind.

 

[Digi-Quick]

Ich habe bisher nicht gelesen, dass Holt behauptet hätte, dass Festplatten keine fehlerhaften Daten liefern könnten??? War das vielleicht ein Missverständnis?
Die Bitrot Thematik besagt ja genau das.

[Kaufberatung] - NAS / Fileserver: ECC-Hardware + ev. Freenas

Hallo! Bräuchte mal eure Tips/Meinungen zum kommenden Vorhaben! Möchte ein NAS/Home-Server für folgende Aufgaben: Speicher für Filme + Musik Ablage für die Kodi-Datenbank Speicher für Fotos + Dokumente periodische Sicherung der vorhandenen Laptops versch. Benutzerberechtigungen für versch...

www.hardwareluxx.de

" Die HDDs und SSDs haben nämlich hinter jedem Sektor / jeder Page eine ECC und liefern keine korrupten Daten wenn diese nicht stimmt und Bitfehler auch nicht mehr mit der ECC korrigiert werden können, sondern liefert dann einen Lesefehler zurück. "

 

[Luckysh0t]

Hallo zusammen,

mal eine Frage bez Snapshots mit "Windows Vorherige Versionen" wiederherstellen.
Läuft dann dieser Vorgang so ab : Snap->Netzwerk->Windows PC->Netzwerk->ZFS Dateisystem.

Ich schätze mal so ein equivalent zu VAAI steck da nicht dahinter oder ?

Gruß
Lucky

Edit:
Es handelt sich um Solaris als OS.

 

[asche77]

Die Geschwindigkeit der Wiederherstellung ist nicht berauschend, aber au Basis meiner (wenigen) Beobachtungen laufen die Daten nicht über den externen Windows PC sondern werden direkt auf dem Samba share bewegt. Vermutlich der gleiche Vorgang wie innerhalb eines Samba shares kopieren, das kann ja auch weitgehend an den Samba-Server delegiert werden.

 

[gea]

Hallo zusammen,
mal eine Frage bez Snapshots mit "Windows Vorherige Versionen" wiederherstellen.

Edit:
Es handelt sich um Solaris als OS.

Das geht ganz einfach so:
Mit der rechten Maustaste in Windows auf einen Ordner klicken und Eigenschaften > vorherige Version anklicken.
Dann kann man einzelne Dateien/Ordner wiederherstellen.

Alternativ in den Ordner \\server\dateisystem\.zfs\snapshot wechseln. Da liegen die Snaps von "dateisystem".
Alternativ ein ganzes Dateisystem per zfs rollback auf einen früheren Snap Stand zurücksetzen.
Alternativ per zfs clone ein neues normales beschreibbares Dateisystem aus einem Snap generieren.

ps
Man kann zwar SAMBA auf Solaris nutzen, aber ehrlich wer macht/will das.
Dazu kommt dass ZFS Snaps als Windows vorherige Version mit dem kernelbasierten Solarish Server viel unkomplizierter laufen (praktisch immer out of the box ohne Nachdenken) als mit SAMBA. Das liegt daran dass SMB/NFS Shares bei Solarish eine eindeutige Eigenschaft eines ZFS Dateisystems sind, genau wie die Snaps. SAMBA weiß nichts von ZFS und arbeitet mit beliebigen einfachen Ordnern. Der Admin muss dann dafür sorgen dass SAMBA immer weiss wo die Snaps liegen und das eindeutig ist. Bei verschachtelten Dateisystemen im Sharepath eine echte Herausforderung.

vgl https://www.samba.org/samba/docs/current/man-html/smb.conf.5.html
Bei Solaris gibts keine Konfigurationsdatei. "zfs set sharesmb=on dateisystem" und es tut!

 

[Luckysh0t]

@gea

Das ist mir alles bekannt.Mir ging es eher um den Weg den die Datein vom Snap zurück ins live Dateisystem nehmen.

Bleibt der Datenverkehr innerhalb des Solaris oder geht er über das Netzwerk zum inizierenden Host und dann ins Live Dateisystem.


z.B Ich starte das, es dauert und ich fahre den PC herunter.Bricht es dann ab, weil der PC dass steuert/über diesen die Daten gehen oder wird dass auf den Host übergeben und der führt die Tasks aus.


Ist so evtl bildlicher dargestellt, ich war da etwas ungenau.

SAMBA nutze ich nicht.

 

[Fliwatut]

Hallo zusammen!

Ich habe diese HDD: https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn0022-a1504502.html?hloc=de

Kann ich die jetzt mit zwei von denen für ein RAID-Z1 "paaren": https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn004-a2085161.html?hloc=de ??? Oder müssen das absolut identische Platten sein?

 

[gea]

@gea

Das ist mir alles bekannt.Mir ging es eher um den Weg den die Datein vom Snap zurück ins live Dateisystem nehmen.
Bleibt der Datenverkehr innerhalb des Solaris oder geht er über das Netzwerk zum inizierenden Host und dann ins Live Dateisystem.

Ich würde davon ausgehen dass ein Restore per Windows vorherige Version eine Kopieraktion ist (übers Netz). Ein lokales zfs rollback dagegen quasi sofort lokal ausgeführt wird.

Beitrag automatisch zusammengeführt: 08.06.2020

Hallo zusammen!

Ich habe diese HDD: https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn0022-a1504502.html?hloc=de

Kann ich die jetzt mit zwei von denen für ein RAID-Z1 "paaren": https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn004-a2085161.html?hloc=de ??? Oder müssen das absolut identische Platten sein?

ZFS Software Raid ist da extrem unkritsch.
Es sollten beidesmal idealerweise CMR Platten sein (ist der Fall). Wenn eine alte 512n Platte dabei ist, so sollte man darauf achten dass ashift=12 erzwungen wird. Mit 512e (so wie hier) oder 4kn Platten passiert das automatisch.

Einfach machen.

 

[Gen8 Runner]

Hallo zusammen!

Ich habe diese HDD: https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn0022-a1504502.html?hloc=de

Kann ich die jetzt mit zwei von denen für ein RAID-Z1 "paaren": https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn004-a2085161.html?hloc=de ??? Oder müssen das absolut identische Platten sein?

Moin,
verstehe die Frage nicht ganz. Hast du zwei oder drei Platten? Und wie sollen die Platten denn noch identischer werden?

Beispiel:
1x 6TB (Hersteller Banane), 2x8TB...Daraus würden im RaidZ1 12TB werden. Sobald die 6TB durch eine 8TB ersetzt wird, vergrößert sich der Pool automatisch auf 16TB.

 

[Fliwatut]

@gea Danke für die Info!

Hast du zwei oder drei Platten?

Ich habe im Moment eine 8TB Platte: https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn0022-a1504502.html?hloc=de Dieses Modell scheint aber EOL zu sein und wird auch immer teurer.
Daher war meine Überlegung, zwei von diesen Platten zu kaufen https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn004-a2085161.html?hloc=de wenn die mit der alten Platte zusammen im RaidZ1 laufen, was ja aber anscheinend kein Problem darstellt.
Sorry, falls das eine merkwürdige Frage war, ich kenne mich mit ZFS nur rudimentär aus und wusste nicht, dass man auch verschiedene Größen mischen kann.

 

[Gen8 Runner]

@gea Danke für die Info!


Ich habe im Moment eine 8TB Platte: https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn0022-a1504502.html?hloc=de Dieses Modell scheint aber EOL zu sein und wird auch immer teurer.
Daher war meine Überlegung, zwei von diesen Platten zu kaufen https://geizhals.de/seagate-ironwolf-nas-hdd-8tb-st8000vn004-a2085161.html?hloc=de wenn die mit der alten Platte zusammen im RaidZ1 laufen, was ja aber anscheinend kein Problem darstellt.
Sorry, falls das eine merkwürdige Frage war, ich kenne mich mit ZFS nur rudimentär aus und wusste nicht, dass man auch verschiedene Größen mischen kann.

Ah, alles klar. Das interessiert ZFS nicht sonderlich, da kannst du alle Marken mischen (nur SMR meiden).
Verschiedene Größen funktionieren auch, da wird dann eben nur die Poolgröße anhand der kleinsten Platte festgelegt.
1x4, 1x6,1x8 bspw. wird anhand der 4tb Platte festgelegt. Wird die gegen eine 8tb ersetzt, wird die Poolgröße anhand der 6tb festgelegt. Wird die 6tb gegen eine 12tb ersetzt, wird die Poolgröße anhand der 8tb festgelegt. Immer die kleinste verbaute Platte im Verbund begrenzt also die Gesamtgröße.

 

[Fliwatut]

Prima, vielen Dank für die Erklärung!

Was müsste gemacht werden, wenn man die kleinste Platte gegen eine größere tauscht? Ist das dann dieses "resilvern"? Gibt es irgendwo ein ZFS-Tutorial, wo die ganzen Zusammenhänge erklärt werden?

 

[gea]

1. Neue Platte anstecken
2. Mit zpool replace pool alteplatte neueplatte wird die alte Platte ersetzt
3. wenn ZFS Eigenschaft autoexpand aktiviert ist, steht die höhere Kapazität zur Verfügung nachdem alle Platten eines vdev die höhere Kapazität haben

Resilver = Raid rebuild

Manuals
mit man zfs und man zpool erfährt man die Syntax und Optionen des aktuellen Systems, z.B.

illumos: manual page: zfs.8

illumos: manual page: zpool.8

Die "Mutter aller ZFS Dokumentationen" ist Oracle (da wurde ZFS entwickelt)

Operating Systems Documentation - Oracle Solaris Documentation

docs.oracle.com

Solaris 11.2 ist weitgehend passend für Illumos/OmniOS und was ZFS angeht auch für Open-ZFS. Daneben gibt es diverse Dokumentationen bei OpenIndiana (Illumos), Free-BSD und Linux.

Für Anfänger ist eine Web-UI sinnvoll (Eigentlich für alle. Ich selber käme nicht ohne aus und habe ja deshalb napp-it entwickelt.)

Bei Illumos/Solaris mein napp-it (das arbeitet transparent mit CLI Befehlen) oder NexentaStor, bei Free-BSD FreeNAS/XigmaNAS und bei Linux naja, gibts noch nichts berauschendes, eventuell Cockpit, OMV oder künftig TrueNas. Ich habe napp-it auch nach Linux portiert aber nur für grundlegendes ZFS Management (ca 20% der Solarish Version)

 

[Fliwatut]

Danke dir @gea !

 

[Digi-Quick]

Wiebitte, TruNAS (FreeNAS) will von BSD weg zu Linux - und damit zu ZoL??
Edit: Man will offenbar schneller die neuen Features von OPEN-ZFS integrieren und damit "kompatibler" zu ZoL werden - so wie ich das gerade gelesen und verstanden habe