[Sammelthread] ZFS Stammtisch

[Bzzz]

1. Genug. Stopf eher mehr RAM rein als die nächstgrößere CPU
2. SAS-Laufwerke+SAS-Expander -> alles fein. Wenn du ohnehin gleich SAS-Platten nehmen willst, dann kannst du die Route einschlagen. ashift=12 sollte bei 4Kn automatisch kommen.

Wenn das Board nicht mit SFP+ oder integriertem 10GbE kommt, achte auf genug freie PCIe für deine (künftigen) Zwecke.

 

[gea]

Für ZFS verhalten sich Platten mit 512E und 4kn identisch. Sie werden jeweils als 4k physical behandelt.

12G SAS und Expander ist performancemäßig ok.
Ich würde SAS Platten nehmen. Bei Sata hört man immer wieder von Problemen wie Expander reset oder hängender Expander bei manchen oder fehlerhaften Sata Platten.

Wenn Performance wichtig ist, mehr RAM nehmen. Bringt mehr als eine schnellere CPU. Eine L2Arc ist dann nicht nötig. Da ZFS über den RAM Schreibcache schreibt sind bei einem Crash bis zu 4GB der letzten Schreibaktionen verloren. Kann man das nicht tolerieren muss man sync aktivieren. Die Poolperformance bricht dann gerne mal auf 1/10 ein. Dann braucht man ein Slog (Intel Optane NVMe oder WD Ultrastar SAS SSD).

Ich habe beste Erfahrungen mit HGST Ultrastar HE SAS Platten (jetzt WD)

Wenn man künftig eventuell HA fahren möchte (2 redundante Server, auch virtualisiert als vCluster in a Box) gleich einen Server mit Dual Expander wählen. Die entsprechenden SuperMicro Cases haben dann E2 im Namen, z.B. SC836BE2C-R1K03B | 3U | Chassis | Products | Super Micro Computer, Inc.

Ich würde gleich ein System mit onboard 10G und eventuell onboard SAS wählen.
z.B. X11SPH-nCTF | Motherboards | Products - Super Micro Computer, Inc. oder nCTPF mit SFP+. Bei letzterem bräuchte man noch eine kleine Intel TP 45 Netzwerkkarte wenn man noch keinen SFP+ Switch hat. Dazu der kleinster Xeon Silver.

Als Bootplatte die kleinste Intel DC SSD (3510, egal), hauptsache Datacenter Line. Sind ultra Zuverlässig.

 

[jonofe]

Ich hab da noch mal ne Frage zu den napp-it ACL.
Ich würde gerne bei bestehenden Filesystems ABE und/oder GUEST-OK setzen ohne die bestehenden "ACL on SMB-Share" zu löschen. Leider habe ich die Option nur im Dialog zur Erstellung eines SMB Shares gefunden. Um dort wieder hinzukommen, muss ich zunächst SMB für das Filesystem ausschalten. Dies führt aber dazu, dass die bestehenden "ACL on SMB Share" auf Default zurückgesetzt werden.
Gibt es eine andere Möglichkeit die sharesmb Optionen (z.B. ABE, GUEST-OK) zu ändern?

 

[gea]

Interessante Frage!

Abe (Managing SMB Shares - Oracle Solaris Administration: SMB and Windows Interoperability ) funktioniert nur mir User Anmeldung, macht also mit Guest Access keinen Sinn.

Wenn man ein SMB Share deaktiviert/aktiviert bleibem Datei ACL erhalten. Share ACL müssten neu gesetzt werden - manuell oder per Script. Vielleicht überlege ich mit da noch was für napp-it. Ist im Moment aber sicher kein "must have" Feature.

 

[cdfs]

Hallo,

hätte da mal eine Frage zur Replikation unter napp-it/OmniOS. Ich fahre die all-in-one-VM unter VMware auf einem Microserver Gen8, habe an die napp-it-VM einen LSI 9271-8i per PCI-Pass-Through durchgereicht (Platten einzeln als RAID0/JBOD). Ich weiss, ist nicht optimal, habe den RAID-Controller allerdings geschenkt bekommen und nutze ihn deswegen. Das Setup läuft soweit sehr gut, kann mich über Performance nicht beschweren. Ich würde allerdings gerne ein klein wenig mehr Sicherheit für meine Daten haben und habe deswegen noch eine SATA-Platte per USB (ebenfalls PCI-Pass-through) an die napp-it-VM verbunden, auf die ich gerne meine Daten replizieren würde. Ich kann zwar einen entsprechenden Job anlegen, einen initiale Replikation funktioniert auch, allerdings werden die folgenden Replikationen nicht durchgeführt. Ich habe die free-version, eval-Zeitraum ist auch um. Soweit ich verstanden habe, ist die remote-Replikation lizenzpflichtig, dachte aber immer, dass eine lokale Replikation mit der free-version gehen sollte. Liege ich hier falsch? Welche anderen Möglichkeiten habe ich eine entsprechende Replikation zu realisieren?

 

[gea]

welche napp-it Version?
Lokale Replikation (initial und incrementell) geht mit der freien Version

ps
Die nächste freie Version 18.12p ist online.
Eventuell auf die updaten und testen.

 

[TheTAZ]

Vielen Dank @gea und Bzzz für die Antworten.

Das Board ist jetzt ein Supermicro X11SSH-CTF geworden. Der eingebaute 10G Controller wird in Zukunft bestimmt helfen. Ansonsten bleibt es bei den 16GB RAM, diese werde ich wahrscheinlich aufrüsten wenn weitere Festplatten eingebaut werden.

Der Hinweis zum SLOG war auch gut, den werde ich auch nachträglich einbauen. Da der Server an einer USV hängt mache ich mir wenig Sorgen bei einem Stromausfall, aber das System kann ja auch anderweitig crashen. Ich bin gespannt welche Lese- und Schreibwerte das System erreichen wird.

 

[cdfs]

welche napp-it Version?
Lokale Replikation (initial und incrementell) geht mit der freien Version

ps
Die nächste freie Version 18.12p ist online.
Eventuell auf die updaten und testen.

Bislang 18.02free, habe gerade auf die 18.12 geupdatet.
Im Auto-Log finde ich folgende Fehlermeldungen:

018.12.18.17.30.00:  job 1545044347.par replicate not auto-executed: - valid replication extension required

Der Replication-Job ist wie folgt konfiguriert:

Edit Parameters: Job 1545044347
  host 	 napp-it 
  hostip 	 127.0.0.1 
  transport 	 nc 
  port 	 54864 
  send_option 	   
  pv_limit 	   
  dest_sharename 	   
  dest_shareguest 	   
  dest_shareabe 	   
  send_i 	 -i 
  keep 	 hours:24,days:32,months:12,years:1 
  hold

 

[gea]

Läßt sich denn der Job (Erstreplikation, dann inkrementelle Replikation) manuell starten?

 

[cdfs]

Läßt sich denn der Job (Erstreplikation, dann inkrementelle Replikation) manuell starten?

Ja, manuell lässt sich sowohl die Erstreplikation als auch die Inkrementelle starten, hier die entsprechenden Logeinträge:
Erstreplikation:

ok 	  replication 1545044347 	  time: 2018.12.17.12.41.14 line: 1206 	 info initial replication finished (time: 2510 s, size: 333000 MB, performance: 132.7 MB/s)

inkrementelle Replikation:

ok 	  replication 1545044347 	  time: 2018.12.19.08.14.20 line: 1355 	 info ok, incremental replication finished (time: 4 s, new refer: 31K)

Im Auto-Log steht allerdings weiterhin folgendes:

2018.12.19.08.15.01:  job 1545044347.par replicate not auto-executed: - valid replication extension required

Das sieht für mich so aus, als wenn der Auto Service bei einer Replikation generell lediglich prüft, ob eine Replikations-Lizenz vorhanden ist, unabhängig davon ob lokal oder remote.

 

[gea]

Den Logeintrag gibts nicht wenn der Job Status auf manual steht
und er mit "run now" gestartet wird. (Auto executed wird nicht unterstützt).

 

[cdfs]

OK, also eher Zufall, weil ich den Job manuell kurz zuvor gestartet habe, bevor der Auto Service losging... Hab gerade nochmal ins Log geschaut, tatsächlich gibt es diesen Eintrag bei jedem Auto-run (bei mir also alle 15 Minuten). Die Frage ist jetzt also für mich, soll das so oder ist das ein Bug? Oder habe ich was falsch konfiguriert? Der Replication-Job ist auf active, nicht manuell gestellt, nach meinem Verständnis sollte er dann doch auch vom Auto-Service gestartet werden.

 

[gea]

Die Free Version unterstützt keine Auto Replikation, nur manuelle Replikation.

 

[cdfs]

OK, danke, dann wäre das geklärt. Schade, aber ok. Gibts eine Möglichkeit eine entsprechende Lizenz für den reinen privaten Hausgebrauch zu bekommen? Wenn ja, wo würde die preislich ca. liegen?

 

[fdiskc2000]

Hi ich bin gerade am Updates ziehen und in meiner napp-it update Liste tauchen 2x 18.12 auf, aber hinter keiner davon steht pro. Welches ist denn dann die richtige?

oder wird hier nicht mehr unterschieden?



Laut Changelog wären die Versionen:
Current releases:

napp-it free: 18.01 free
napp-it Pro: 18.06 pro
napp-it dev: 18.12 dev

Aber weder sehe ich einen Zusatz dev noch pro in meiner Update-Liste?
Wäre mein Prod-Server, daher möchte ich quasi nur die letzte "stable" haben.

 

[gea]

OK, danke, dann wäre das geklärt. Schade, aber ok. Gibts eine Möglichkeit eine entsprechende Lizenz für den reinen privaten Hausgebrauch zu bekommen? Wenn ja, wo würde die preislich ca. liegen?

Noncommercial home use,
siehe napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux : Extensions

 

[Stangensellerie]

Ich habe mir gerade mit dem Download der 18.12 ein schweres Problem geladen. Die Oberfläche funktioniert nicht mehr und auch ein Reload blieb erfolglos...
Allein um überhaupt nochmal die Hilfe im Fehlerfall angezeigt zu bekommen, habe ich einige Anläufe per Zurück im Browser plus STRG-A plus STRG-C gebraucht.

download 18.12 ...
unzipping napp-it-18.12.zip ... chown: /var/web-gui/data_18.12: No such file or directory chmod: WARNING: can't access /var/web-gui/data_18.12 chown: scripts: No such file or directory chmod: WARNING: can't access /var/web-gui/data/scripts
data_18.12 downloaded and activated.
cp: cannot access /var/web-gui/data/tools/httpd/init.d/napp-it
Please wait some seconds...

On problems, try:
- page reload
- manual restart of napp-it via menu System-Shutdown-Restart napp-it (or /etc/init.d/napp-it stop/start)
- a reboot,
- a copy of /var/web-gui/data_last/ to /var/web-gui/data or a
- reinstall via wget.!

Restart napp-it services now.
commands will be executed using /bin/sh job 1545221947.a at Wed Dec 1

Auch das Kopieren von "data_last" nach "data" hat nichts geholfen, trotz vorherigem Löschen in "data". Was nachher geholfen hat war, den Inhalt von "/var/web-gui/data_18.02free" nach /var/web-gui/data zu kopieren.

Gehe ich dann erneut auf Update, mischt sich meine FB7490 wieder ein und hat irgendetwas an den Adressen "188.93.13.227, 2a00:1158:1000:300::368" zu mäkeln. Ich warte erstmal ab.

 

[gea]

Hi ich bin gerade am Updates ziehen und in meiner napp-it update Liste tauchen 2x 18.12 auf, aber hinter keiner davon steht pro. Welches ist denn dann die richtige?

oder wird hier nicht mehr unterschieden?

Anhang anzeigen 453189

Laut Changelog wären die Versionen:
Current releases:

napp-it free: 18.01 free
napp-it Pro: 18.06 pro
napp-it dev: 18.12 dev

Aber weder sehe ich einen Zusatz dev noch pro in meiner Update-Liste?
Wäre mein Prod-Server, daher möchte ich quasi nur die letzte "stable" haben.

Seit heute ist die 18.12 die aktuelle freie Version die auch per online Installer installiert wird.
Ich nenne die nur noch 18.12 und nicht mehr 18.12 free weil die ja auch die aktuelle Basis für die Pro Version ist.
Neuere Features landen in der 19.01 (Pro).

Changelog
current napp-it free: 18.12p
current napp-it Pro: 18.12p, 19.01a
current napp-it dev: 19.06a dev

- - - Updated - - -

Ich habe mir gerade mit dem Download der 18.12 ein schweres Problem geladen. Die Oberfläche funktioniert nicht mehr und auch ein Reload blieb erfolglos...
Allein um überhaupt nochmal die Hilfe im Fehlerfall angezeigt zu bekommen, habe ich einige Anläufe per Zurück im Browser plus STRG-A plus STRG-C gebraucht.

Auch das Kopieren von "data_last" nach "data" hat nichts geholfen, trotz vorherigem Löschen in "data". Was nachher geholfen hat war, den Inhalt von "/var/web-gui/data_18.02free" nach /var/web-gui/data zu kopieren.

Gehe ich dann erneut auf Update, mischt sich meine FB7490 wieder ein und hat irgendetwas an den Adressen "188.93.13.227, 2a00:1158:1000:300::368" zu mäkeln. Ich warte erstmal ab.

Bei einem Online Update wird /var/web-gui/data nach data_last kopiert,
dann die neue Version heruntergeladen und z.B. nach /var/web-gui/data_18.12 entpackt.

Anschließend wird /data gelöscht und der inhalt von /data_18.12 nach /data kopiert und der Webserver neu gestartet,


Geht dabei etwas schief:
- auf der Console per midnight commander eine Vorversion data_xx z.B. 18.12 nach /data kopieren
und Webserver neu starten (/etc/init.d/napp-it restart)

oder
Vor dem Update wird ein Bootenvironment z.B. Pre_18.12 angelegt.
Booten und dabei dieses BE auswählen, dann hat man den Stand vor dem Update

oder
napp-it neu installieren (wget Online Installer).
Die Einstellungen bleiben erhalten

 

[trendco]

Hallo, was sind denn die aktuell günstigsten Server-SSD's mit 400GB-500GB für nen ZFS-Mirror?

 

[Trambahner]

Zwar nicht 500GB, aber schau Dir aktuell die SM863/PM863 960GB an. Die SM863 (MLC Flash) gehen derzeit für ~400,- über den Tisch, die PM (=TLC Flash) sind günstiger.
Das sind die Enterprise-/Datacenter-Versionen der 850pro (SM) und 850 Evo (PM). Es gibt auch neuere (Serie 883, Generation wie die 860), die sind aber deutlich teurer.

Achtung. Bekommst Du nur als OEM-Produkt ohne Herstellersupport/-Garantie. D.h. Du bist, wenn Privatkunde, auf die gesetzl. Gewährleistung bzw. Händlergarantie beschränkt.

 

[trendco]

Ist die PM auch ne Server-Platte?

Hab eben mal geschaut, die 480Gb Variante der SM863a kostet aktuell für ~189 EUR, die PM863a ~166 EUR.
Die SM883 liegt hingegen bei ~233 EUR, also schon noch mal ein Stück teurer.

Gibts denn noch günstigeres (das was taugt) wie die SM863? Andere Marken?

 

[gea]

Ist die PM auch ne Server-Platte?

Hab eben mal geschaut, die 480Gb Variante der SM863a kostet aktuell für ~189 EUR, die PM863a ~166 EUR.
Die SM883 liegt hingegen bei ~233 EUR, also schon noch mal ein Stück teurer.

Gibts denn noch günstigeres (das was taugt) wie die SM863? Andere Marken?

Die Samsung SM/PM sind Datacenter SSD mit Powerloss Protection.
Die übliche Alternative sind Intel DC 35x0 - DC 37x0 oder WD Ultrastar SSD

So günstig wie derzeit die PM/SM von Samsung gibts nichts vergleichbares.

Wenn man viel schreiben möchte ist die SM besser geeignet (z.B. VM Storage, Mailserver).
Die PM hat weniger Schreib-iops und ist eher für leselastige Anwendungen (z.B. Webserver).

 

[trendco]

Ok, danke für die Info.
Das hilft mir bei der Entscheidung.
Auf dem Mirror laufen nämlich VM's, dann nehm ich die SM863a.

Noch was ZFS spezifisches:
Ich habe einen ZFS-Mirror aus 2x Crucial-MX200-250GB (Durch Over-Provisioning bei Einrichtung damals, netto noch ~190GB)
Eine dieser SSD's ist nach nun 3 Jahren Dauerbetrieb hinüber (bringt Fehler, ging schon 1x komplett Offline, etc.).
Diese Defekte SSD möchte ich nun durch die SM863a ersetzen.
Muss ich da etwas beachten wenn die neue jetzt größer ist (480GB)?
Falls die Frage aufkommen sollte, warum ich die 480'er statt der 240'er nehme: Über kurz oder lang wird die andere Crucial wohl auch Prrobleme machen, dann würde ich eine zweite Samsung nachkaufen und den Pool expandieren.

Und wie ist noch mal die genaue ZFS-Befehlsfolge fürs wechseln?
Ich bin mir nicht mehr ganz sicher.

 

[Luckysh0t]

Zur Info

Dateisystem: FreeBSD will fr ZFS auf Code von Linux-Port wechseln - Golem.de

 

[gea]

Und wie ist noch mal die genaue ZFS-Befehlsfolge fürs wechseln?
Ich bin mir nicht mehr ganz sicher.

zpool replace pool alt neu
https://docs.oracle.com/cd/E53394_01/html/E54801/gazgd.html

Wenn ashift unterschiedlich ist, kann es probleme geben

 

[morph027]

Interessantester Teil:

Einer der zuständigen Entwickler, Matthew Macy, berichtet nun auf einer Mailingliste von FreeBSD, dass der bisher letzte verbliebene kommerzielle Unterstützer des ZFS-Codes in Illumos künftig allerdings auf die ZoL-Implementierung wechseln wolle.

In Illumos werde damit die Entwicklung neuer Funktionen nur noch sehr klein ausfallen oder eben gar nicht mehr stattfinden.

 

[gea]

Zur Info

Dateisystem: FreeBSD will fr ZFS auf Code von Linux-Port wechseln - Golem.de

Ist eigentlich naheliegend.
Auch wenn innerhalb von Open-ZFS die Unterschiede gering sind, so ist das Linux Ökosystem erheblich größer und neuere Features kommen vermehrt aus ZoL in Open-ZFS. Bei Free-BSD kommt hinzu, dass die Dateirechte für ZFS eher Linux alike sind als NFS4 mit Windows SID Rechten für SMB unter Solaris und Illumos.

Ich gehe eh davon aus, dass sich die reine Open-ZFS Entwicklung mehr vereinheitlichen wird und der bisherig Haupt-Entwickler Schwerpunkt Illumos sich zu Linux verschieben wird, schon allein wegen der Marktbedeutung und der Größe der Entwicklergemeinde. Betrifft aber alles nur das reine ZFS Dateisystem, nicht die Optionen die das Betriebssystem da drauf setzt.

 

[trendco]

zpool replace pool alt neu
https://docs.oracle.com/cd/E53394_01/html/E54801/gazgd.html

So schaut der Pool aktuell aus:

        NAME        STATE     READ WRITE CKSUM
        rpool       ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            sda2    ONLINE       0     0     0
            sdb2    ONLINE       0     0     0

-> sdb ist die Problem-SSD.
Diese soll zuerst offline genommen werden und ausgebaut werden.
Danach die neue rein und wieder einbinden.

D.h. ich nehm die alte offline mit:
-> zpool offline rpool sdb2
Danach baue ich die neue an gleicher Stelle ein. Die wird dann ja auch wieder "sdb" sein.
Wie muss dann der Replace Befehl aussehen, ich blicks grad irgendwie nicht, sorry.

Wenn ashift unterschiedlich ist, kann es probleme geben

Ei...wie prüf ich das?

Hier die Ausgabe von "zed -C"

rpool:
    version: 5000
    name: 'rpool'
    state: 0
    txg: 52274164
    pool_guid: 4305096872160495494
    errata: 0
    hostid: 2831164162
    hostname: 'proxmox'
    com.delphix:has_per_vdev_zaps
    vdev_children: 1
    vdev_tree:
        type: 'root'
        id: 0
        guid: 4305096872160495494
        children[0]:
            type: 'mirror'
            id: 0
            guid: 9323348441527326797
            metaslab_array: 35
            metaslab_shift: 30
            ashift: 12
            asize: 204985597952
            is_log: 0
            create_txg: 4
            com.delphix:vdev_zap_top: 209
            children[0]:
                type: 'disk'
                id: 0
                guid: 16958448877908469239
                path: '/dev/sda2'
                whole_disk: 0
                DTL: 93
                create_txg: 4
                com.delphix:vdev_zap_leaf: 249
            children[1]:
                type: 'disk'
                id: 1
                guid: 12450546885207616575
                path: '/dev/sdb2'
                whole_disk: 0
                DTL: 92
                create_txg: 4
                com.delphix:vdev_zap_leaf: 250
    features_for_read:
        com.delphix:hole_birth
        com.delphix:embedded_data

Das Problem ist, das ganze ist der Boot-Mirror-Pool von meinem Proxmox-Server

Update:
Ich bin eben auf das hier gestossen: ZFS: Tips and Tricks - Proxmox VE
-> "Replacing a failed disk in the root pool"
Muss ich da genau so vorgehen bzgl. GPT kopieren, GUIDs randomize, Grub installieren?
Geht das expandieren dann später überhaupt?

 

[Stangensellerie]

Wenn ich mir deinen Tips&Tricks-Link so durchlese, schlackern mir die Ohren und ganz besonders bei Sätzen wie diesem: "If you are upgrading to larger disks, now is the time to go in with parted(8) and manually resize/recreate the partitions. (Have fun.)..."

 

[besterino]

Hmmm... das riecht dann aber auch so ein bisserl danach, dass ZFS auf den freien Solaris Forks immer weniger support finden wird und in der Solaris Welt der Abstand zum Original noch schneller noch größer wird als zuvor.