[Sammelthread] ZFS Stammtisch

[besterino]

Unterschiedliche Datasets machen vor allem dann Sinn, wenn Du die Daten darin unterschiedlich behandeln willst (z.B. im Hinblick auf Kompression, Verschlüsselung, Replikation/Backup usw.). Daten, die in dieser Hinsicht "gleich" sind, kannst Du auch gleich behandeln = in das gleich Dataset packen (und z.B. logisch/optisch über Unterordner trennen/sortieren).

 

[gea]

@gea

ich wollte die appliance map ausprobieren und habe hierfür das sas2ircu und sas3ircu heruntergeladen. Leider findet er mir bei "Disk Location" schon den Controller nicht.

Dieser ist ein LSI3008 auf dem Board aus der Signatur. Geflasht auf IT Mode und via VT-D an die VM in ESXi durchgereicht.

Hast du ne Idee wo ich gucken könnte bzw. ein Tipp woran das liegt?

Ich hatte das auch schonmal.
Das Problem ist dass nicht jeder 3008 Controller mit jeder Version von sas3ircu erkannt wird.
Am Besten eine andere bzw ältere Version probieren.

http://www.avagotech.com/support/download-search

>> Suche Keyword sas3ircu, unter Archive gibts ältere Versionen

 

[teqqy]

Vielen Dank. Mit der ältesten Version hat es geklappt. Hab allerdings nicht wirklich großartig durchprobiert.

Könntet du als Feature Request noch Wechselrahmen mit 4x 2,5" in einem 5,25" Schacht als Möglichkeit zur Darstellung einbauen?

 

[gea]

Das kann man so abbilden:
Eine neue Map 3h (horizontale Schächte) mit 2 Reihen und 4 Spalten hinzufügen.

Das sieht zunächst aus wie ein typisches 8Bay 3,5" Storage aus.
Jetzt in jeder Reihe die ersten zwei Bays abdecken und man hat eine passende Darstellung der Schächte.
(Auf dem Schacht auf edit klicken und 'cover' wählen)

 

[SUNMorph]

Hier würde @Home bestimmt auch ein RAIDZ1 reichen.


Ich geh mal davon aus, dass ein Verlust dieser Filme kein Beinbruch wäre (im Gegensatz zum Datenpool) - daher würde ich hier nicht auf Z2 gehen.
Pool1 - 5x3TB RAIDZ1 - Kinderfilme
Pool2 - 5x3TB RAIDZ1 - Papa´s Gartenfilme
Pool3 - 2x3TB Mirror - Familienfilme
oder
Pool1 - 3x3TB RAIDZ1 - Kinderfilme
Pool2 - 3x3TB RAIDZ1 - Papa´s Gartenfilme
Pool3 - 3x3TB RAIDZ1 - Familienfilme
Pool4 - 3x3TB RAIDZ1 - Musikvideos

(Die Zuordnung der Filmgenres kann auch getauscht werden! )

Je kleinteiliger du es machst, um so mehr verschenkst du aber an Platz und an Speed. Auch unter Beachtung des jeweiligen Pool-Füllstandes.

Ich persönlich nehme gerne RAID50 also 2 vdev RAIDZ1:
Pool1 - Kinderfilme, Familienfilme, Musikvideos:
vdev1 -3x3TB RAIDZ1
vdev2 -3x3TB RAIDZ1
Pool2 - Papa´s Gartenfilme:
vdev1 -3x3TB RAIDZ1
vdev2 -3x3TB RAIDZ1

Im Endeffekt hast du mit 12 Platten doch ne ganze Menge Möglichkeiten...


Updaten ist grundsätzlich sinnvoll, wenn die Kiste am Internet hängt und/oder neue/reparierte Funktionalitäten benötigt werden.
Ansonsten gilt: never change a running system! ...oder man hat einfach Spaß am Basteln...

Die 20 ist ja ein stable-Release. Daher sollte das kein Problem sein. Jedoch muss man je nachdem wo man herkommt evtl. einiges beachten...
Da du eh alles neu hast, würde ich die stable-20 komplett neu istallieren.

danke schon mal für deine Antwort.

 

[teqqy]

Um ein Backup über Snapshots mit send/receive zu machen, was benötige ich auf der Gegenseite? Reicht ein Linux oder brauch ich ein Solarish System?

Hintergrund: Backup auf den Sever der dadrunter steht ist semioptimal. Daher war ich am überlegen ob ich mir bei einem Host einen root Server (Linux) miete und darauf sichere.

 

[SUNMorph]

Das kann man so abbilden:
Eine neue Map 3h (horizontale Schächte) mit 2 Reihen und 4 Spalten hinzufügen.

Das sieht zunächst aus wie ein typisches 8Bay 3,5" Storage aus.
Jetzt in jeder Reihe die ersten zwei Bays abdecken und man hat eine passende Darstellung der Schächte.
(Auf dem Schacht auf edit klicken und 'cover' wählen)

Die Appliance Map kann ich die nur mit einer Complete Pro Edition verwenden oder geht das auch wenn ich nur die Monitor Extension gekauft habe?

 

[morph027]

Um ein Backup über Snapshots mit send/receive zu machen, was benötige ich auf der Gegenseite? Reicht ein Linux oder brauch ich ein Solarish System?

Hintergrund: Backup auf den Sever der dadrunter steht ist semioptimal. Daher war ich am überlegen ob ich mir bei einem Host einen root Server (Linux) miete und darauf sichere.

Muss ein ZFS System sein Linux mit ZoL geht schon. Brauchst halt einen vollwertigen Server mit Kernel Zugriff, nicht nur einen Container.

 

[gea]

Um ein Backup über Snapshots mit send/receive zu machen, was benötige ich auf der Gegenseite? Reicht ein Linux oder brauch ich ein Solarish System?

Hintergrund: Backup auf den Sever der dadrunter steht ist semioptimal. Daher war ich am überlegen ob ich mir bei einem Host einen root Server (Linux) miete und darauf sichere.

Zwischen OpenZFS und ZFS v5000 geht Replikation OS/plattformübergreifend.
Als Option gäbs auch noch rsync bzw robocopy wenn die Gegenseite Windows ist.

- - - Updated - - -

Die Appliance Map kann ich die nur mit einer Complete Pro Edition verwenden oder geht das auch wenn ich nur die Monitor Extension gekauft habe?

Appliance Funktionen gehen nur mit der Complete.
Für die Zuordnung einer Platte mit WWN Kennung zu einem Slot in der Backplane braucht man die aber nicht.

Tipp
Einen 2 Tage Evalkey von napp-it.org laden, damit die grafische Map erstellen und ausdrucken.
Ändert sich ja nicht so oft.

 

[teqqy]

Muss ein ZFS System sein Linux mit ZoL geht schon. Brauchst halt einen vollwertigen Server mit Kernel Zugriff, nicht nur einen Container.

Ist ja heutzutage auch kein Problem mehr.

Zwischen OpenZFS und ZFS v5000 geht Replikation OS/plattformübergreifend.
Als Option gäbs auch noch rsync bzw robocopy wenn die Gegenseite Windows ist.

Windows Systeme wären etwas teuer.

Bei u. a. netcup gibt es die Möglichkeit eigene DVD ISOs zu benutzen. Da könnte man direkt ein OmniOS oder dergleichen nehmen. Dann hätte ich zumindest den gleichen Softwarestand.
Ich habe das richtig verstanden, dass die Backups dann forever incremental sind?

 

[gea]

Ich habe das richtig verstanden, dass die Backups dann forever incremental sind?

ZFS Replikation hält zwei ZFS Dateisysteme syncron.
Beim ersten Lauf wird es komplett übertragen, anschliessend nur noch die geänderten Datenblöcke über neuere ZFS Snapshots.

 

[morumbinas]

Ich hab auf meinem Backupserver mit napp it (aktuell noch Pro Test Lizenz) einen Replikation Job erstellt mit Source mein Fileserver und Verzeichnis bzw Tank. Als Ziel auf dem Backupserver ebenfalls nur Tank. Der Hob startet und finished, aber es werden nur ein paar KB übertragen. Liegt das daran das ich noch ein ZFS Filesystem auswählen muss, also reicht es nicht nur den Pool auszuwählen?


Und noch eine weitere Frage: Wird der Replikation Job nach dem Ende des Testzeitraums gelöscht oder läuft dieser noch weiter, nur das ich dann keine Einstellungen mehr vornehmen kann?


Danke

 

[gea]

Der Pool ist ja auch ein Dateisystem.
Wrd nur der Pool ohne Recursiv-Option gewählt, dann wird der schnell übertragen. Da ist ja normalerweise nichts.

ps
Die Recursiv Option sollte man nur für einmalige Transfers wählen.
Wenn man ansonst ein Datesystem zusätzlich anlegt, fällt der Job auf die Nase.
Besser Dateisysteme einzeln replizieren.

Napp-it Free kann nur lokale Replikation oder man muss eines der freien Scripte oder manuell + SSH nehmen.

 

[SUNMorph]

Tipp
Einen 2 Tage Evalkey von napp-it.org laden, damit die grafische Map erstellen und ausdrucken.
Ändert sich ja nicht so oft.

Danke, werde ich machen sobald alles fertig ist.

Gibt es eigentlich eine Möglichkeit in OmniOS/Nappit, eine Ordnerstruktur in einen SMB Share über verschieden Pools zu bekommen?

Also SMB Share "Media" mit Unterordner "Share1" aus pool1, "share2" aus pool1, "share3" aus pool2 usw?

 

[besterino]

Nur mal als blöder Workaround aus der Linuxwelt übertragen ggf. mit sym- oder Hardlinks...?

 

[morph027]

Hm...das wird nicht immer transparent aufgelöst. Das "proxy" Dingens ist was für DFS, weiss aber nicht, wie und ob das mit Solaris geht.

 

[SUNMorph]

In meinem alten Setup habe ich das über DFS geregelt, aber wenn das NappIt kann erspare ich mir den Umweg. Wenn nicht muss wieder DFS herhalten.

 

[gea]

Danke, werde ich machen sobald alles fertig ist.

Gibt es eigentlich eine Möglichkeit in OmniOS/Nappit, eine Ordnerstruktur in einen SMB Share über verschieden Pools zu bekommen?

Also SMB Share "Media" mit Unterordner "Share1" aus pool1, "share2" aus pool1, "share3" aus pool2 usw?

Nein, bei Solarish CIFS ist ein SMB share eine strikte Eigenschaft eines ZFS Dateisystems.

 

[morumbinas]

Muss der Rechner, mit dem ich via ZFS send ein Backup erstelle immer on sein für ein Backup?


Ich mache gerade zum ersten mal wie folgt ein Backup:

/sbin/zfs send tank_fileserver/userdata@31-1471165526_2016.11.16.23.00.06 | ssh 192.168.178.26 /sbin/zfs recv -F tank_backupserver/backup_fileserver


"/sbin/zfs" musste ich einfügen, da die Bash mir angezeigt hat, dass es das Kommando recv bzw. receive nicht kennt.

Passt das soweit?

Beim nächsten mal kann ich dann mit send -i ein inkrementelles Backup machen, richtig?

 

[gea]

HowTo siehe http://docs.oracle.com/cd/E19253-01/820-2313/gbchx/index.html

- Die Rechner müssen nur zur Replikation on sein.
- Beim ersten Lauf wird ein Snap erstellt und übertragen.
- Beim nächsten Lauf wird ein neuer Snap erstellt und die darin enthaltenen geänderten Datenblöcke übertragen.

Wichtig: Die inkrementelle Replikation benötigt immer identische Snappaare als Basis für den nächsten Lauf.

 

[xymos]

Ich habe eben festgestellt, dass ich, nachdem ich Dateien von meinem ZFS Filer gelöscht habe, diese nicht als "freier Speicherplatz" berechnet wurden.
Habe Client als auch den Server erbotet; kein Erfolg.
Hat jemand von euch eine Idee ?
ein zPool Statius liefert keinen Fehler aus.

Allerdings listet "zpool list" viel mehr freien Speicherplatz als das SMB Share.

danke

_xymos.

 

[gea]

vermutlich gibts Snapshots.

Wenn man einen Snapshot anlegt und dann etwas löscht, können die entsprechenden Datenblöcke nicht freigegeben werden, sonst könnte man ja die Daten nicht mehr aus dem Snap wiederherstellen.

 

[fdiskc2000]

Seit heute meldet mein rpool "degraded" mit folgendem Fehler:

errors: Permanent errors have been detected in the following files:
//var/fm/fmd/infolog_hival-
//var/fm/fmd/errlog-

Das ganze ist in einer VM und der Fehler tritt kurz nachdem ich den Fehlerspeicher gelöscht habe wieder auf.

So wie ich das sehe sind das doch aber nur log-Dateien, oder? Könnte man die löschen?

Würde das gerne eher reparieren anstatt neu zu installieren.

 

[SUNMorph]

Nein, bei Solarish CIFS ist ein SMB share eine strikte Eigenschaft eines ZFS Dateisystems.

danke,

 

[gea]

info

OmniOS 151020 stable ist verfügbar
https://omnios.omniti.com/wiki.php/ReleaseNotes/r151020

neu
NVMe 1.1 driver
Linux LX container support (aus SmartOS, beta)

USB3 support für Illumos (OmniOS, OI, SmartOS) on the way
https://www.mail-archive.com/omnios-discuss@lists.omniti.com/msg07158.html

Bei Updates: Illumos wechselt von SunSSH zu OpenSSH
https://omnios.omniti.com/wiki.php/Upgrade_to_r151020


napp-it 16.11.dev
Ab napp-it 16.11dev werde ich den Support für alte Browser reduzieren um den CSS/js Code
zu vereinfachen. Erster Schritt ist die Umstellung des Menüs von Javascript auf CSS only (ul Listen)
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux : Downloads

 

[besterino]

@gea: ich fummele gerade mit ZFS/ESXi Hotsnaps herum. Im Napp-It Menü "Jobs-->ESXi hot-snaps" steht 2x import "select pre-job":

Needed actions to include an ESXi hot-memory-snap in every ZFS snap:

  - enable SSH access to your ESXi server (menu Services >> SSH >> SSH keys)
  - edit ESXi serverlist                  (menu Jobs >> ESXi hot-snaps >> ESXi serverlist)
  - request VM list from all ESXi server  (menu Jobs >> ESXi hot-snaps >> request ESXi VM list)
  - edit VM list/ remove unneeded VMs     (menu Jobs >> ESXi hot-snaps >> edit ESXi VM list)

  - import VM list for pre-job actions    (menu Jobs >> ESXi hot-snaps: select [B][U]pre-job[/U][/B] with action=import)
                                          DO not forget to submit this menu!
  - import VM list for post-job actions   (menu Jobs >> ESXi hot-snaps: select [B][U]pre-job[/U][/B] with action=import)
                                          DO not forget to submit this menu!

  - enable pre/post execution             (menu Jobs, click on jobid, set prejob to yes)

   -on problems like ESXi snaps not done, not removed after ZFS snap: check pre ZFS snap /post ZFS snap actions
    or try the logged SSH commands from console

Ich vermute mal, das ist ein Tippfehler und beim 2. mal müssten man den post-job importieren? Hab' das jedenfalls mal so gemacht und den Snap-Job mal testweise manuell angestoßen.... wünscht mir Glück.

Als nächstes würde ich gerne diese HotSnaps noch auf einen anderen Pool wegreplizieren - idealerweise automatisch 1x die Woche und zwar so, dass nur die ESXi-Hotsnaps wegrepliziert werden, also nicht automatisch noch ein Replikationssnap erzeugt wird. Geht das? Und wenn ja, wie? (Hintergrund: die VMs liegen auf einem SSD-ZFS-Raid0 und ich würde die eben gerne auf ein HDD-RaidZ replizieren.)

 

[gea]

Ja ein Tippfehler.

Zum Problem:
ZFS Snaps kann man ohne Zeitverzug in praktisch beliebiger Anzahl erstellen. Dank CopyOnWrite wird ja lediglich ein früherer Versionsstand eingefroren bzw Platz geänderter Daten lediglich nicht wieder freigegeben. Ein Snapstand auf Platte ist dabei so wie wenn man den Stromstecker gezogen hätte.

ESXi Snaps können da mehr. Die speichern sogar den Memory state, das heisst, man kann bei einer laufenden Maschine einen Snapshot erstellen und exakt diesen Hot-Status wiederherstellen. ESXi Snaps sind dabei einfach Dateien, die die Änderungen zum vorherigen Stand in einer Datei protokollieren. Der Hauptnachteil dabei ist, dass diese Delta Datei ständig wächst. ESXi Snaps kann man daher nur in sehr beschränkter Zahl erstellen und sollte die schnellstmöglich wieder auflösen.

Über die napp-it Pre Funktion kann man nun vor einem ZFS Snap einen ESXi Snap anlegen, dann den ZFS Snap erstellen und anschiessend in der Post Funktion den ESXi Snap wieder loschen. Damit kann man bei einem ZFS restore den ESXi Hot-State wiederherstellen ohne ESXi auszubremsen.

Das ist komplett unabhängig von ZFS Replikation. Die sorgt ja dafür, dass zwei ZFS Dateisysteme auf zwei Systemen syncron bleiben.

 

[besterino]

Also würdest Du einfach das Dataset wegreplizieren und die Replikations-Snaps einfach ignorieren bzw. stehenlassen? Ich müsste dann ja eigentlich immer nur den letzten Repli-Snap für inkrementelle Replikation aufheben, richtig?

 

[gea]

Ja.
Da ESXi Snaps einfache Dateien sind, muss man lediglich dafür sorgen dass die Dateien aus dem VM Ordner gesichert sind, egal durch welchen Backup/ Replikations Mechanismus.

Also einfach das Dateisystem (mit dem ESXi Snaps) sichern/ replizieren.
Zum Restore dann Dateistand wiederherstellen und ESXi auf den ESXi Hotsnap zurücksetzen.

 

[danielmayer]

Moin Kollegen,
ich könnte gerade k**** und brauche mal einen Tipp von Profis.
Situation: Ubuntu 16.04, git-ZFS, zpool aus 1x SAS 3TB + 1x SATA 3TB ohne Redundanz am Perc H730 12G-Adapter ("non-Raid"). Die SATA-Platte wurde ca. Juli zur bestehenden SAS wegen Kapazität hinzugefügt.
Vor einer Woche hatte ich ein Firmwareupdate des HBA gemacht, in der Beschreibung stand "4k-Unterstützung von SATA-HDDs". Klang sinnvoll.
Update gemacht, kein Restart für fünf Tage (Server im Einsatz).
Nach dem Restart meldet die SATA-Platte nur noch "critical medium errors". Das ZFS setzt mit Resilvering an, hilft nicht.
Da bei uns gerade hinter dem Haus fürchterliche Bauarbeiten laufen, teilweise bodenerschütternd, dachte ich an doof-gelaufen & Harddefekt und habe eine andere 3TB-Platte eingesetzt und einen "zpool replace" gestartet. Nach nun zwei Tagen NUR Datenfehlern (Vollverlust aller neuen Daten) bin ich auf das o.g. Firmwareupdate gekommen und vermute dort den Bösewicht.
Also heute von DELL die vorherige Firmware geholt und geflasht, Rechner neu gestartet und die replace-HDD entfernt. Zpool mit "nur" der originalen SATA gestartet. Sieht gut aus: Es lassen sich Dateien lesen. Allerdings sieht es so aus, als ob alle bislang im Rahmen des "resilverings"/replacements angefassten Sektoren kaputtrepariert wurden: Die im Rahmen des replaces als "defekt" benannten Dateien sind defekt, andere zeitgleich erstellte Dateien kann ich nun wieder lesen.
Ein überwiegendes Backup gibt es, allerdings zuletzt vor dem SATA-Einbau im Juli...zur Sicherheit vor der zpool-Ergänzung. Kritisch sind leider einige nicht gesicherte neue Fotos... nur dafür die Arbeit.
Nun die Frage: Kann ich ZFS dazu überreden, die markierten defekten Dateien neu zu prüfen? Hilft das scrubbing? Hilft überhaupt noch was?

- - - Updated - - -

Ergänzung: Das Resilvering läuft noch (bzw. wieder) und geht mit guter Geschwindigkeit durch. Für die letzten 20% werden 1h20m angesetzt, bei dem Replacement&falscher Firmware brauchte es für 10% > 2 Tage.

- - - Updated - - -

Ergänzung 2: aktueller Stand:
pool: basis
state: ONLINE
status: One or more devices is currently being resilvered. The pool will
continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
scan: resilver in progress since Sun Nov 20 18:37:50 2016
2,19T scanned out of 2,53T at 96,6M/s, 1h2m to go
14,6G resilvered, 86,45% done
config:

NAME STATE READ WRITE CKSUM
basis ONLINE 31 0 0
basis ONLINE 0 0 0
basis2 ONLINE 942 0 31 (resilvering)
cache
sda8 ONLINE 0 0 0

errors: 18252 data errors, use '-v' for a list