[Sammelthread] ZFS Stammtisch

@gea

Was würdest Du für napp-it empfehlen, um regelmässig verschlüsselte (!) Backups auf entfernte Verzeichnisse vorzunehmen? Gibt es in Deinem Tool eine Funktion, die Cloud Backup kann? Oder ...

Ich habe eine Hetzner Storagebox und folgende Protokolle stehen mir zur Verfügung: FTP/FTPS/SAMBA/CIFS/SFTP/SCP/SSH/rsync/BorgBackup/WebDAV.

Merci!
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Verschlüsseln sollte mit rclone möglich sein. Ideal wäre die Zusammenarbeit mit einem S3 Server (Amazon oder minIO).

Crypt

Encryption overlay remote
rclone.org rclone.org

Verschlüssellung ginge auch lokal, dann sync mit rsync
forum.rclone.org

Encrypting a local folder

I'm currently using rclone to encrypt a local folder on of my remote linux servers. I mount the drive just like I mount a remote encrypted google drive. Unfortunately, that shit is SLOW, which makes me ask the question: What settings would improve performance reading and writing to a locally...
forum.rclone.org forum.rclone.org

Um das zu automatisieren, ein Shell oder Perl Script dazu anlegen und per "other Job" starten
minIO Server und rclone werden bei napp-it automatisch installiert (sind im OmniOS Extra Repository)

Amazon S3 compatible ZFS cloud with minIO

Due a customer/my request, OmniOS added minIO client and server and rclone to the extra repo Package Catalog MinIO | Enterprise Grade, High Performance Object Storage MinIO | MinIO Client Quickstart Guide MinIO | The MinIO Quickstart Guide MinIO Enjoying Role in Emerging Cloud Architecture...
forums.servethehome.com forums.servethehome.com
 
  • Danke
Reaktionen: you
Danke, das Dokument ist schon recht alt.
Ich habe den Downloadlink aktualisiert.
 
Ich kriegs nicht hin :unsure:

Replication von nicht verschlüsseltem Quellen-Dataset (nas/syncthing) auf Backup-Wechsel-Festplatte (pool: extern) mit verschlüsseltem Zieldataset (backup).
  1. Wenn ich einen Replikationsjob in nappit (21dev) anlege und starte, wird ein neues Dataset extern/backup/syncthing angelegt - passt
  2. Ich kann auf die Backup-Daten zugreifen - passt
  3. Wenn ich das Dataset extern/backup auf "LOCKED" setze, kann ich nicht mehr auf die Backup-Daten zugreifen. Alles ist leer. - passt
  4. Wenn ich nun das Dataset extern/backup wieder auf "UNLOCKED" setze, dann sehe ich zwar das Verzeichnis syncthing, Daten sind darin aber keine mehr sichtbar. - ????
  5. Ein check des Filesystems zeigt, dass syncthing den gleichen Speicherplatz belegt, wie zum Zeitpunkt 2. - ????
 
Zuletzt bearbeitet:
Ich habe das mal nachgestellt:
-neuen Pool b anlegen (basic vdev)
- verschlüsseltes Dateisystem b/enc anlegen

- Replikation von anderem Pool/unverschlüsseltes Dateisystem nach b/enc

Ergebnis:
b/enc steht auf Verschlüssellung=auto (Verschlüssellung ist vererbt, Menü ZFS Dateisysteme)
nach lock/unlock von b/enc ist Zugriff möglich auf n/enc und repliziertem Dateisystem (getestet via Zugriff über SMB)

Gibt es eine Besonderheit?
 
Bei mir ist es so:
  1. Wechselfestplatte initialisiert. Pool backupa darauf angelegt und darauf wiederum ein verschlüsseltes Dateisystem backup. SMB Share = "off" (brauche ich nicht) / Status = "unlocked".
  2. Replikation von /nas/syncthing (unverschlüsselt) auf /backupa/backup via Job: Quelle und Ziel eingegeben, Rest so belassen, wie es ist.
Ergebnis:
  • Ausgangssituation
    • /backupa/backup steht auf "UNLOCKED"
    • /backupa/backup/syncthing steht auf "AUTO". Datastore wurde bei erster Replikation automatisch angelegt.
    • Dateien sind auf Konsole sichtbar.
  • LOCK
    • In der Übersicht erscheinen /backupa/backup/ "LOCKED" und /extern/backup/syncthing weiterhin "AUTO"
    • Ordner /backupa/backup ist auf der Konsole leer. Also auch das Verzeichnis /backupa/backup/syncthing ist nicht sichtbar
  • UNLOCK
    • In der Übersicht erscheinen /backupa/backup/ "UNLOCKED" und /extern/backup/syncthing weiterhin "AUTO"
    • Verzeichnis /backupa/backup/syncthing wird auf Konsole angezeigt. Hat aber keinen sichtbaren Inhalt.
    • Filesystem bleibt mit 2.5 GB "belastet".
 
you schrieb:
Bei mir ist es so:
  1. Wechselfestplatte initialisiert. Pool backupa darauf angelegt und darauf wiederum ein verschlüsseltes Dateisystem backup. SMB Share = "off" (brauche ich nicht) / Status = "unlocked".
  2. Replikation von /nas/syncthing (unverschlüsselt) auf /backupa/backup via Job: Quelle und Ziel eingegeben, Rest so belassen, wie es ist.
Ergebnis:
  • Ausgangssituation
    • /backupa/backup steht auf "UNLOCKED"
    • /backupa/backup/syncthing steht auf "AUTO". Datastore wurde bei erster Replikation automatisch angelegt.
    • Dateien sind auf Konsole sichtbar.
  • LOCK
    • In der Übersicht erscheinen /backupa/backup/ "LOCKED" und /extern/backup/syncthing weiterhin "AUTO"
    • Ordner /backupa/backup ist auf der Konsole leer. Also auch das Verzeichnis /backupa/backup/syncthing ist nicht sichtbar
  • UNLOCK
    • In der Übersicht erscheinen /backupa/backup/ "UNLOCKED" und /extern/backup/syncthing weiterhin "AUTO"
    • Verzeichnis /backupa/backup/syncthing wird auf Konsole angezeigt. Hat aber keinen sichtbaren Inhalt.
    • Filesystem bleibt mit 2.5 GB "belastet".
Zum Vergrößern anklicken....

Prinzipielle Situation wie bei mir.
Ist /backupa/backup/syncthing (unlocked) auch bei Zugriff als root leer?
 
Yepp. Auf der Konsole bin ich als root unterwegs. Habs auch schon mehrmals neu versucht. Export/Import durchgeführt. Rechner neu gestartet. Das Übliche halt :) ... bisher ohne gewünschtes Ergebnis.
 
Der einzige Unterschied ist dass ich eine Festplatte statt Wechselplatte verwendet habe. Das kann aber keinen Unterschied ausmachen der einen Lock/unlock Vorgang beeinträchtigt. Ich könnte mir allenfalls noch ein Mountproblem vorstellen z.B. weil der Ordner /backupa/backup/ nicht leer ist oder es da gar eine normale Datei/Ordner syncthing (kein ZFS Dateisystem) gibt.

Bitte mal im Menü ZFS Dateisysteme auf das Dateisystem /extern/backup/syncthing klicken (listet alle ZFS Eigenschaften). Was steht da bei mountpoint?
 
Zuletzt bearbeitet:
So ... erst mal ein Backup gemacht :d

Neuer Versuch: backupb/backup/test

Aus den Infos zum Filesystem

backupb/backup/testmountpoint/backupb/backup/testdefault

ABER

backupb/backup/testmountedno


EDIT:

zfs mount backupb/backup/test bringt die Dateien zurück. Es fehlt nach UNLOCK also ein Mount des Datasets test.

Ich habe gleich im Anschluß noch mal LOCKED/UNLOCKED, mit dem gleichen Resultat, wie zuvor. Dataset test ist nicht gemountet.


EDIT II:

Zur ergänzenden Info: Meine "Wechselplatte" ist eine, die ich in den Server einschiebe. Die hängt dann, wie alle anderen auch, direkt am HBA. Insoweit kein Unterschied zu dem, was Du in Deinem Setup nachgestellt hast.
 
Zuletzt bearbeitet:
Wenigstens ist das Problem jetzt klar. Eigentlich sollte nach einem unlock das Dateisystem automatisch gemountet werden.

- welches OmniOS
- welches napp-it (eventuell zur Sicherheit update auf neuestes 21.06a2 oder dev 1.10.). Ich hatte kein Problem, habe da bei den Mountoptionen aber etwas geändert
- welches Keyverfahren (prompt, file, split file, keyserver, split keyserver, SMB unlock/lock)?
 
Zuletzt bearbeitet:
@Luckysh0t - Ich exportiere vor der Entnahme und importiere, wenn ich die Platte wieder reingeschoben habe

@gea
- OmniOS: aktuellstes r151038 mit allen Updates bis gestern
- nappit: PRO 21.dev vom 01. Oktober.
- key: prompt
 
Bei mir tritt das Problem bei gleicher Umgebung nicht auf.
Steht "canmount" von backupb/backup/ auf on?

Ich werde mir das unlock Script nochmal anschauen, und eventuell
extra ein mount anfügen. Sollte ansonst nicht weiter stören.
 
Hi @gea. Ja, canmount steht auf ON

backupb/backupcanmountondefault

EDIT:

Ergänzend sei noch erwähnt, dass ich alles mit napp-it gemacht habe. Vom Initialisieren der Platte über Pools und Datasets anlegen bis hin zu Job anlegen und ausführen. Alles bei NULL beginnend.
 
Zuletzt bearbeitet:
Fragen zu napp-it:

  • Wenn das Monitoring eingeschlaltet ist (PRO-Version), läuft das dann auch, wenn die Weboberfläche nicht benutzt wird? Macht das Einschalten nur für den Bedarfsfall performancetechnisch also Sinn?

  • Was bedeutet "smartpar" (in Rot) unter Smartparameter einer Festplatte?
    c0t5000C50086E02D5Fd0 ONLINE 0 0 0 8 TB ST8000AS0002-1NA Z84087KR S:0 H:0 T:0 smartpar

  • Ist Zeitupdate mit ntpdate noch aktuell? Ich bekomme fast immer "ntpdig: no eligible servers". Gefühlt 1x von 100 funktioniert es, ansonsten nicht. Egal, welche NTP-Server ich nehme. Andere Systeme haben da keine Probleme. Die Firewall schliesse ich als Ursache eigentlich aus. EDIT: Meine Lösung siehe hier
 
Zuletzt bearbeitet:
1. ja
Monitoring liest Daten über einen Backgroundjob. Will man max Performance, dann ausschalten - auch wenn die Last nicht übermäßig ist

2. Siehe Disks > Smartvalues
Ein oder mehrere Smart Parameter sind zu schlecht. Das kann auf künftige Probleme hindeuten,
www.computerworld.com

The 5 SMART stats that actually predict hard drive failure

Backblaze, the cloud service provider that has released several internal studies on hard drive failure rates in its data center, today released data showing SMART stats are inconsistent from manufacturer to manufacturer and don’t always indicate an impending failure.
www.computerworld.com www.computerworld.com

3. was passiert bei (mit Angabe eines ntp Pools)
ntpdate de.pool.ntp.org
 
  • Danke
Reaktionen: you
you schrieb:
  • Ist Zeitupdate mit ntpdate noch aktuell? Ich bekomme fast immer "ntpdig: no eligible servers". Gefühlt 1x von 100 funktioniert es, ansonsten nicht. Egal, welche NTP-Server ich nehme. Andere Systeme haben da keine Probleme. Die Firewall schliesse ich als Ursache eigentlich aus.
Zum Vergrößern anklicken....
Unter ESXi wird ntpsec in OmniOS ausgeschaltet, da es davon ausgeht, dass die open-vm-tools die Zeit aktualisieren.

Evtl gibt es eine ähnliche Abhängigkeit ja auch bei proxmox?
 
  • Danke
Reaktionen: you
ad 3.

ntpdate de.pool.ntp.org
==>
ntpdig: no eligible servers

ntpdig -d de.pool.ntp.org
==>
ntpdig: querying 5.9.57.158 (de.pool.ntp.org)
ntpdig: no eligible servers

@asche77 ... ich erinnere mich. Muss ich mal schauen, ob es da Abhängigkeiten gibt.

EDIT:

Ich habe es gerade noch mal probiert. date zeigt etwa 2 Sekunden Differenz an. ntpdig -d de.pool.ntp.org zeigt o.g. Fehler.

Dann plötzlich funktioniert es (genau 1x). Zeit ist wieder synchron. Es erscheint:

Code: 
ntpdig: querying 5.199.135.170 (de.pool.ntp.org)
ntpdig: querying 83.136.84.239 (de.pool.ntp.org)
ntpdig: querying 188.40.142.18 (de.pool.ntp.org)
ntpdig: querying 217.79.179.106 (de.pool.ntp.org)
org t1: e5042927.d50f4000 rec t2: e5040d08.54a1aaba
xmt t3: e5040d08.54a3071a dst t4: e5042927.d9298000
org t1: 1633266343.832264 rec t2: 1633259144.330592
xmt t3: 1633259144.330613 dst t4: 1633266343.848289
rec-org t21: -7199.501672  xmt-dst t34: -7199.517677
2021-10-03 13:05:44.330612 (+0200) -7199.509675 +/- 0.008003 de.pool.ntp.org 5.199.135.170 s2 no-leap

EDIT II:

Ich habe nichts analog ESXI gefunden. ABER: Gibt es überhaupt einen guest agent für OmniOS?

EDIT III:
Meine Lösung siehe hier
 
Zuletzt bearbeitet:
you schrieb:
Hi @gea. Ja, canmount steht auf ON

backupb/backupcanmountondefault

EDIT:

Ergänzend sei noch erwähnt, dass ich alles mit napp-it gemacht habe. Vom Initialisieren der Platte über Pools und Datasets anlegen bis hin zu Job anlegen und ausführen. Alles bei NULL beginnend.
Zum Vergrößern anklicken....

Prinzipiell
you schrieb:
Hi @gea. Ja, canmount steht auf ON

backupb/backupcanmountondefault

EDIT:

Ergänzend sei noch erwähnt, dass ich alles mit napp-it gemacht habe. Vom Initialisieren der Platte über Pools und Datasets anlegen bis hin zu Job anlegen und ausführen. Alles bei NULL beginnend.
Zum Vergrößern anklicken....

Ich habe zwar keine Erklärung, warum das Dateisytem nicht gemounted wird...
In napp-it 21.dev vom 3.10. frage ich nach dem unlock zur Sicherheit "mounted" ab und rufe bei Bedarf ein zfs mount auf.
Beitrag automatisch zusammengeführt:

asche77 schrieb:
OmniOS guest agent für ESXi gibt es.
Zum Vergrößern anklicken....

Openvmtools sind im OmniOS repo

Package Search

pkg.omniosce.org pkg.omniosce.org
 
  • Danke
Reaktionen: you
Danke @gea. Ich teste 21.dev von heute nachher noch einmal bei mir.

Die Package Search kannte ich noch gar nicht. Cool.

Open-VM-Tools sind für VMWARE. Ich benötigte ein Äquivalent für KVM/Proxmox, typischerweise "qemu-guest-agent". Und da ist mir nicht bekannt, dass es das für Solaris gibt. Weswegen ich nicht glaube, dass das Problem mit ntpdate ist.
 
Zuletzt bearbeitet:
@gea:

Leider funktioniert auch 21.dev vom 03. Oktober nicht. Ich muss nach wie vor die untergeordneten Datasets mit zfs mount -a mounten.

Meine Backup-Platten (a/b) sind 8TB ST8000AS0002-1NA von Seagate und hängen direkt an HBA1 (Mainboard, Supermicro, 3008). An diesem hängen auch die Platten der Quellen-Datasets, nas/....

In meinem System steckt noch ein HBA2 (PCIe, 3008), welches den Pool ssd beheimatet. Beide HBAs laufen mit der gleichen, aktuellsten Firmware.

Ich habe daher noch zwei weitere Tests gemacht:
  • Backup von unverschlüsselter Quelle: nas/data auf verschlüsseltes Ziel: nas/tst
  • Backup von unverschlüsselter Quelle: nas/data auf verschlüsseltes Ziel: ssd/tst
In beiden Fällen klappt das automatische Mounten nach einem UNLOCK :-)

Ich vermute, meine Wechsel-Platten brauchen einfach zu lange, um den Mount erfolgreich umzusetzen.
 
Zuletzt bearbeitet:
you schrieb:
@gea:


Ich vermute, meine Wechsel-Platten brauchen einfach zu lange, um den Mount erfolgreich umzusetzen.
Zum Vergrößern anklicken....

Sollte trotzdem mounten, dauert eventuell etwas länger.

Ich mache kein mount -a sondern ein mount dateisystem, sollte aber auch egal sein.
Nach dem unlock, kommt da eine kurze Meldung "is mounted" oder "mount Dateisystem"

(/var/web-gui/data/napp-it/zfsos/_lib/illumos/zfslib.pl, line 2317)
 
Zuletzt bearbeitet:
Kann ich die Meldungen irgendwo nachvollziehen. In der Fußzeile rappelt es nur so durch.
 
Im Minilog werden die gerade ausgeführten Befehle aufgelistet.
Wenn man im Topmenü auf "Edit" klickt, so kann man die ausgeführten Befehle unter "Log" einblenden.

Die Mount Meldung kommt aber auf der Seite nach "Enter Passphrase"
 

Anhänge

  • mount.png
    mount.png
    32,7 KB · Aufrufe: 83
Das ist ja cool. Wäre ich nie drauf gekommen :) ... ich warte noch das aktuelle Backup ab und schau dann.

Ganz lieben Dank für Deine Top Unterstützung, gea. Insbesondere, weil ich das am Wochenende überhaupt nicht erwarte. Also: DANKE!


EDIT:

Ich kann leider nichts erkennen. Das Log ist immer das Gleiche. Ob ich den Befehl jetzt ausführe oder die Seite neu lade. Ich bekomme keine verwertbaren Informationen zwischen dem Klick auf SetProperties und dem Neuladen der Seite.

Meine Schritte:

Klick "UNLOCK"
-> Passphrase eingeben
-> Pop-Up nach unten schieben
-> Klick EDIT/Log -> Monitor Extension Pop-Up erscheint zusätzlich (gelber Hintergrund)
-> Klick "SET PROPERTY" im UNLOCK-Pop-Up
-> Monitor Extension Pop-Up verschwindet und bringt beim Neuaufrufen das Gleiche, wie beim Reload der Seite ZFS-Filesystem
 
Zuletzt bearbeitet:
Hallo Gea

https://illumos.topicbox.com/groups/omnios-discuss/T42209fa523af7b76

github.com

Releases · omniosorg/lx-images

Contribute to omniosorg/lx-images development by creating an account on GitHub.
github.com github.com

Wäre es möglich diese Images aufzunehmen, die Liste von Joyent die Nappit wohl benutzt erhält kaum noch updates
Das "neuste" Debian dort ist beispielsweise Version. Mittlerweile sind wir afaik sogar schon bei 11, wenn auch noch recht neu. In dem zweiten Link gibt es aber zumindest die 10er Version
 
Anmelden, um zu antworten.

Ähnliche Themen

G
Wieviel ZFS steckt in Qnap ZFS ??
Antworten
5
Aufrufe
895
gea
G
Shihatsu
ZFS Pool "verschicken"
Antworten
9
Aufrufe
605
sandreas
S
thor17
Ceph Node auf bestehenden ZFS Pools
Antworten
3
Aufrufe
540
gea
G
G
[Übersicht] napp-it cs, Web-GUI für fast jeden ZFS Server oder Servergruppen
4 5 6
Antworten
158
Aufrufe
9K
gea
G
AliManali
*erledigt* Perc H310 flashen
Antworten
2
Aufrufe
311
AliManali
AliManali
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh