TrueNAS Sicherung/Sync in externe Cloud => Verschlüsselung

[hs_warez]

TrueNAS läuft jetzt mal so wie ich es haben möchte (Freigaben, Snapshots,….).
Möchte natürlich die wichtigsten Daten (Fotos, Dokumente) mehrfach sichern.

• Sicherung auf ein altes QNAP-NAS – steht in einem anderen Brandabschnitt. Diese Umsetzung sollte mit rsync nicht so kompliziert werden.
• Sicherung auf eine externe Cloud (Nextcloud bei einem deutschen Anbieter)

So eine Cloud-Sicherung kann man – so wie ich es bis jetzt gelesen habe – relativ leicht umsetzen.
Meine Frage wäre halt, ob man die Daten bei der Übertragung auch irgendwie zusätzlich absichern/verschlüsseln kann!?

Danke!

LG

 

[Weltherrscher]

Nextcloud hat doch serverseitige Verschlüsselung?

Encryption configuration — Nextcloud latest Administration Manual latest documentation

Damit hast du
a) TLS (über HTTPS) bei der Übertragung und
b) SSE aufm (Nextcloud-)Server

Der Server-Betreiber sieht also niemals unverschlüsselte Daten.

 

[Gen8 Runner]

Tasks -> Cloud Sync -> Remote Encryption

"PUSH: Encrypt files before transfer and store the encrypted files on the remote system. Files are encrypted using the Encryption Password and Encryption Salt values."

Dort verschlüsselt TrueNAS noch vor dem Upload zum Anbieter der Wahl die Dateien und auf Wunsch sogar den Dateinamen. Nur Passwort & Encryption Salt bestens merken, ansonsten hast du im Falle des Falles nur noch Grütze vorliegen!

 

[hs_warez]

Nextcloud hat doch serverseitige Verschlüsselung?

Encryption configuration — Nextcloud latest Administration Manual latest documentation

Damit hast du
a) TLS (über HTTPS) bei der Übertragung und
b) SSE aufm (Nextcloud-)Server

Der Server-Betreiber sieht also niemals unverschlüsselte Daten.

Hallo!

Cloud läuft nicht auf einem eigenen Server beim Betreiber, sondern teilt sich die Ressourcen mit anderen Cloud-Instanzen - keine Ahnung, wie vorteilhaft es dann ist, wenn ich die Verschlüsselung auf meiner Cloud aktiviere?

Tasks -> Cloud Sync -> Remote Encryption

"PUSH: Encrypt files before transfer and store the encrypted files on the remote system. Files are encrypted using the Encryption Password and Encryption Salt values."

Dort verschlüsselt TrueNAS noch vor dem Upload zum Anbieter der Wahl die Dateien und auf Wunsch sogar den Dateinamen. Nur Passwort & Encryption Salt bestens merken, ansonsten hast du im Falle des Falles nur noch Grütze vorliegen!

Ah, so weit war ich noch nicht.
D.h. TrueNAS verschlüsselt die Daten vor der Übermittlung und legt sie dann auch verschlüsselt auf der Cloud ab?
Funktioniert dann auch eine inkrementelle (nur neue Daten) Sicherung?


Danke!


LG

 

[Gen8 Runner]

Genau, TrueNAS verschlüselt diese vor der Übertragung und legt diese verschlüsselt in der Cloud ab.
Siehst du auch beim Cloudanbieter bei Testdateien -> Hochgeladen und nicht zu öffnen / erkennen, was es ist oder gar den Inhalt.

Inkrementell funktioniert auch problemlos.

 

[hs_warez]

Danke!

Wollte es jetzt mal schnell testen - hm, scheitert schon an den Cloud-Anmeldedaten...

Problem Anmeldedaten


LG

 

[hs_warez]

Hallo!

Habe ja vor ein paar Wochen mal das Cloud-Backup (Nextcloud auf einem externen Server) eingerichtet - na ja...

Cloud-Backup von 3 Datasets:
Dataset 1 - ca. 60 GB - lief bisher immer problemlos durch (1x pro Woche)
Dataset 2 - ca. 120 GB - lief bisher noch nie alleine durch (1x pro Woche)
Dataset 3 - ca. 230 GB - lief auch noch nie fehlerfrei durch (1x pro Tag)


Der Abgleich von Dataset 2 bricht immer mit einem "rclone failed with exit code 5 Fehler" ab!?

Error: Traceback (most recent call last):
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 367, in run
await self.future
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 403, in __run_body
rv = await self.method(*([self] + args))
File "/usr/local/lib/python3.8/site-packages/middlewared/schema.py", line 973, in nf
return await f(*args, **kwargs)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1058, in sync
await self._sync(cloud_sync, options, job)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1105, in _sync
await rclone(self.middleware, job, cloud_sync, options["dry_run"])
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 234, in rclone
raise ValueError(message)
ValueError: rclone failed with exit code 5

Der Abgleich von Dataset 3 bricht immer mit einem "rclone failed with exit code 1 Fehler" ab!?

Error: Traceback (most recent call last):
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 367, in run
await self.future
File "/usr/local/lib/python3.8/site-packages/middlewared/job.py", line 403, in __run_body
rv = await self.method(*([self] + args))
File "/usr/local/lib/python3.8/site-packages/middlewared/schema.py", line 973, in nf
return await f(*args, **kwargs)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1058, in sync
await self._sync(cloud_sync, options, job)
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 1105, in _sync
await rclone(self.middleware, job, cloud_sync, options["dry_run"])
File "/usr/local/lib/python3.8/site-packages/middlewared/plugins/cloud_sync.py", line 234, in rclone
raise ValueError(message)
ValueError: rclone failed with exit code 1

Dataset 3 meist mit:

2021/03/14 03:24:22 Failed to sync with 3 errors: last error was: Error while copying file to target location (copied bytes: -1, expected filesize: 62516 ): Sabre\DAV\Exception: 500 Internal Server Error

Dataset 2 meist mit:

2021/03/13 21:32:10 Failed to sync: couldn't list files: Propfind "https://XXXXXXXXXXXXXXXXXXX/remote.php/dav/files/sicherung/Sicherung/TrueNAS-DATENSICHERUNG/Jenny - Abgleich Fotos iPhone/l9an9af2jufkr2ek2i59ncaar0/4auddkhq4pt5saa67n8cto2n1c/": read tcp 192.168.1.11:56419->xxx.69.63.152:443: i/o timeout

Außerdem ist in den LOGS auch ersichtlich, dass es oft nötigt ist die Dateien 3x zu übertragen, bis der Kopiervorgang erfolgreich ist!?


Hat Jemand eine Idee, woran es liegen kann!?
(Speicherplatz und Traffic sind bei externen Server ausreichend vorhanden.)

Ein Backup, welches nicht selbstständig und zuverlässig läuft bringt mir nicht viel.


Danke!

LG

Beitrag automatisch zusammengeführt: 14.03.2021

So habe ich die Tasks angelegt:

 

[Gen8 Runner]

Was ist der externe Server für ein Filer?

Ich hatte eine Zeitlang zu OneDrive gesynct und dort gab es tatsächlich Probleme mit der Länge der Dateinamen...Steinzeit-Microsoft waren meine Pfad- und Dateinamen zu lang.

Aktuellstes TrueNAS hast du installiert? Sind es viele Dateien?
Sonst würde ich fast sagen: Nochmal testweise Nummer 2 auf ein sauberes Dataset syncen und schauen, ob es sich nach wie vor so verhält.

 

[hs_warez]

Hm, die Nextcloud läuft auf einem Server bei Hetzner.

Info Hetzner


TrueNAS ist aktuell - letztes Update wurde am Fr durchgeführt.

Na ja, sind schon viele einzelne Dateien - ca. 230 GB Fotos halt.


Wie meinst du das genau "Nummer 2 auf ein sauberes Dataset syncen"!?
Meinst du die Nummer 2 einfach nochmals in einen neuen Ordner in der Nextcloud übertragen?

Danke!


LG

 

[xXThunderbyteXx]

Warum Nextcloud auf dem Remote Server?

Das erzeugt unnötig viel overhead und für den Zweck würde ich definitiv eher auf rsync Server oder Minio/ S3 setzten.

edit: ich sehe gerade, du nutzt die NC von hetzner, die soll zwar ganz gut sein, aber du weißt halt nicht, wie die konfiguriert ist, gerade so Sachen wie timeout etc.

hetzner hat auch Storage Boxen, die können deutlich mehr Protokolle und sind eher für so Szenarien gedacht.

 

[Gen8 Runner]

Leider keine genauen Infos, aber dürfte Linux Basis haben und dann damit nichts zu tun.

Genau.
Eine Option wäre:
- Syncauftrag löschen und genau so wieder einrichten wie zuvor und hoffen, dass er sauber durchläuft und die alten, bereits hochgeladenen Daten berücksichtigt. Inwiefern das aber mit der Verschlüsselung funktioniert, müsstest du testen (aber sollte klappen, denn Restore muss ja auch möglich sein mit deinem Encryption Salt & Passwort).

Oder eben nochmal in einen komplett neuen Ordner syncen.

 

[hs_warez]

Warum Nextcloud auf dem Remote Server?

Das erzeugt unnötig viel overhead und für den Zweck würde ich definitiv eher auf rsync Server oder Minio/ S3 setzten.

edit: ich sehe gerade, du nutzt die NC von hetzner, die soll zwar ganz gut sein, aber du weißt halt nicht, wie die konfiguriert ist, gerade so Sachen wie timeout etc.

hetzner hat auch Storage Boxen, die können deutlich mehr Protokolle und sind eher für so Szenarien gedacht.

Weil ich Nextcloud brauche und somit schon habe/bezahle und ich mir dachte, dass ich da dann auch meine Sicherung ablegen könnte.

Storage Box - könnte ich testweise mal zusätzlich anlegen (auf die Vorteile von Storage Share = Nextcloud kann ich nicht verzichten) - würde dann in Summe eine Spur teurer kommen, aber wenn's dann funktioniert wär's mir egal.
Wäre das einen Versuch wert?

Leider keine genauen Infos, aber dürfte Linux Basis haben und dann damit nichts zu tun.

Genau.
Eine Option wäre:
- Syncauftrag löschen und genau so wieder einrichten wie zuvor und hoffen, dass er sauber durchläuft und die alten, bereits hochgeladenen Daten berücksichtigt. Inwiefern das aber mit der Verschlüsselung funktioniert, müsstest du testen (aber sollte klappen, denn Restore muss ja auch möglich sein mit deinem Encryption Salt & Passwort).

Oder eben nochmal in einen komplett neuen Ordner syncen.

Na ja, mal sehen - wie/was ich probiere.
Neuen Sync kann ich ohnehin erst am Fr. wieder starten - sonst bremse ich das Home Office meiner Freundin zu sehr aus.

LG

 

[you]

Interessanter Thread. Ich habe mir jetzt erst mal die Storage Box von Hetzner gemietet. Man kommt ja jeden Monat raus aus dem Vertrag. Zeit zum Testen

Gibt es eigentlich eine Möglichkeit auf die verschlüsselten Cloud Dateien ohne Truenas zugreifen zu können? Mit den korrekten keys/salts natürlich.

 

[you]

So ... ich habe jetzt mal 900 GB in die Hetzner Storage Box gesichert. Mit Truenas, Push, Encryption für Transfer und Filename eingeschaltet. Das lief jetzt smooth. 3 MB/s Upload. Von Montag Mittag bis Freitag Spätabend.

Ein erneutes Starten eines Cloud Replikationsjobs dauert jetzt nur noch so lange, wie Quelldaten sich ändern. Das ist dann regelmässig und automatisch und sehr zügig und ohne Störungen in der Nacht erledigt. Das gefällt mir sehr gut. Jetzt ist bei mir auch ohne größeres Nachdenken der Havariefall mit dem Haus abgesichert. Für etwa 12 Euro im Monat. Nicht billig, aber immerhin 2TB. Die ich noch mit den restlichen "will-ich-retten"-Daten füllen werde.

Im Haus verbleiben meine zwei Backup-Platten, um deren Sicherheit ich mir jetzt keinen gesteigerten Kopf mehr machen muss. Mit diesen habe ich ein Recovery dann auch mal schneller gemacht, wenn es nur den Server erwischt hat und das Haus noch steht .

Recovery aus der Cloud teste ich kommende Woche mal. Da will ich einen Datenpool auflösen und neu anlegen.

BTW: Die Daten in der Cloud werden keinem weiteren Backup seitens Hetzner unterzogen. Wenn da die Maschine abraucht, sind die Daten futsch. Zumindest bei meinem Tarif.

BTW2: Danke an die Tippgeber mit der Hetzner Storage Box und den Threadstarter für das interessante und sehr relevante Thema

 

[hs_warez]

So ... ich habe jetzt mal 900 GB in die Hetzner Storage Box gesichert. Mit Truenas, Push, Encryption für Transfer und Filename eingeschaltet. Das lief jetzt smooth. 3 MB/s Upload. Von Montag Mittag bis Freitag Spätabend.

Ein erneutes Starten eines Cloud Replikationsjobs dauert jetzt nur noch so lange, wie Quelldaten sich ändern. Das ist dann regelmässig und automatisch und sehr zügig und ohne Störungen in der Nacht erledigt. Das gefällt mir sehr gut. Jetzt ist bei mir auch ohne größeres Nachdenken der Havariefall mit dem Haus abgesichert. Für etwa 12 Euro im Monat. Nicht billig, aber immerhin 2TB. Die ich noch mit den restlichen "will-ich-retten"-Daten füllen werde.

Im Haus verbleiben meine zwei Backup-Platten, um deren Sicherheit ich mir jetzt keinen gesteigerten Kopf mehr machen muss. Mit diesen habe ich ein Recovery dann auch mal schneller gemacht, wenn es nur den Server erwischt hat und das Haus noch steht .

Recovery aus der Cloud teste ich kommende Woche mal. Da will ich einen Datenpool auflösen und neu anlegen.

BTW: Die Daten in der Cloud werden keinem weiteren Backup seitens Hetzner unterzogen. Wenn da die Maschine abraucht, sind die Daten futsch. Zumindest bei meinem Tarif.

BTW2: Danke an die Tippgeber mit der Hetzner Storage Box und den Threadstarter für das interessante und sehr relevante Thema

Danke für deinen Input!


Ich denke, der Fehler liegt bei mir in einer versteckten/nicht sichtbaren Konfiguration des Storage Share (Nextcloud) bei Hetzner.
Das Dataset mit ca. 60-70 GB funktioniert immer problemlos - die beiden anderen (ab ca. 120 GB aufwärts) laufen nie durch und brechen immer mit irgendwelchen Fehlern (timeouts,...) ab.


Hab mir jetzt mal die Storage Box "BX20" (500 GB reichen derzeit für mich) zugebucht und richte gerade mal die Cloud-Sync Tasks (SFTP) in TrueNAS ein - bin schon gespannt!

Wenn's dann funktioniert, dann weiß ich, dass es an der Nextcloud-Konfiguration bei Hetzner liegt - mit den Mehrkosten von schwach € 6 kann ich dann leben.


LG

Beitrag automatisch zusammengeführt: 21.03.2021

Das habe ich zu den Storage Boxen gefunden:

Ausfallsicherheit​

Die Storage Boxen sind durch ein RAID abgesichert, welches einen Ausfall mehrerer Festplatten tolerieren kann. Dadurch ist die Chance eines Datenverlustes relativ gering. Bitte beachten Sie aber, dass Sie weiterhin die Verantwortung für Ihre Daten tragen und Hetzner keinerlei Garantie für einen möglichen Datenverlust gibt. Eine Spiegelung der Daten auf andere Server findet nicht statt.

Zudem werden Checksums für die einzelnen Datenblöcke verwendet um Bit Fehler festzustellen und zu korrigieren.

 

[hs_warez]

So, Cloud-Sync in die "Storage Box" seit 21.03. aktiv.

Alle 3 Data-Sets wurden beim ersten Abgleich problemlos übertragen (lief ca. 3 Tage durch) und auch alle täglichen Abgleiche liefen bisher fehlerfrei durch!


Lag also an der Konfiguration des "Storage Share" (Nextcloud von Hetzner) - mit "Storage Box" (Onlinespeicher bei Hetzner) läuft es jetzt fehlerfrei.


LG