Ich beschäftige mich gerade mit dem Thema Cloud-Filer, also einem lokalen ZFS Filer auf dem man per SMB Dateien direkt bearbeiten kann kombiniert mit einer inhouse Amazon kompatiblen S3 Cloud bei dem man die gleichen Dateien im Internet bereitstellt (sync and share).
Prinzipiell sind Dateien auf einem lokalen SMB Filer und gleichzeitiger Cloudzugriff darauf problematisch wenn nicht inkompatibel da es kein gemeinsames File-Locking, Authentifizierung oder Authorisierung auf Datei Ebene gibt. Nicht zuletzt wegen Corona wird Internet Zugriff auf Dateien deren primärer Speicherort ein lokaler Filer ist aber immer wichtiger. Auch wird eine lokale Inhouse-Cloud den Datenschutzforderungen wegen dem EUGH Urteil/ Schrems 2 eher gerecht als eine Cloud von US Anbietern.
Mein aktueller Ansatz:
- Doppelte Bereitstellung der Dateien in einem SMB Dateisystem und einem S3 Cloud Dateisystem. Das gleichzeitige Sharen eines ZFS Dateisystems via SMB und S3 ist zwar möglich aber nur bei einem/wenigen Nutzern sinnvoll.
- Aktivierung von ZFS Realtime Dedup damit alle Datenblöcke nur einmal gespeichert werden.
- Nutzung eines NVMe Mirrors (z.B. Optane 4801X=100) als special vdev für die Dedup Tabelle
Das vermeidet die RAM Probleme von dedup
- Nutzung der Benutzer/ Gruppenverwaltung von S3 (minIO)
S3 Nutzer und Gruppen kann man mit Unix/SMB Nutzern syncronisieren. Ich arbeite gerade daran das in napp-it 20.dev zu integrieren. Beim Anlegen eines S3 Nutzes kann man gleichzeitig einen SMB Nutzer anlegen und einer lokalen SMB Gruppe zuweisen.
-Policy Management für S3 (menügesteuert).
Beim Anlegen einer Policy kann man per Bucket (S3 Ordner) Rechte wie readonly, writeonly oder readwrite festlegen und die dann einem Benutzer oder Gruppe zuweisen.
- Sync der beiden Bereiche on demand oder zeitgesteuert mit rclone, rsync oder einem sync Script als job (one way oder 2way).
Im Moment kämpfe ich noch etwas mit dem Policymanagement von S3 bei einzelnen Buckets (Ordner auf einem S3 Server). Prinzipiell funktioniert es aber bereits.
Falls jemand mehr Details will, siehe (um nicht alles doppelt zu schreiben)
Prinzipiell sind Dateien auf einem lokalen SMB Filer und gleichzeitiger Cloudzugriff darauf problematisch wenn nicht inkompatibel da es kein gemeinsames File-Locking, Authentifizierung oder Authorisierung auf Datei Ebene gibt. Nicht zuletzt wegen Corona wird Internet Zugriff auf Dateien deren primärer Speicherort ein lokaler Filer ist aber immer wichtiger. Auch wird eine lokale Inhouse-Cloud den Datenschutzforderungen wegen dem EUGH Urteil/ Schrems 2 eher gerecht als eine Cloud von US Anbietern.
Mein aktueller Ansatz:
- Doppelte Bereitstellung der Dateien in einem SMB Dateisystem und einem S3 Cloud Dateisystem. Das gleichzeitige Sharen eines ZFS Dateisystems via SMB und S3 ist zwar möglich aber nur bei einem/wenigen Nutzern sinnvoll.
- Aktivierung von ZFS Realtime Dedup damit alle Datenblöcke nur einmal gespeichert werden.
- Nutzung eines NVMe Mirrors (z.B. Optane 4801X=100) als special vdev für die Dedup Tabelle
Das vermeidet die RAM Probleme von dedup
- Nutzung der Benutzer/ Gruppenverwaltung von S3 (minIO)
S3 Nutzer und Gruppen kann man mit Unix/SMB Nutzern syncronisieren. Ich arbeite gerade daran das in napp-it 20.dev zu integrieren. Beim Anlegen eines S3 Nutzes kann man gleichzeitig einen SMB Nutzer anlegen und einer lokalen SMB Gruppe zuweisen.
-Policy Management für S3 (menügesteuert).
Beim Anlegen einer Policy kann man per Bucket (S3 Ordner) Rechte wie readonly, writeonly oder readwrite festlegen und die dann einem Benutzer oder Gruppe zuweisen.
- Sync der beiden Bereiche on demand oder zeitgesteuert mit rclone, rsync oder einem sync Script als job (one way oder 2way).
Im Moment kämpfe ich noch etwas mit dem Policymanagement von S3 bei einzelnen Buckets (Ordner auf einem S3 Server). Prinzipiell funktioniert es aber bereits.
Falls jemand mehr Details will, siehe (um nicht alles doppelt zu schreiben)
Amazon S3 compatible ZFS cloud with minIO
I have put some work into my "Cloud-Filer" concept. This is an approach to combine a regular filer use of documents that are edited via SMB locally with a Cloud S3 access of same files in a multiuser environment from the Internet. Problem: If you allow a cloudsync while files are edited/open or...
forums.servethehome.com