Objektspeicher für das Homelab
- Ersteller DFFVB
- Erstellt am
Vermutlich fast jeder - zumindest als S3 Backendspeicher z.B. für Dropbox, netflix oder NextCloud.
Die Frage ist wohl auch eher weniger Objektspeicher vs Speicherung in einem hirarchischen Dateisystem. Es geht wohl eher darum wann es Sinn macht, z.B. ist minIO
- wahnsinnig schnell
- kann unbegrenzt skalieren (Performance, Ausfallsicherheit, Redundanz)
- ist einmalig einfach (nur eine Programmdatei, schnell eingerichtet und wiederhergestellt) und allein damit schon viel sicherer als z.B. eine NextCloud Installation mit Apache Webserver und seinen hundert Dateien/Abhängigkeiten.
und damit ideal für eine einfache Internet Cloudablage (sync and share) mit Multuser Zugriff basierend auf Nutzer, Gruppen und Policies wie readonly, readwrite oder anonymem Web-Sharing für bis zu 7 Tage.
Der wichtigste Unterschied zu großen Cloudpaketen wie z.B. NextCloud ist nicht Cloudspeicher an sich, da ist das viel langsamer/umständlicher sondern add-ons wie Multiuser-Office Dokumente, erweiterte Kollaborationsoptionen, Kalender etc.
Die Frage ist wohl auch eher weniger Objektspeicher vs Speicherung in einem hirarchischen Dateisystem. Es geht wohl eher darum wann es Sinn macht, z.B. ist minIO
- wahnsinnig schnell
- kann unbegrenzt skalieren (Performance, Ausfallsicherheit, Redundanz)
- ist einmalig einfach (nur eine Programmdatei, schnell eingerichtet und wiederhergestellt) und allein damit schon viel sicherer als z.B. eine NextCloud Installation mit Apache Webserver und seinen hundert Dateien/Abhängigkeiten.
und damit ideal für eine einfache Internet Cloudablage (sync and share) mit Multuser Zugriff basierend auf Nutzer, Gruppen und Policies wie readonly, readwrite oder anonymem Web-Sharing für bis zu 7 Tage.
Der wichtigste Unterschied zu großen Cloudpaketen wie z.B. NextCloud ist nicht Cloudspeicher an sich, da ist das viel langsamer/umständlicher sondern add-ons wie Multiuser-Office Dokumente, erweiterte Kollaborationsoptionen, Kalender etc.
Zuletzt bearbeitet:
DFFVB
Experte
Thread Starter
- Mitglied seit
- 10.10.2016
- Beiträge
- 219
Danke erstmal. Ich meinte im Homelab - also selber installiert und im Einsatz. Sprich ich installiere bspw. einen Server und darauf aktiviere ich Minio und diesen Server mounte ich in einem anderen Server auf welchem bspw. Nextcloud läuft, und stelle die NC auf den Minio server. Hat man da spürbare Vorteile? Und wenn man "große" Datenmengen (40k Bilder), per rclone auf den minio Server (SSD only) schiebt....
Wenn man NextCloud Optionen braucht, ist es ja egal ob man NFS, SMB, S3 oder eine lokale Platte darunter hat. Performance ist da weniger abhängig vom Backendstorage sondern eher z.B. vom Apache Webserver, der Datenbank und PHP. Wenn man lediglich Dateien sharen möchte, egal ob per eingebautem S3 Webclient, S3 Backup/Synctool oder rclone, so schlägt direkter S3 Zugriff den Umweg über NextCloud/Apache Webserver meist um Längen in der Performance.
Die Hauptfrage ist also, was man z.B. von NextCloud braucht - außer Cloud sync and share.
Die Hauptfrage ist also, was man z.B. von NextCloud braucht - außer Cloud sync and share.
@gea, was wäre denn die aktuelle Empfehlung für ein automatisches Cloud sync auf OmniOS ?
- syncthing fehlt m.W. der Filewatcher: https://forum.syncthing.net/t/file-watcher-not-supported-on-zfs-omnios/15075
- pydio, resilio etc laufen vermutlich allenfalls in einer LX Zone?
- ...?
Suche noch eine Lösung, die DAU tauglich von Windows, Android, ggfs iOS und Linux mit meinem OmniOS filer synchronisiert...
... Primär sync wichtig, Zugriff könnte ggfs auch per VPN erfolgen so dass es da kein WebGUI bräuchte. Selective sync o.ä. wie bei resilio$$ möglich wäre natürlich schön.
- syncthing fehlt m.W. der Filewatcher: https://forum.syncthing.net/t/file-watcher-not-supported-on-zfs-omnios/15075
- pydio, resilio etc laufen vermutlich allenfalls in einer LX Zone?
- ...?
Suche noch eine Lösung, die DAU tauglich von Windows, Android, ggfs iOS und Linux mit meinem OmniOS filer synchronisiert...
... Primär sync wichtig, Zugriff könnte ggfs auch per VPN erfolgen so dass es da kein WebGUI bräuchte. Selective sync o.ä. wie bei resilio$$ möglich wäre natürlich schön.
DFFVB
Experte
Thread Starter
- Mitglied seit
- 10.10.2016
- Beiträge
- 219
@asche77 Dafür kannst Du schon Nextcloud nehmen. Habe das im Einsatz und das läuft ziemlich fix. Die Idee mit dem Objektspeicher war, ob es damit ggf schneller geht. Allerdings wenn ich das richtig verstanden habe, lohnt das im Homelab auf ein paar SSDs nicht. Denn: Der Objektspeicher kann - so wie ich das verstanden habe - nicht bare metal installiert werden. Das lohnt sich also über viele Cluster / Nodes, denn unter bspw. Minio läuft ja wiederum ein FileSystem - die empfehlen ja sogar das in Docker zu installieren. @gea wird das bestimtm korrigieren 
Soll OmniOS/ZFS auf eine Cloud (Amazon S3/ Gdrive etc) syncronisiert werden?
- Dafür rclone nehmen, http://www.napp-it.org/doc/downloads/cloudsync.pdf
Nutzung ähnlich zu lokalem rsync
Oder soll ein Client (Windows, OSX etc) auf S3 Storage (Amazon S3, minIO) syncronisiert werden?
dann z.B. https://proprivacy.com/cloud/comparison/amazon-s3-user-interface-tools
@asche77 Dafür kannst Du schon Nextcloud nehmen. Habe das im Einsatz und das läuft ziemlich fix. Die Idee mit dem Objektspeicher war, ob es damit ggf schneller geht. Allerdings wenn ich das richtig verstanden habe, lohnt das im Homelab auf ein paar SSDs nicht. Denn: Der Objektspeicher kann - so wie ich das verstanden habe - nicht bare metal installiert werden. Das lohnt sich also über viele Cluster / Nodes, denn unter bspw. Minio läuft ja wiederum ein FileSystem - die empfehlen ja sogar das in Docker zu installieren. @gea wird das bestimtm korrigieren
minIO stellt Objektspeicher bereit (verhält sich Richtung Internet wie Amazon S3). Wenn man minIO direkt auf dem NAS startet (ohne die Cluster Funktionalität) so stellt minIO ein ZFS Dateisystem im Internet bereit und organisiert halt den obersten Ordner als "bucket" mit tieferliegenden Ordnern und Dateien. Aus Sicht von ZFS ein ganz normales Dateisystem, aus Sicht eines S3 client "Objektspeicher.
Ein Docker ist für NextCloud extrem sinnvoll, für minIO das ja nur aus einer Datei ohne Abhängigkeit besteht absolut nicht nötig.
Beitrag automatisch zusammengeführt:
Man kann mit einem der S3 Sync Tools direkt mit einem SMB Dateisystem syncronisieren. Man kann auch einfach per Browser auf den S3 filer. Geht prima wenn man im Blick behält dass es kein gemeinsames Filelocking, Authorisierung und Authentifizierung gibt und man beachtet dass Objektspeicher die Ordnung Bucket, Ordner und Dateien nutzt. (Bucket=oberster Ordner aus SMB Sicht). Man muss also etwas aufpassen.
SMB direkt im Internet bereitstellen ist ansonst sicherheitstechnisch ohne VPN keine gute Idee. Man braucht da was sicheres wie sftp, ftps, https oder eben S3 das den Namen "Simple Storage" wirklich verdient.
Mit vielen Nutzern sollte man Cloud Ordner und SMB Ordner trennen, egal wie man darauf zugreift und allenfalls Cloud Ordner und SMB Ordner per lokalem sync syncron halten (1way oder 2way) und zwar egal ob man das mit NextCloud oder anderen internen/externen Option in sync halten möchte.
Will man nur Laptop und Desktop in sync halten will muss man garnichts beachten. Das ZFS Dateisystem per S3 freigeben und gut. Probleme gibt es allenfalls falls man z.B. lokal ein Word Dokument auf dem Filer offen hat und das dann remote schreibend syncronisieren möchte,
Zuletzt bearbeitet:
Will ich ja auch nicht
, sondern einen sync Dienst laufen lassen, der das verschlüsselt an autorisierte Gegenparteien synchronisiert - syncthing, pydio, resilio, seafile, nextcloud, mega, irgendsowas halt ... Nur wäre mir etwas lieb gewesen, das direkt auf omnios läuft und "File change" Meldungen bekommt, daher nicht regelmäßig alle directories auf geänderte Daten prüfen muss.Und S3 dürfte den "elder Ehefrau einrichten und gut" Effekt nicht erreichen....
S3 ist ultra minimalistisch, quasi der Porsche 911 unter den Automatic Karossen dieser Welt. Amazon hat das entwickelt um netfix etc damit zu ermöglichen. Die eierlegende Wollmichsau als frontend ist eher NextCloudoder Owncloud, oft mit S3 Backend. NextCloud bedeutet halt sich um eine hochkomplexe Installation mit Hundert Dateien mit vielen Abhängigkeit zu kümmern statt nur um eine Datei die den Cloud Storagedienst bereitstellt.
Der sync Dienst auf OmniOS ist dann aber nicht S3, das ist der Server sondern z.B. rclone als Client, z.B. als geplanter task oder Job (manuell oder auto)
ps
wobei ich mit Windows robocopy selbst einen endlos sync auf einen SMB Filer mit > 1 Million Files auf ein ZFS Backupsystem am Laufen habe. Ein gutes einfaches sync Tool wie robocopy auf Windows oder rsync/rclone auf Unix/Linux ist nicht zu verachten. Und am Wichtigsten. Da muss man nichts groß einrichten, tut einfach.
Vielleicht reden wir aber aneinander vorbei.
Das sync Tool mit dem man Linux, Windows oder OSX mit einem S3 Server syncronisiert ist z.B. Duplicati, https://www.duplicati.com/ oder eins der anderen sync Tools die mit einem S3 Server zusammenarbeiten. S3 ist ja zunächst nur ein Serverdienst wie nfs, smb, ftps oder https.
Im Gegensatz zu Cloud Anwendungen wie NextCloud bietet S3 mit minIO zunächst nur einen Datei-Zugriff per Browser zum Up/Download. Eigene Sync Tools für Clients oder spezielle Apps wie Multiuser Office oder Kalender sind nicht dabei. Für Sync nutzt man eines der Tools die mit einem S3 Server umgehen können.
Der sync Dienst auf OmniOS ist dann aber nicht S3, das ist der Server sondern z.B. rclone als Client, z.B. als geplanter task oder Job (manuell oder auto)
ps
wobei ich mit Windows robocopy selbst einen endlos sync auf einen SMB Filer mit > 1 Million Files auf ein ZFS Backupsystem am Laufen habe. Ein gutes einfaches sync Tool wie robocopy auf Windows oder rsync/rclone auf Unix/Linux ist nicht zu verachten. Und am Wichtigsten. Da muss man nichts groß einrichten, tut einfach.
Vielleicht reden wir aber aneinander vorbei.
Das sync Tool mit dem man Linux, Windows oder OSX mit einem S3 Server syncronisiert ist z.B. Duplicati, https://www.duplicati.com/ oder eins der anderen sync Tools die mit einem S3 Server zusammenarbeiten. S3 ist ja zunächst nur ein Serverdienst wie nfs, smb, ftps oder https.
Im Gegensatz zu Cloud Anwendungen wie NextCloud bietet S3 mit minIO zunächst nur einen Datei-Zugriff per Browser zum Up/Download. Eigene Sync Tools für Clients oder spezielle Apps wie Multiuser Office oder Kalender sind nicht dabei. Für Sync nutzt man eines der Tools die mit einem S3 Server umgehen können.
Zuletzt bearbeitet:
Man muss sich ja auch nicht für eins entscheiden, sondern kann auch alles gleichzeitig laufen lassen. Z.B. Samba für die Linux ISOs und Fotos, Nextcloud zum Syncen zwischen Laptop / Desktop, minIO als Ziel-Storage fürs Duplicati-Backup der einzelnen Clients.
Zugriff von Außen würde ich aber unabhängig von den ganzen Diensten immer über VPN erledigen. Ich traue da minIO nicht mehr als Samba oder Nextcloud. Ist alles von Menschen geschrieben und kann alles Sicherheitslücken aufweisen.
Zugriff von Außen würde ich aber unabhängig von den ganzen Diensten immer über VPN erledigen. Ich traue da minIO nicht mehr als Samba oder Nextcloud. Ist alles von Menschen geschrieben und kann alles Sicherheitslücken aufweisen.
Zuletzt bearbeitet:
