Konzept Homeserver (Proxmox, ZFS, OMV, Plex...)

[Saykel]

Hallo zusammen,

ich besitze aktuell ein QNAP TS219P II. Mittlerweile ist dies jedoch im Schlafzimmer gelandet, wodurch mir die Geräuschentwicklung nicht mehr zusagt. Da ich schon länger die mangelnden Möglichkeiten der Virtualiserung des NAS bedauer, bin ich nun dabei einen neuen Homeserver zu planen. Er soll zu Hause für maximal zwei User Plex-Daten liefern und vielleicht für 5 User Verzeichnisse bereitstellen (NFS & SMB je nach OS des Client). Zusätzlich möchte ich den Server gerne als Spielwiese für Virtualisierung nutzen.
Meine aktuelle Vorstellung wäre wie folgt:

• Proxmox als Host
• ZFS for Linux auf dem Host
• Die ZFS Filesysteme sollen die "NAS-Daten" beinhalten

Nun war mein Ansatz die ZFS-Filesysteme mittels bind mount an container weiterzureichen. Das funktioniert soweit auch wunderbar. In einem Container habe ich nun Openmediavault installiert, über das ich die Freigaben handhaben wollte. Leider bekomme ich OMV bisher nicht dazu die gemounteten Filesysteme zu erkennen und zu verwenden. Auf der Command-Line sind diese vorhanden.

Zusätzlich sollen weitere Container und VMs angelegt werden, die die Daten verwenden (z.B. Plex in einem Container).

Ich habe unter omv-extras.org Erweiterungen gefunden, die OMV den Umgang mit ZFS beibringen sollen. Im Container bekomme ich diese Erweiterungen aber nicht installiert. Versuche ich es über das GUI, passiert einfach gar nichts (der grüne Schalter wird wieder grau und es erscheint keinerlei Fehlermeldung). Logs oder eine Möglichkeit die Plugins auf der Commandline zu installieren um etwas Output zu erhalten habe ich leider noch nicht gefunden. Aktuell installiere ich OMV in einer VM um zu schauen, ob es nur an dem Container liegt, dass die Installation nicht funktioniert.

Es gäbe natürlich auch die Möglichkeit die Freigaben (NFS & SMB) direkt auf der Commandline im Proxmox-Host zu erledigen. Eine grafische Oberfläche wäre mir aber eigentlich lieber, da ich an den Freigaben nicht täglich rum spiele und sonst immer nach den fraglichen Kommandos suchen muss. Eine VM wiederum, möchte ich auf Grund des zusätzlichen Ressourcenbedarfs vermeiden.

Aktuell habe ich noch keinen Homeserver. Ich versuchen zunächst das Setup in einer VM auf meinem Hauptrechner aufzubauen. Proxmox läuft bisher wunderbar in einer Virtualbox-VM und das erstellen von Containern und VMs funktioniert einwandfrei. Lediglich die Weitergabe der Verzeichnisse vom Host an OMV scheitert bisher.

Betreibt jemand ein ähnliches Setup und wenn ja, wie wurden die Freigabe der Daten eingerichtet?

Vielen Dank für alle Hinweise. Vielleicht ist mein "Konzept" auch völlig daneben. Ich bin für alle Anregungen offen!

 

[oelsi]

...
Nun war mein Ansatz die ZFS-Filesysteme mittels bind mount an container weiterzureichen. Das funktioniert soweit auch wunderbar. In einem Container habe ich nun Openmediavault installiert, über das ich die Freigaben handhaben wollte. Leider bekomme ich OMV bisher nicht dazu die gemounteten Filesysteme zu erkennen und zu verwenden. Auf der Command-Line sind diese vorhanden...

OMV unterbindet per Design das Einbinden von Ordnern, die auf der selben Disk wie das Root-Filesystem oder auf Volumes liegen, die nicht durch OMV gemountet wurden. Deshalb läßt sich der Bindmount nicht in OMV einbinden. Eventuell könntest du die config.xml hacken und den Bindmount händisch eintragen, aber das ist aus hoffentlich verständlichen Gründen keine praktikable Lösung. Du müsstest also an den Container ein ganzes Blockdevice (HDD Partition oder Zvol) durchreichen (was mit etwas Gefriemel geht) und im Container mounten. Auf diesem Blockdevice kann OMV dann Shares anlegen.

...
...Ich habe unter omv-extras.org Erweiterungen gefunden, die OMV den Umgang mit ZFS beibringen sollen. Im Container bekomme ich diese Erweiterungen aber nicht installiert. Versuche ich es über das GUI, passiert einfach gar nichts (der grüne Schalter wird wieder grau und es erscheint keinerlei Fehlermeldung)...

ZFS im Container wird nichts. Das OMV ZFS-Plugin möchte bei Installation ein DKMS-Modul für den Kernel bauen. Da der Kernel im Container aber identisch mit dem des Hosts ist, und Container logischerweise den Host-Kernel nicht verändern können, ist ZFS im Container zum Scheitern verurteilt. OMV kann also auf den Volumes im Container nur die üblichen Dateisysteme (ext4, ...) anlegen.

...
... Ich bin für alle Anregungen offen! ...

OMV im Container ist meiner bescheidenen Meinung nach eine Sackgasse. Am einfachsten virtualisierst Du OMV unter Proxmox als KVM VM und reichst entweder Disks (oder auch Zvols) per virtio, oder gleich einen ganzen Controller per VT-d durch. Dann läuft in der VM auch ein eigener Kernel und ZFS läßt sich problemlos installieren. Alternativ, falls Du nur Storage im Netz freigeben möchtest, kannst Du auch auf OMV verzichten und z.B. den Turnkey Linux Fileserver in einem Container installieren. Mit dem kannst Du dann auch Bindmounts im Netz verfügbar machen.

 

[Saykel]

Vielen Dank für die ausführliche Antwort. Somit finde ich zumindest meine Befürchtungen bestätigt, dass OMV in Container nicht wie gedacht funktioniert.
Dann werde ich wohl meine Überlegungen etwas anpassen müssen. Eine eigene VM für OMV möchte ich auf Grund des Ressourcenbedarfs eigentlich vermeiden. So groß ist meiner Meinung nach der Mehrwert von OMV dann doch nicht. Ein weiterer Nachteil aus meiner Sicht wäre, dass wenn ich ganze Blockdevices durchreiche und OMV dann die Filesysteme anlegen lasse, ich diese nicht mehr so einfach an Container im Proxmox weiterreichen kann.

Aktuell verwende ich Plex auf meinem QNAP um Medien an Fernseher und andere Geräte zu streamen und das würde ich auch gerne weiter verwenden. Mein Plan wäre Plex in einen Container zu packen und die Fielsysteme mit den Medien wiederum mittels bind mount durchzureichen. Der Test ob das funktioniert steht allerdings noch aus.
Verwende ich nun eine extra VM für OMV, dann müsste ich Plex entweder mit in dieser VM laufen lassen (das Scenario gefällt mir aber irgendwie nicht so recht), oder ich müsste die Filesysteme wieder per NFS mounten. Die zusätzliche CPU-Last würde ich aber auch gerne vermeiden wollen, wenn dies möglich ist.

Den Turnkey Linux Fileserver schaue ich mir auf jeden Fall mal an. Danke für den Hiwneis. Ich bin nicht auf OMV festgelegt. Hatte nur sehr häufig davon hier im Forum gelesen und fand es sehr vorteilhaft, dass es auf Debian basiert und damit theoretisch einfach in einem Container laufen kann. Vielleicht verkenne ich auch die Vorteile von OMV, aber aktuell würde ich es lediglich für die Verwaltung von Freigaben im Netzwerk verwenden. Plex würde ich in einen Container packen und Virtualisierung (was anscheinend mittels Plugin auch in OMV möglich ist) habe ich ja bereits durch Proxmox erledigt.

Jetzt muss ich nur noch abends neben der Familie wieder Zeit finden die Anregungen auszuprobieren

 

[Saykel]

Ich habe nun die Zeit gefunden und den Turnkey Fileserver mal ausprobiert. Schlussendlich muss ich sagen, es ist eine einfache Variante um über den Browser an die Daten zu kommen. Dafür werde ich ihn wohl verwenden. Die Möglichkeit NFS-Exports zu erstellen habe ich bis jetzt nicht gefunden und bzgl. SMB fand ich das Interface auch nicht so selbsterklärend. Daher denke ich, dass ich die Exports wohl direkt über ZFS auf dem Proxmox-Host realisieren werde.
Habe mich damit auch noch mal ein bisschen beschäftigt und die Kommandos sind aus meiner Sicht nicht komplizierter als die Oberfläche des Fileservers

Plex habe ich nun auch in einen CentOS-Container installiert und kann dort problemlos die ZFS Filesysteme mittels bind mount verwenden.

@oelsi: Danke noch mal für den Hinweis bzgl. Turnkey Linux. Ich hatte zwar schon davon in Bezug auf Proxmox gelesen, aber schon wieder vollkommen vergessen. Das macht es natürlich sehr einfach verschiedene Sachen einfach mal auszuprobieren

 

[luckyspiff]

Ich hab bei mir auch Proxmox als Host-OS laufen, zwar ohne OMV aber u.a. mit SMB, NFS und Plex in jeweils eigenen Containern. Funktioniert jetzt seit Herbst bestens! SMB hab ich auch die Turnkey-Fileserver-Appliance im Container, NFS läuft in einem Debian-Container, hier musste ich in der Container-Konfiguration wg. AppArmor alle Provilegien freischalten (Zeile "lxc.aa_profile: unconfined" in der /etc/pve/lxc/???.conf Datei), da NFS ist ja ein Kernel-Server ist. Vermutlich ein extremes Security-Loch, aber @Home nicht so tragisch, da ich von außen (abgesehen von einem VPN) keine Portfreigaben habe.

Alles in allem bin ich wirklich zufrieden damit, insbesondere, da Container wirklich schlank sind und man dank KVM eben auch Windows, CoreOS oder solche laufen oder ausprobieren kann.

 

[Saykel]

Die letzten Tage habe ich auch wieder ein bisschen rumprobiert. Habe nun noch einen DNS-Server in einen Container gepackt. Auch das funktioniert wunderbar. Erstaunt bin ich wirklich, wie schlank die Container sind. Ein einfacher Debiancontainer verbraucht im Idle gerade mal ~50 MB Speicher. Natürlich läuft da noch kein Service oder sonst etwas drauf. Nehme ich den Turnkey-Core Container, so verbraucht auch dieser lediglich ~100 MB RAM, obwohl dort bereits die ganzen Webservices laufen.

Aktuell bin ich nun dabei Proxmox noch mal neu zu installieren. Meine Vorstellung ist in den späteren Homeserver eine SSD für Proxmox und die VMs zu stecken. Nun versuche ich mich daran die SSD entsprechend zu partitionieren, dass ich den Großteil der Platte in einen ZFS-Pool stecken möchte um dort die virtuellen Platten abzulegen. Komplett auf ZFS umstellen möchte ich dann aber doch noch nicht. Dazu lese ich noch zu viele Warnungen, dass es zu Problemen bei einer solchen Konstellation kommen kann.

 

[Gammelfrog]

Ich sehe, du bist schon ziemlich auf Proxmox eingeschossen.
Trotzdem würde ich dir empfehlen, dir einmal UNRAID anzuschauen.

Super Fileserversystem und Docker für Container sowie KVM für Virtualisierungen sind schon eingebaut.

Es gibt eine sehr aktive Community und das Entwicklerteam ist bei Problemen immer super einfach zu erreichen.

 

[Saykel]

Auf Proxmox eingeschossen... Vielleicht ein bisschen Bin über das Forum darauf gestoßen, habe mich ein wenig damit beschäftigt und bisher gefällt mir das ganze sehr gut. Aber ich bin immer für Anregungen offen. Besonders so lange noch nichts gekauft oder aufgebaut ist.

Von daher: Danke für den Hinweis. Ich werde mir UNRAID auf jeden Fall mal anschauen