Homeserver: ESXi, OmniOS Zones + bhyve, Docker, ...?

[asche77]

Servus, ich komme nicht so recht weiter mit dem Aufsetzen meines home servers, da ich zu sehr zwischen verschiedenen Lösungen schwanke.

Ziel:
- möglichst einfach zu betreuen
- möglichst modular
- "all in one" Hardware server

Insbesondere will ich einzelne Dienste wieder einstampfen können, ohne dass Müll zurückbleibt - mein altes Arch Linux System hat zuviel schmodder installiert, von dem ich nicht mehr weiss, woher er kommt ...

Anforderungen:
- virtuelle pfsense firewall (ich weiss - vermutlich sollte ich die separat halten, aber ich will Stromkosten sparen ...)
- Unifi Controller (für USG, USW8, UAC-AP-PRO)
- CUPS
- LMS (logitechmediaserver)
- SMB/CIFS Datengrab
- Veeam backup Ziel (per SMB) = Datengrab
- Vortexbox VM zum automatischen CD rippen (oder kennt jemand eine "fertige" abcde appliance?)
- Windows VM für MusicIP / MusicBrainz Picard / MP3Tag zum managen der FLAC-library
- künftig: Nextcloud für externe downloads (zB Photo sharing) und mehr
- vermutlich 1-x weitere VMs, darunter eine Linux und/oder Illumos distri mit GUI

1. Derzeit:

Hardware:
Dell T30 mit 32GB RAM, LSI2008 HBA, 100GB S3700 boot, 200GB S3700 ZFS VM Store, 4x3TB WD RED als Datengrab, i350 dual NIC. Dazu noch je 1x S3500 480GB und S3610 400GB rumliegen.

Software:
ESXi mit OmniOS als storage VM (mit HBA passthrough), darauf hilfsweise (u.a.) Debian VM mit CUPS, LMS, Unifi. Veeam speichert auf ein ZFS Filesystem per SMB. Vortexbox VM läuft. Windows VM läuft (mit IGP passthrough). Der Rest "muss noch".

Nachteile:
- Zugriff von zB Windows VM per SMB auf die FLAC Bibliothek ist ziemlich langsam (vermutlich weil die Dateien sequentiell geöffnet werden)
- Rechteverwaltung auf OmniOS noch kaputt - funktioniert für Windows (SMB), aber nicht per Linux (NFS) mount
- irgendwie fühlt sich ESXI "umständlich" an - wohl weil ich noch keine schlanke/einfache/schnelle Lösung für mich habe, weitere DIenste / Container / VMs aufzusetzen

ZIL stats habe ich noch nicht geprüft (derzeit kein L2ARC/SLOG).

2. Idee: Solaris Zones + bhyve

Auch wenn Gea stets o.g. AIO Lösung propagiert, neige ich derzeit einem Versuch zu, OmniOS/SmartOS als kombinierten storage (global zone) und VM/Container/Zone Host (local zones) zu nutzen. Das würde mir eine Abstrahierungsschicht ersparen und die o.g. Dienste sollten entweder nativ (CUPS) oder weitgehend in LX-Zonen laufen können? Windows in byhve?

Hat das jemand in ähnlicher Form laufen?

Hat jemand fifo-net auf dem homeserver? (als GUI für SmartOS?)

3. Ich möchte ungern: Proxmox (ZoL, zuviel Lösungen in einem). Ein OmniOS System scheint mir da schlicht "sauberer" zu sein, auch wenn ich dann keine GUI Verwaltung habe (ausser napp-it).

4. Für eine Docker-Lösung fehlt mir auch noch etwas die "turnkey" Lösung - Portainer ist halt eine Verwaltung und kein app store. Wenn ich mich da umfangreich einarbeiten müsste, scheinen mir die Solaris Zones letztlich die bessere Idee?

5. Ich möchte nicht: Für jeden Dienst eine eigene (linux) VM - die müsste ich dann ja jeweils aktuell halten. Geht mit Debian unattended upgrades zwar in gewissen Maßen, aber warum komplizierter als nötig? Chef, Puppet, Ansible etc. kenne ich leider nur dem Namen nach, beherrsche ich aber nicht.

Any comments or ideas?

 

[besterino]

Ich habe mal VERSUCHT mich in die Solaris Zones einzulesen. Ist schon eine Weile her, aber ich habe es recht schnell aufgegeben, spätestens als ich gemerkt habe, dass man damit eben nur Solaris "virtualisieren" kann. Also da ist nicht mal eben ein Linux, Windows oder egal was anderes lauffähig. Wenn also das, was Du vorhast, nicht auf Solaris geht, dann helfen Dir auch die Zonen nicht.

Was man machen kann, wäre dann ein Virtualbox auf Solaris installieren, allerdings ohne GUI - hab ich selbst sogar mal hinbekommen sogar mit GUI (bei Interesse siehe auch Folgeposts). Virtualbox ist aber ein Type2-Hypervisor, d.h. manche Spärenzken gehen damit u.U. nicht.

Würde jedenfalls mal nach der eigenen Erfahrung sagen, dass das für einen ambitionierten Laien schon recht anspruchsvoll ist. Wenn man sich von Haus aus besser mit "Unixoiden" auskennt, mag das leichter von der Hand gehen. Ich bin nach meiner kleinen Odyssee jedenfalls bei ESXi hängen geblieben und bin damit nach wie vor sehr zufrieden. Kompliziert ist das m.E. definitiv nicht. Eher so das simpelste, was ich gefunden habe.

 

[asche77]

Also da ist nicht mal eben ein Linux, Windows oder egal was anderes lauffähig. Wenn also das, was Du vorhast, nicht auf Solaris geht, dann helfen Dir auch die Zonen nicht.

Das war mal so, gilt aber (wohl) nicht mehr für SmartOS/OmniOS: LX Zones emulieren einen Linux Kernel, da kann man dann Linux userland verwenden. bhyve wäre die eingebaute Virtualisierung (Nachfolger von KVM) und gibt es demnächst auch als "bhyve Zone". Damit ginge dann Windows, BSD o.ä. - ggfs. aber nur ohne passthrough.

Würde jedenfalls mal nach der eigenen Erfahrung sagen, dass das für einen ambitionierten Laien schon recht anspruchsvoll ist.

Das mag durchaus sein!

 

[besterino]

Kann Dir ja nicht in den Kopf gucken. Berichte aber doch gerne mal, wenn es läuft und wie der Weg dahin war.

 

[gea]

Linux (LX) Zonen wurde ursprünglich von Sun als Containerlösung neben Solaris Zonen für OpenSolaris entwickelt, dann aber von Oracle nicht in Solaris übernommen. Joyent hat das dann weiterentwickelt und in SmartOS integriert. Joyent ist auch dabei KVM durch den moderneren Bhyve zu ersetzen (ursprünglich eine Entwicklung von NetApp, ist auch in FreeBSD integriert).

OmniOS hat diese beiden Komponenten von SmartOS (beides basiert auf Illumos) übernommen.

 

[Luckysh0t]

@Besterino
Warum so kompliziert mit Solaris und vBox ? Ich habe einfach die Desktopumgebung (Gnome) mit installiert auf meinem Solaris und dann per pkg installiert - so habe ich dann auch die vBox GUI.
Da das ganze wohl als Dienst/Dämon läuft muss nicht mal die vBox GUI offen sein und die VMS laufen als headless.

Das mit phpvBox hatte ich mir mal überlegt aber als ich mir die ganzen howtos etc durechgelesen habe nunja..da dachte mir machste den Desktop auf Solaris drauf - stört eh nicht und perr VNC erreichbar.




@Thread

Bei SmartOS musst/solltest dich aber auch gut einlesen - verhält sich ja nicht wie ein "klassich" installiertes OS.
Wobei mich das auch gereizt hat, aber ich habe da nicht ganz durchgeblickt was genau davon jetzt Triton ist (kostenlos/pflichtig etc.)Weil damit hat man wohl eine schöne Kontainerverwaltung und die bekommen auch jeweils eine eigene IP.Bei Docker geht das ja glaube ich immer noch über den Port etc. ?

So zumindest mein Stand - aus einem Artikel einer iX

 

[Stueckchen]

3. Ich möchte ungern: Proxmox (ZoL, zuviel Lösungen in einem). Ein OmniOS System scheint mir da schlicht "sauberer" zu sein, auch wenn ich dann keine GUI Verwaltung habe (ausser napp-it).

Also da verstehe ich dich nicht. Nur weil Proxmox ZFS kann muss man es nicht nutzen. Auch in ESXi oder OmniOS kannst du direkts Storage verwenden, und tutst es nicht und in PVE lässt sich genauso eine Storage VM aufsetzen (mache ich mit Freenas so).

Ich finde PVE aufgeräumter als ESXi, aber da ist vieles Geschmackssache. LXC gefällt mir auch besser als Docker, hat aber beides seine Vor- und Nachteile.

Vor Zeiten habe ich mir auch mal OmniOS angeschaut, fand dort die Lernkurve sehr steil. Aber vll hat sich das ja auch etwas gebessert.
Sonst wenn du viel auf CLI stehst geht ja auch noch einfach ein Linux (Ubuntu, Debian, CentOS) mit KVM oder auch FreeBSD mit Bhyve.

Bei Docker geht das ja glaube ich immer noch über den Port etc. ?

Ja, aber mit etwas Umstand kann man das auch auf eine eigene IP umleiten. Dann braucht man aber auf dem HOST für jeden kontainer ne eingene IP an die man den Container bindet.

Da mir das zu umständlich war ist fand ich LXC besser, aber dafür gibts halt viel weniger Fertige Pakte. Finde zur Entwicklung Docker super aber als "Sparsamer" VM alternative finde ich andere Container bzw LXC besser.

 

[Trambahner]

Mit Bhyve bin ich bislang noch nicht gut Freund für Windows. Hab ich 2*kurz auf nem T20 ausprobiert, hoffend damit im I/O-Bereich Vorteile zu haben. Aber die "Schwubdizität" der VMs und das Handling war einfach nicht gut im Vergleich zum ESXI mit VMs auf NFS-Shares "a la gea".
I/O war bei mir nicht gut (geht derzeit ja nur AHCI, von Virtio-Blk kann Windows noch nicht booten) und die Grafik hat gelagt; auch über RDP. Ausserdem öfters als einmal einfach Bluescreen in der VM.
Das muss erst noch reifen. Und eine ordentliche einfach handhabbare GUI hab ich für Bhyve auch nicht gesehen, alles nur über Terminal und ggf. Scripts zu handlen.

ZFSonLinux will ich nicht, sondern natives ZFS "von der Quelle".

Nope, ich bleibe derzeit bei ESXI AIO (mit Xigmanas als Storage-VM als Unterbau für den Datastore). 6.50U1 und alle VMs laufen bei mir rockstable und zügig. Hat auch zum Rumprobieren mit einer Oracle 12c (etwa 30GB Tablespace) satt gereicht.
Ausserdem kann ich auch schnell mal ne VM zwischen Workstation 14 und ESXI hin- und herschieben.