Proxmox NAS - Host oder VM?

[tyrann619]

Hi,

ich wollte mal fragen was die beste Home-NAS-Lösung für ProxMox ist.

Ich habe mich nun schon eine weile informiert und einige Möglichkeiten herausgefunden.

1. Da ZFS unter Proxmox ja direkt unterstützt wird, bietet es sich an, dort ein ZFS Pool
zu erstellen (CLI).

Da ich nicht so viel lust auf CLI Arbeit habe, möchte ich das durch ein GUI verhalten.
Da bei Proxmox in sachen NAS nicht viel geht habe ich mich nach Alternativen umgeschaut
und bin dabei auf folgende Möglichkeiten gestoßen:

1.1. ein WebGUI direkt im Host (Proxmox/Debian)
1.2. eine extra NAS VM und den ZFS-Pool(CLI) durchreichen

2. als VM only
2.1. (onboard) SATA-Controller an NAS-VM durchreichen
2.2. Hdd's in Proxmox -> Diskimage -> NAS-VM zuweisen

Gibts noch mehr 'einfache' Möglichkeiten als die o.g. ?

zu 1.1.: glaube da eignet sich die napp-it GUI aber soweit ich das
überflogen habe scheint es auch nicht mit ein paar klick/cmd's eingerichtet zu sein.

zu 1.2. Erfordert auch CLI-Arbeit auf dem Host, wenn auch nicht viel soweit ich gesehen habe.

zu 2.: Wäre meine liebste Lösung, da sich VM's schnell Exportieren/Importieren lassen
und so ein Backup einzuspielen schneller geht, als erst wieder die CLI commands zu suchen und einzurichten (wenn Proxmox neu)

zu 2.1. Ist wohl die Performanteste lösung (neben 1.) und 2.2. brauch es keiner Beachtung.

Vorteil von 1. ist, dass man keinen extra/freien Sata-Controller braucht
und so Storage und Host auf einen Controller liegen können.
Ich habe ProxMox aber über USB3zuSATA auf einer SSD installiert und so den
Onboard Sata-Controller frei.

Ich hatte vor 1-2 Monaten mit ESXi experimentiert und da ne napp-in-one VM
mit Sata-Passthrough. Hat auch super funktioniert und war in 5min installiert.

Nun suche ich sowas unter Proxmox. Wie schon geschrieben, möchte ich auf 2.1. hinaus,
wenn nicht gute Gründe dagegen sprechen.

Welches NAS-OS eignet sich da am besten?
FreeNAS ist mir zu aufgebläht.. am liebsten wäre mir wieder napp-it
oder vergleichbar 'leichtes'.
Reicht es da 'napp-it ToGo Sata' als VM zu installieren?

Hoffe ihr könnt mir weiterhelfen.

MFG

 

[Anarchist]

Ich bin kein Freund von Daten, die direkt auf dem VM-Host abgelegt werden.
Über welche Datenmenge geht es hier?

Ich würde die ZFS Funktion von Proxmox nutzen, die Daten aber trotzdem in virtuelle Festplatten ablegen, wenn es sich nicht um zu große Datenmengen handelt.
Wenn wir hier über mehrere TB reden, dann würde ich vielleicht eine andere Lösung bevorzugen.

Ich kann nur beschreiben wie ich es im Moment bei meinem 24/7 Server mache.
Ich nutze zwar kein Proxmox sondern eine Windows Basis und VMware Workstation mit aktuell 18VMs, habe aber auch einen Fileserver (2016er) darauf laufen.

Hardware RAID mit 2x500GB SSD RAID1 und 4x4TB HDD RAID10 am Host konfiguriert.
Darauf laufen dann alle OS VMDKs auf dem SSD Bereich und die Daten VMDKs auf dem HDD Bereich. U.a. auch eine für den Fileserver, die aber "nur" 1,1TB im Moment hat.

Hier liegen keine Filmdaten oder sonstige große Mediendaten außer RAW Bilder oder Bilder generell und eben Dokumente, PDF Archiv, Scripte, Software etc..

Der Fileserver wird u.a. auch für eine Nextcloud Installation verwendet. Nextcloud läuft in einer eigenen VM (Ubuntu Server) auf der selbst keine Daten liegen. Die werden über die SMB/Cifs Funktion "Externer Speicher" vom 2016er eingebunden. Funktioniert wunderbar

 

[MisterY]

Warum sollte man deiner Meinung nach die Daten nicht direkt auf dem VM-Host ablegen?
Bei LXC-Containern und Mountpoints ist die performance ja nahezu perfekt, aber eine vDisk hat einfach nur grottige Datenübertragungsraten und TRIM (was hier nicht nur für SSDs wichtig ist!) wird auch nur unter bestimmten Konstellationen unterstützt (die idR noch langsamer sind...)

@TE: Ich empfehle dir dich in die CLI einzuarbeiten. Das ist kein Hexenwerk und bedeutend einfacher als rumgeklicke.

 

[tyrann619]

Vielen Dank für eure Antworten

@Anarchist:

Ich würde die ZFS Funktion von Proxmox nutzen, die Daten aber trotzdem in virtuelle Festplatten ablegen, wenn es sich nicht um zu große Datenmengen handelt.

Wie meinst du das genau? die Festplatten aufn Host mit ZFS verwalten und auf den Festplatten dann v-disks und die dann in einer NAS-VM?
Hat man ja noch ne 'verarbeitungsebene' dazwischen im verglich zu direct access.
Außerdem kann ich dann die Festplatten so nicht einfach woanders anstecken und 'importieren' wenn der host mal defekt ist.

Ich stehe noch ganz am Anfang mit der Heim-Vernetzung. Im moment laufen nur zwei alte 500GB platten im mirror um erstmal alles auszutesten.
Später wollte ich vllt mal auf 4 Hot-Swap Hdds hinaus (Größe ka...), wenn mal die Tv karte läuft, etc... Nextcloud läuft auch schon.


@MisterY:

Bei LXC-Containern und Mountpoints ist die performance ja nahezu perfekt,

Kannst du dazu nen Tut oder so empfehlen?

@TE: Ich empfehle dir dich in die CLI einzuarbeiten. Das ist kein Hexenwerk und bedeutend einfacher als rumgeklicke.

Einarbeiten muss ich mich da nicht unbediengt... nur will ich das nicht alles wegspeichern um das dann in 1-2 Jahren wenn mal Stromausfall ist zu reproduzieren.
Wie letzten Monat.. Danach fuhr Proxmox nichtmehr hoch.. ok.. neu installiert.. meine paar VM's importiert.. fertig.
Versteh mich nicht falsch.. ich bin CLi nicht abgeneigt.. mein Desktop OS ist Linux und auf meinen Raspi's läuft auch Debian(headless).. mir geht es nur um flexibilität/mobilität

 

[Anarchist]

Ich finde wenn man virtualisiert, dann doch möglichst viel oder alles.

Ich baue einen VM Host auf dem nichts anderes läuft als entweder ein Typ1 oder Typ2 Hypervisor mit entsprechender Virtualisierungssoftware und vielleicht noch Software um das Storage und eine USV zu managen. Der Rest läuft als VMs, auch Daten eines Fileservers wenn man schon lokalen Storage verwendet.

eine vDisk hat einfach nur grottige Datenübertragungsraten

sehe ich nicht

Außerdem kann ich dann die Festplatten so nicht einfach woanders anstecken und 'importieren' wenn der host mal defekt ist

Dafür virtualisiert man doch? Unabhängigkeit vom Host. Wenn dein Storage down geht hast du eh ein Problem und brauchst ein Backup.

 

[MisterY]

Tut kann ich dir keins geben. Das erschließt sich aber ganz leicht über die WebGUI. TIPP: Wenn man dann in der .conf Datei des LXCs die Größe des Mountpoint auf "0T" setzt, steht einem der gesamte Speicher zur Verfügung.
Dann mach dir doch Screenvideos, was du da genau gemacht hast

@Anarchist: meine vDisks lagen alle bei so 25-55MB/s. Das ist mMn grottig.

 

[Anarchist]

Mit der Angabe kann man halt wenig anfangen, da spielt ja einiges rein wie verwendete HDD/SSDs, RAM, viele kleine Files, große Files.. wie die vdisks angelegt wurden.. so viele Variablen. Grundsätzlich ist eine vdisk bis auf wenige % nicht langsamer als direkter Zugriff. Sag mal mal VMware

wenn ich von meinem Client auf den Fileserver was schiebe sieht das so aus, gerade schnell mal eine heruntergeladene ISO verschoben.



mein Gigabit LAN reize ich bei großen Dateien immer aus, dank des Raid Caches und Ram geht das auch bei kleinen Dateien ziemlich fix. Überhaupt kein Problem..

EDIT:

auch nochmal eine größere Datei mit 4,36GB. Meine Fileserver VM hat nur 2GB RAM also landet auch nicht alles darin.

 

[VirtuGuy]

Dafür virtualisiert man doch? Unabhängigkeit vom Host. Wenn dein Storage down geht hast du eh ein Problem und brauchst ein Backup.

Eine Storage VM mit Disk Passthrough ist ebenso an den Host/Hardware gebunden. Die "Unabhängigkeit" kommt von ZFS und nicht vom Betriebssystem welches den Pool verwaltet. Wenn nur deine Storage VM nicht mehr bootet, kannst du den Pool auch einfach direkt am Host mounten. Sofern man keine speziellen Features von einer Storage VM verwendet, kann man sich den zusätzlichen Aufwand durchaus sparen. Wenn man keine Cli mag, kann man bei Proxmox den Pool auch gleich bei der Installation anlegen lassen. Sollten man später neu installieren, wird nur das Subvol "pve1" überschrieben und "data" automatisch importiert. Ich würde im Fehlerfall aber einfach einen Snapshot zurückspielen, die Vorteile von ZFS kann man ja auch am Host anwenden.

Schlussendlich muss jeder für sich selbst entscheiden. Nur wegen 2-3 Cli Zeilen für den Pool würde ich mir keine Storage VM einrichten. Aber damit ist es idR ja noch nicht getan, man möchte ja auch entsprechende Mailbenachrichtigungen, Snapshots, usw. Dafür musst du bei Proxmox ebenso auf die Cli zurückgreifen was teils deutlich anspruchsvoller ist als ein simpler ZFS Pool. Eine Storage VM bietet dafür idR eine GUI an.

 

[MisterY]

Anarchist, dann zeig mal deine vdisk config. Mit proxmox und ssd-zfs raid1 und 1gbit bzw sogar 10gbit habe ich nicht mehr als 55mb/s hinbekommen. Egal welche einstellungen, welches gast-os...

 

[Anarchist]

Naja unter VM Workstation kann ich hier so gut wie nichts wählen, das ist einfach als Standard angelegt. Zwecks der einfachen Erweiterbarkeit nicht als eine riesige Datei sondern die zweite Option in der geteilt wird.



Darunter liegt ein Raid 10 aus 4x4TB HGST Megascale Festplatten mit dem LSI 9271-8i Controller.

Das mit der Konfig bezog ich eher auf ein ESXi oder Proxmox System bei denen man mehr Einstellungen hat.

 

[Digi-Quick]

Proxmox = Debian (Fork, Minimalversion ....)
Napp-IT kann unter Debian verwendet werden (mit bekannten Einschränkungen)
napp-it // webbased ZFS NAS/SAN appliance for OmniOS, OpenIndiana, Solaris and Linux : Linux
Es wäre also duchaus interessant, ob Napp-It auch unter Proxmox problemlos zu installieren ist
Laut diesem Posting geht es wohl grundsätzlich, geht aber in Konflikt mit dem GUI von Proxmox.
Die Frage ist, läßt sich das einfach über Änderung des Ports (81) für die Napp-IT GUI ändern?
[Sammelthread] ZFS Stammtisch - Seite 194


Napp-It ist vielleicht nicht ganz so hübsch wie FreeNAS / N4F oder OMV, aber durchaus Funktional.
Der Funktionsumfang ist halt ggü. Soliarish eingeschränkt, da Napp-it nicht vollständig auf Linux portiert werden kann.

 

[MisterY]

Firewall - Proxmox VE laut hier nutzt nichts von Proxmox den Port 81.

Napp-It ist also "nur" eine GUI für HDD-Verwaltung? Wäre ja in der Tat eine Überlegung wert, das auf Proxmox zu installieren

es gibt sogar ein Wiki-Eintrag: Iscsi/nappit - Proxmox VE

edit: falsch, der Link bezieht sich darauf, wie man ein Napp-it als share einbindet...

edit2: ich habe mal Proxmox virtualisiert und dort mal napp-it installiert. Sowohl Proxmox- als auch die Napp-IT-Webgui funktioniert. Jedoch erhalte ich bei Napp-IT nur diese Meldung:

napp-it License

Permission granted to use and modify the napp-it free edition and its menus without charge for inhouse use so long as this copyright is maintained
and you do not give away or redistribute the scripts. You will not get any warranty or support, use it as it is at your own risk!
This permission is valid for private and commercial end-users only. For napp-it Pro features you always need a license for every server or cluster.
These named licenses are per server and tight to the hostname. Optionally you can use a location/campus license without a hostname reference.
If you want to distribute napp-it, customize for client installations or charge for it (alone or bundled with other software or hardware),
you need a bundling license for every server. These rules do not apply to extensions. Read more..

napp-it Edition: FREE version
If a PRO version expires, functionality is reduced to the unlimited FREE version

task server: running
active agents:


Installed Extensions : none Update to napp-it PRO


System release:

OS : Linux Test 4.10.15-1-pve #1 SMP PVE 4.10.15-15 (Fri, 23 Jun 2017 08:57:55 +0200) x86_64 GNU/Linux
uptime : 13:25:11 up 15 min, 2 users, load average: 0.06, 0.06, 0.07

edit 3:
Nach einem Neustart der VM funktioniert weder die WebGUI von Proxmox, noch die von Napp-IT. Der meinte:
"Open your browser with adress ip:81
sh: 1: ifconfig: not found
bind: Address already in use
ok"

Es handelt sich hierbei um ein Debian 9.

Habe mal in der Config von Nappit andere Ports angegeben. Dennoch komme ich auf keine WebGUI mehr.

 lsof -i
COMMAND    PID     USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
rpcbind    745     root    6u  IPv4  15102      0t0  UDP *:sunrpc
rpcbind    745     root    7u  IPv4  15103      0t0  UDP *:921
rpcbind    745     root    8u  IPv4  15104      0t0  TCP *:sunrpc (LISTEN)
rpcbind    745     root    9u  IPv6  15105      0t0  UDP *:sunrpc
rpcbind    745     root   10u  IPv6  15106      0t0  UDP *:921
rpcbind    745     root   11u  IPv6  15107      0t0  TCP *:sunrpc (LISTEN)
sshd       954     root    3u  IPv4  17093      0t0  TCP *:ssh (LISTEN)
sshd       954     root    4u  IPv6  17095      0t0  TCP *:ssh (LISTEN)
master    1180     root   13u  IPv4  17821      0t0  TCP localhost.localdomain:smtp (LISTEN)
master    1180     root   14u  IPv6  17822      0t0  TCP ip6-localhost:smtp (LISTEN)
pvedaemon 1200     root    6u  IPv4  18091      0t0  TCP localhost.localdomain:85 (LISTEN)
pvedaemon 1201     root    6u  IPv4  18091      0t0  TCP localhost.localdomain:85 (LISTEN)
pvedaemon 1202     root    6u  IPv4  18091      0t0  TCP localhost.localdomain:85 (LISTEN)
pvedaemon 1203     root    6u  IPv4  18091      0t0  TCP localhost.localdomain:85 (LISTEN)
pveproxy  1210 www-data    6u  IPv4  18174      0t0  TCP *:8006 (LISTEN)
spiceprox 1218 www-data    6u  IPv4  19005      0t0  TCP *:3128 (LISTEN)
spiceprox 1219 www-data    6u  IPv4  19005      0t0  TCP *:3128 (LISTEN)
pveproxy  1527 www-data    6u  IPv4  18174      0t0  TCP *:8006 (LISTEN)
pveproxy  1528 www-data    6u  IPv4  18174      0t0  TCP *:8006 (LISTEN)

 

[Snuskhammer]

Hi,

villeicht so machen wie der Youtuber:

Making File+VM server with Proxmox with a ssd cache Re-upload - YouTube