Ich nutze mittlerweile für alle internen und externen Backups https://github.com/oetiker/znapzend
[Sammelthread] Proxmox Stammtisch
- Ersteller GrafikTreiber
- Erstellt am
@bacon: zu Proxmox und freeNAS all in one hatte der pumuckel in Post #291 diesen Link gepostet: http://www.servethehome.com/the-proxmox-ve-kvm-based-all-in-one-freenas/
@pumuckel: hattest du an Weihnachten Gelegenheit das auszuprobieren?
@luckyspiff: nutzt du LXC Container?
@pumuckel: hattest du an Weihnachten Gelegenheit das auszuprobieren?
@luckyspiff: nutzt du LXC Container?
luckyspiff
Experte
- Mitglied seit
- 09.08.2015
- Beiträge
- 140
Danke für den Tipp, das klingt so, als ob es genau das ist was ich suche! Werd ich mir mal ansehen.
- - - Updated - - -
Ja, für alles außer einer Windows-VM: Samba, NFS, GitLabs, LogitechMediaServer, Plex, OwnCloud, Jenkins, Bittorrent u.a. läuft alles sehr gut in LXC Containern, ist Resourcen-sparend und die Möglichkeit Directories vom Wirt-Filesystem einfach zu mounten ist schon sehr praktisch. Gemessen an der tatsächlichen Last, die hier entsteht, ist die Hardware IMHO ziemlich überdimensioniert (ML10v2 mit 32GB RAM, Xeon E3-1231v3), dafür war der "alte" Server (HP N54L mit 16GB) öfters mal am Anschlag.
Das schöne an dem znapzend ist die Möglichkeit, multiple Zeitpläne auf verschiedene Ziele zu legen. So hab ich halt ein Dataset (LXC Subvol), das täglich auf die interne Backupplatte geschrieben wird, wöchentlich auf den anderen Server, monatlich auf die externe Platte (wenn ich die nicht vergesse 
). Auch das altern lassen fetzt, hab immer die letzte Woche da, ab da die letzten 4 Wochenbackups, ab da die letzten 12 Monatesbackups.
- - - Updated - - -
Hier die aktuelle Version als deb
). Auch das altern lassen fetzt, hab immer die letzte Woche da, ab da die letzten 4 Wochenbackups, ab da die letzten 12 Monatesbackups.- - - Updated - - -
Hier die aktuelle Version als deb
Zuletzt bearbeitet:
Schon mal danke für die Feedbacks.
Wie kann ich mir das mit dem Filesystem vorstellen?
Du machst aus deinen 3x REDs ein ZFS Pool und dieser braucht doch dann ein Filesystem. Das liegt dann doch auf dem ganzen Pool.
Also zumindest war das so unter Debian, als ich dort meine REDs zu einem Pool zusammen gefasst habe.
Oder wie kann ich mir das vorstellen?
Mal angenommen ich packe meine 3x REDs in ein RAIDZ-2 direkt unter PVE. Jetzt stirbt mein Server.
Kann ich dann ne Disk ausbauen (bzw wohl eher zwei) und die in meinen Rechner stecken und mit einer Live-Distor auf die Daten zugreifen?
ZFS Support der Distro vorausgesetzt. Ich würde ja sagen, denn ZFS ist doch nur ein Filesystem oder?
Ich bin etwas hin und her gerissen. Die Möglichkeit direkt unter Proxmox ein ZFS laufen zu lassen hört sich gut an.
Die benötigten Verzeichnisse dann per mount an einen Container durch zu reichen hört sich auch viel versprechend an.
Wenns es dann noch ressourcen sparend ist, wirds immer besser.
Mal davon abgesehen, dass das der falsche Bereich ist, aber könnte man dann ein Verzeichnis vom PVE ZFS an ein FreeNAS weitergeben?
Welches dann eigenlich nur noch als NAS dient? Wobei ich dann auch direkt unter PVE entsprechende Shares einrichten könnte.
Wie kann ich mir das mit dem Filesystem vorstellen?
Du machst aus deinen 3x REDs ein ZFS Pool und dieser braucht doch dann ein Filesystem. Das liegt dann doch auf dem ganzen Pool.
Also zumindest war das so unter Debian, als ich dort meine REDs zu einem Pool zusammen gefasst habe.
Oder wie kann ich mir das vorstellen?
Mal angenommen ich packe meine 3x REDs in ein RAIDZ-2 direkt unter PVE. Jetzt stirbt mein Server.
Kann ich dann ne Disk ausbauen (bzw wohl eher zwei) und die in meinen Rechner stecken und mit einer Live-Distor auf die Daten zugreifen?
ZFS Support der Distro vorausgesetzt. Ich würde ja sagen, denn ZFS ist doch nur ein Filesystem oder?
Ich bin etwas hin und her gerissen. Die Möglichkeit direkt unter Proxmox ein ZFS laufen zu lassen hört sich gut an.
Die benötigten Verzeichnisse dann per mount an einen Container durch zu reichen hört sich auch viel versprechend an.
Wenns es dann noch ressourcen sparend ist, wirds immer besser.
Mal davon abgesehen, dass das der falsche Bereich ist, aber könnte man dann ein Verzeichnis vom PVE ZFS an ein FreeNAS weitergeben?
Welches dann eigenlich nur noch als NAS dient? Wobei ich dann auch direkt unter PVE entsprechende Shares einrichten könnte.
ZFS ist schon das Dateisystem 
Mit Live Distro geht Recovery auch, hab ich mit einer Ubuntu Live schon mal gemacht. Muss man halt kurz noch das ZoL PPA einfügen, ZoL installieren und Kernelmodul laden. Alternativ zum Rescue schnell auf irgendeinem alten Stick/Platte einfach nochmal Proxmox installieren.
Mit Live Distro geht Recovery auch, hab ich mit einer Ubuntu Live schon mal gemacht. Muss man halt kurz noch das ZoL PPA einfügen, ZoL installieren und Kernelmodul laden. Alternativ zum Rescue schnell auf irgendeinem alten Stick/Platte einfach nochmal Proxmox installieren.
Zuletzt bearbeitet:
Ich nutze Proxmox-4 mit ZFS rpool auf 2x SSD (Mirror). Zusätzlich hab ich noch mal 2x SSD im Mirror als Datastore für VM's laufen (Directory).
Die VM's laufen wirklich Pfeilschnell, Win-7 bootet z.B. in knapp 10 Sekunden
Meinen Fileserver habe ich nach vielen anderen getesteten Varianten ausgelagert auf einen HP-GEN8 mit Nas4Free. Zuvor lief das ebenfalls unter Proxmox mit durchgereichtem onBoard-Controller (PCIe-Passthrough) und einer Nas4Free VM. Es lief auch so weit ganz ok, doch das ständige "zittern" beim Kernelupdate, ob das PCI-Passthrough noch so läuft wie es laufen sollte, hat mich letztendlich dazu bewegt, das ganze zu separieren.
morph027:
Was nutzt Du in dem Conatiner als NAS-Verwaltungssoftware?
So wollte ich das auch mal realisieren. Probiert hatte ich es dann aber mit NFS, also Verzeichnisse oder ganzer Pool am Proxmox-Server per NFS frei gegeben und in einer Nas4Free VM per NFS gemountet und von dort aus dann SMB/AFP/DLNA usw. Im Prinzip lief es auch soweit, allerdings ist das dann mit den ACL's so ne Sache, mir war das dann zu kompliziert.
Die VM's laufen wirklich Pfeilschnell, Win-7 bootet z.B. in knapp 10 Sekunden
Meinen Fileserver habe ich nach vielen anderen getesteten Varianten ausgelagert auf einen HP-GEN8 mit Nas4Free. Zuvor lief das ebenfalls unter Proxmox mit durchgereichtem onBoard-Controller (PCIe-Passthrough) und einer Nas4Free VM. Es lief auch so weit ganz ok, doch das ständige "zittern" beim Kernelupdate, ob das PCI-Passthrough noch so läuft wie es laufen sollte, hat mich letztendlich dazu bewegt, das ganze zu separieren.
morph027:
Was nutzt Du in dem Conatiner als NAS-Verwaltungssoftware?
So wollte ich das auch mal realisieren. Probiert hatte ich es dann aber mit NFS, also Verzeichnisse oder ganzer Pool am Proxmox-Server per NFS frei gegeben und in einer Nas4Free VM per NFS gemountet und von dort aus dann SMB/AFP/DLNA usw. Im Prinzip lief es auch soweit, allerdings ist das dann mit den ACL's so ne Sache, mir war das dann zu kompliziert.
Ich exportier den Public Pool per NFS direkt auf dem Proxmox selbst, allerdings nur lesend für ganzen Pi's etc. mit Kodi drauf. Die liefern da mit NFS vs. CIFS etwas bessere Performance, wenn es an dicke Datenraten geht. Da ich auch mal ewig rumgefrickelt habe, die ACLs sinnvol gleich hinzubekommen, hab ich das dann gelassen, mounte die ZFS Pools in einem LXC und dort läuft ganz normal Samba4, der das freigibt. Da seh ich zwar auf ZFS-Ebene im Proxmox nur ungemappte IDs, weil der selbst kein Mitglied der Domain ist, aber das ist ja egal.
So bin ich auch nicht auf irgendwelche Pass-throughs angewiesen. Da läuft das ja quasi fast bare-metal im Vergleich zu einer Vollvirtualisierung.
So bin ich auch nicht auf irgendwelche Pass-throughs angewiesen. Da läuft das ja quasi fast bare-metal im Vergleich zu einer Vollvirtualisierung.
Zuletzt bearbeitet:
Wie wird das denn genau gemacht mit dem Verzeichnisse mounten in den Containern? Hab bisher nur Erfahrung mit KVM VM's.
Und was mich vor allem noch interessieren würde bei dieser Variante: Was passiert eigentlich, wenn gleichzeitig vom Host und dem Container geschrieben/geändert wird? Werden da die Zugriffe irgendwie geregelt?
Und was mich vor allem noch interessieren würde bei dieser Variante: Was passiert eigentlich, wenn gleichzeitig vom Host und dem Container geschrieben/geändert wird? Werden da die Zugriffe irgendwie geregelt?
https://pve.proxmox.com/wiki/LXC_Bind_Mounts
Gleichzeitig wäre nicht transaktionssicher, zumindest auf die gleichen Dateien. Selbst auf unterschiedliche Dateien wäre das suboptimal (ACL,...). Das passiert bei mir aber auch nicht, jeglicher Schreibzugriff geht auf jeden Fall nur über den Samba Server.
Gleichzeitig wäre nicht transaktionssicher, zumindest auf die gleichen Dateien. Selbst auf unterschiedliche Dateien wäre das suboptimal (ACL,...). Das passiert bei mir aber auch nicht, jeglicher Schreibzugriff geht auf jeden Fall nur über den Samba Server.
luckyspiff
Experte
- Mitglied seit
- 09.08.2015
- Beiträge
- 140
Hier ein Beispiel für einen Mount-Eintrag in der Container-Konfiguration (z.B. /etc/pve/lxc/123.conf):
Code:
lxc.mount.entry: /pool1/shared/data srv/data none bind,create=dir,optional 0 0Wenn Du auf einem Directory gleichzeitig z.B. Samba und NFS machst, kannst Du ja auch quasi gleichzeitig die gleichen Dateien modifiziert werden - ich gehe davon aus, dass es hier keinen Unterschied macht, ob die NFS und Samba in Containern laufen oder direkt auf dem Host. Im Gegensatz zu VMs teilen sich die Container ja den selben Kernel. Wenn Du z.B. zwei Server-Prozesse in die gleichen Dateien schreiben lässt, geht das auch nur gut, wenn die Server das irgendwie vorgesehen haben und sich synchronisieren, vom OS wird da nicht viel synchronisiert.
Schon mal jemand mit 4.x einen 2-Node-Cluster ans laufen gebracht ?
Anscheinend wird laut Wiki nun min.3 Nodes gebraucht ich denke wegen Quorum.Das war unter 3.x bisher für mich kein Problem.
VM´s über CLI(ha-manager) oder WebGUI in die HA-Funktion zu schalten ist kein Problem.Aber fahre ich zum Test eine Node runter.
Starten die VM´s nicht auf der anderen Node. Im Status sieht man "Quorum lost".Nach 60secs löst der neue Watchdog Dienst ein power_cycle der verbleibenden Node aus.
Beschrieben wird genau das Verhalten hier: https://pve.proxmox.com/wiki/High_Availability_Cluster_4.x#Fencing
Es gibt wohl Lösungen mit einer externen Quorum Disk bei 3.x
https://pve.proxmox.com/wiki/Two-Node_High_Availability_Cluster#Problems_and_workarounds
Diese ist aber bei 4.0 nicht zu gebrauchen.
Anscheinend wird laut Wiki nun min.3 Nodes gebraucht ich denke wegen Quorum.Das war unter 3.x bisher für mich kein Problem.
VM´s über CLI(ha-manager) oder WebGUI in die HA-Funktion zu schalten ist kein Problem.Aber fahre ich zum Test eine Node runter.
Starten die VM´s nicht auf der anderen Node. Im Status sieht man "Quorum lost".Nach 60secs löst der neue Watchdog Dienst ein power_cycle der verbleibenden Node aus.
Beschrieben wird genau das Verhalten hier: https://pve.proxmox.com/wiki/High_Availability_Cluster_4.x#Fencing
Es gibt wohl Lösungen mit einer externen Quorum Disk bei 3.x
https://pve.proxmox.com/wiki/Two-Node_High_Availability_Cluster#Problems_and_workarounds
Diese ist aber bei 4.0 nicht zu gebrauchen.
schau dich mal bei http://www.servethehome.com/category/server-software/ etwas um, die setzen es produktiv ein und haben einige interessante Artikel
außerdem im Forum dort
außerdem im Forum dort
Zuletzt bearbeitet:
Danke aber nichts gefunden dort. Nun auch egal, werde zwei Server nun mit einen anderen 3er PVE Cluster bündeln.
Produktiv setze ich es auf der Arbeit seit Version 3.0 ein. Die Cluster werden immer mehr oder größer
haste deine "Verlangen" mal im Forum geschildert ?
ich bekam von den Admins immer super Tipps
https://forum.proxmox.com/threads/two-node-high-availability-cluster-on-proxmox-4-x.23828/
Gibt noch mehr Leute mit dem Verlangen. Mal sehen ob sich dort noch was tut.
Gibt noch mehr Leute mit dem Verlangen. Mal sehen ob sich dort noch was tut.
nutzt jemand von euch proxmox zu hause mit zfs unterbau?
weil ich beides eigentlich ganz toll finde, mir aber bei virtualisierung immer 24/7 plattenbetrieb im kopf rumsausen und das will ich für zu hause irgendwie nich....
weil ich beides eigentlich ganz toll finde, mir aber bei virtualisierung immer 24/7 plattenbetrieb im kopf rumsausen und das will ich für zu hause irgendwie nich....
tja, zfs hat nicht nur Vorteile
ist aber nicht so schlimm, wenn du 2 SSds oder 2 2,5" HDDs nimmst.
Für daheim ist es aber imho nicht nötig, da du ja einfach ab und an mal ein lokales Backup fahren kannst (was z.B. beim Hoster schwieriger ist )
ist aber nicht so schlimm, wenn du 2 SSds oder 2 2,5" HDDs nimmst.
Für daheim ist es aber imho nicht nötig, da du ja einfach ab und an mal ein lokales Backup fahren kannst (was z.B. beim Hoster schwieriger ist
)
Zuletzt bearbeitet:
na das wäre zum rumprobieren sicherlich ausreichend, aber meine 7 TB bringe ich da nicht unter. Gerade für meine AfterEffects Projekte fänd ich ZFS sehr nett, wegen der fehlerkorrektur.
das hat dann aber mit proxmox selbst wenig zu tun .... das ist dann eher auf den Storage Part gemünzt (und da auch überall gleich wenn ZFS genutzt wird)
für die Low Power gibts hier doch ne Lösung: http://www.hardwareluxx.de/communit...mediavault-omv-snapraid-greyhole-1043116.html
für die Low Power gibts hier doch ne Lösung: http://www.hardwareluxx.de/communit...mediavault-omv-snapraid-greyhole-1043116.html
Zuletzt bearbeitet:
dermorph
Enthusiast
- Mitglied seit
- 27.10.2012
- Beiträge
- 1.977
Hi.
Ich bin gerade in Aufbau eines Proxmox Servers.
Bis jetzt hab ich mich durchgewurschtelt und gegoogelt und es geht soweit auch mal das was ich bis jetzt wollte. Einzig für 2 Sachen brauche ich euch:
1. ein mittlerweile eingebundenes ZFS Hat wohl noch keinen zugewiesen Pfad. Obwohl es direkt auf dem / liegt. Uploads von isos gehen aber z.b. Nicht.
2. ich komm mit dem network Interface nicht zurecht. Mein Board hat 2 LAN. Wenn ich im Interfaces eth0 oder eth1 konfiguriere, ist kein Netzwerk Zugriff möglich. Lasse ich das Weg und konfiguriere nur ein vmbr0 wo ich bei den Bridge Ports nur einer der beiden eth eintrage, geht ebenfalls kein Netzwerk. Nur wenn ich beide Eintrage ist ein Netzwerk Zugriff möglich. Auch, wenn ich dann wieder eines der beiden Kabel entferne.
Im Grunde möchte ich eine Konfiguration: eth0 vom Router zum Proxmox. Eth1 vom Proxmox zum Switch.
Ich habe vor da drauf u.a. Ein Sophos utm laufen zu lassen inkl dhcp und DNS und der Verkehr soll durch den Proxmox laufen. Noch zum Verständnis: Muss ich dann bei dieser Konfiguration 1 Kabel iN die fritzbox stecken und eines in den Switch oder Beide in den Switch, wo auch die fritzbox mit drin steckt?
Ich bin gerade in Aufbau eines Proxmox Servers.
Bis jetzt hab ich mich durchgewurschtelt und gegoogelt und es geht soweit auch mal das was ich bis jetzt wollte. Einzig für 2 Sachen brauche ich euch:
1. ein mittlerweile eingebundenes ZFS Hat wohl noch keinen zugewiesen Pfad. Obwohl es direkt auf dem / liegt. Uploads von isos gehen aber z.b. Nicht.
2. ich komm mit dem network Interface nicht zurecht. Mein Board hat 2 LAN. Wenn ich im Interfaces eth0 oder eth1 konfiguriere, ist kein Netzwerk Zugriff möglich. Lasse ich das Weg und konfiguriere nur ein vmbr0 wo ich bei den Bridge Ports nur einer der beiden eth eintrage, geht ebenfalls kein Netzwerk. Nur wenn ich beide Eintrage ist ein Netzwerk Zugriff möglich. Auch, wenn ich dann wieder eines der beiden Kabel entferne.
Im Grunde möchte ich eine Konfiguration: eth0 vom Router zum Proxmox. Eth1 vom Proxmox zum Switch.
Ich habe vor da drauf u.a. Ein Sophos utm laufen zu lassen inkl dhcp und DNS und der Verkehr soll durch den Proxmox laufen. Noch zum Verständnis: Muss ich dann bei dieser Konfiguration 1 Kabel iN die fritzbox stecken und eines in den Switch oder Beide in den Switch, wo auch die fritzbox mit drin steckt?
dermorph
Enthusiast
- Mitglied seit
- 27.10.2012
- Beiträge
- 1.977
Für die, die es interessiert. Auf dem ZFS Raid Storage kann kein Upload erfolgen. Dieser kann nur dazu dienen, die VM's zu beinhalten. Dieses Raid kann auch bei der Installation selbst ausgewählt werden.
Zu 2 hab ich noch keine Lösung.
Zu 2 hab ich noch keine Lösung.
Man kann aber einfach ein weiteres Dataset erstellen (z.b. zfs create pool/vz) und das daraus resultierende automatisch gemountete Verzeichnis als "Dir" im Storage Tab definieren, dann kann man auch andere Daten (Templates, Backups,...) im ZFS ablegen)
LichtiF
Enthusiast
Mal eine Frage wie gut laufen unter Proxmox Win 2012r2 VMs. Da ich ein Homelab für meine Arbeit brauche und dort halt fast nur mit Windows VMs zutun habe. Da ich die VMs öfters neu installiere wäre es schön wenn die Templates auch mit Windows funktionieren.
Zuletzt bearbeitet:
LichtiF
Enthusiast
Ok Danke dann werde ich mir mal ein Testsystem aufbauen.
https://forum.proxmox.com/threads/intel-skylake-igpu-i915-breaks-proxmox-4-1.25892/
Hat mich gestern 4h Debugsession, unzählige Resets und Nerven gekostet
Hat mich gestern 4h Debugsession, unzählige Resets und Nerven gekostet
