Stimmt, ist einiges dabei. Aber man kann sich ja auch ein minimales Debian installieren und dort dann die PVE Quellen hinzufügen und nur die Virtualisierungskomponenten installieren. Und ich persönlich halte ESXi für eine furchtbare Plage. But you never get fired for buying Cisco/VMWare...
[Sammelthread] Proxmox Stammtisch
- Ersteller GrafikTreiber
- Erstellt am
Moin Moin,
ich möchte mal mit Proxmox herumspielen, kenne bisher ESXi und Hyper-V.
Im Moment habe ich vier Platten verbaut, alle unterschiedlich, daher erstmal kein RAID.
Proxmox ist installiert auf einer SSD, die anderen Platten sind noch nicht konfiguriert (120GB SSD, 750GB + 1TB SATA).
Ich stelle mir jetzt die Frage womit und wie ich die Platten konfiguriere, partitioniere und formatiere. Fdisk, lvm??
Welches Dateisystem ist am besten geeignet?
Habt ihr da nen Tipp für mich?
ich möchte mal mit Proxmox herumspielen, kenne bisher ESXi und Hyper-V.
Im Moment habe ich vier Platten verbaut, alle unterschiedlich, daher erstmal kein RAID.
Proxmox ist installiert auf einer SSD, die anderen Platten sind noch nicht konfiguriert (120GB SSD, 750GB + 1TB SATA).
Ich stelle mir jetzt die Frage womit und wie ich die Platten konfiguriere, partitioniere und formatiere. Fdisk, lvm??
Welches Dateisystem ist am besten geeignet?
Habt ihr da nen Tipp für mich?
Shutterfly
Enthusiast
- Mitglied seit
- 30.01.2016
- Beiträge
- 1.497
Das würde mich nun interessieren: Was kann Proxmox den besser als ESXi? Gerade solche Erfahrungen von erfahrenen Proxmox-Benutzern fände ich super interessant.
Das hängt davon ab, was du letztendlich tun möchtest. Empfehlungen kann man ja erst aussprechen, wenn man das abgestrebte Anwendungsprofil kennt
Zuletzt bearbeitet:
Es geht mir erst einmal darum Erfahrungen mit Proxmox zu sammeln. Bisher habe ich noch keine zusätzlichen Platten für Linux eingerichtet sondern immer mit einer Komplettplatte gearbeitet. Die wurde dann von einem Installer oder mit einfach fdisk und mkdisk eingerichtet.
Für meine ersten Tests mit Proxmox könnte ich mir folgende Szenario vorstellen:
111GB SD - Proxmox Host, Templates
120GB SSD - kleine VMs, wenn möglich Cache für die beiden Magnetplatten unten?
750GB HDD - Backups
1TB HDD - VMs / Daten
Als allererstes Mal: Ich denke, der kann nichts besser, nur vieles anders
Ich kann nur mal ganz subjektiv aufzählen, was mich anspricht, klar.- OpenSource (Mit Möglichkeit auf Subscription für "LTS" und Support)
- Linux (Debian) Basis
- mittlerweile ZFS
- Container (ich muss nicht jede Firlefanz-WebApp voll virtualisieren)
Dazu der GPL Streit mit VMWare...
Wenn mir mehr einfällt, lass ich's fallen
Hallo liebe Proxmox Kenner
ich hab da ein nicht allzu kleines Problem.
Erstmal zu meiner Systemconfig, also ich hab nen ml10v2 mit 2 120gb SSDs, sowie 3 WD RED Platten, auf einer der SSDs ist auf einer 20GB großen Ext4 Partition Debian installiert.
Ich hab dann einen ZFS Mirror auf jeweils einer Partition auf den beiden SSDs, mit aktivierten Dedup, darauf liegen meine VMs.
Ich hab 2 dauerhaft aktiviert VMs, einmal ein Debian für DNS und DHCP und eine Storage VM, an welche die 3 HDDs per RDM durchgereicht werden.
Wenn ich jetzt ein Backup der VM starte (auf den per NFS eingebundenen Storage der Storage VM), kommt es regelmäßig vor, dass Proxmox komplett abstürzt.
Also die VMs werden sehr träge, bzw. stoppen komplett, im Webinterface wird der Server mal als "grün" und mal als "rot" angezeigt, die eigentlich laufenden VMs werden nach dem Symbol (Monitor links in der Serverview) mal als laufend grün und beim nächsten reload der Seite als gestoppt angezeigt.
Bei Summary der VMs sind die ganzen Graphen nur leere Kästchen, die Namen, Status und co. werden als not specified bzw. unknown angezeigt.
Ich hatte das jetzt schon mehrfach (aktuell wieder) und habe es die letzten male nur durch einen Neustart des Hosts wieder zum laufen gebracht.
Hoffe jemand hat ne Idee woran es liegen könnte.
Hier mal die Ausgabe von pveversion -v
In top ist nur manchmal kvm und ksmd mit hoher CPU Auslastung zu sehen.
Danke schonmal im voraus.
Philipp
ich hab da ein nicht allzu kleines Problem.
Erstmal zu meiner Systemconfig, also ich hab nen ml10v2 mit 2 120gb SSDs, sowie 3 WD RED Platten, auf einer der SSDs ist auf einer 20GB großen Ext4 Partition Debian installiert.
Ich hab dann einen ZFS Mirror auf jeweils einer Partition auf den beiden SSDs, mit aktivierten Dedup, darauf liegen meine VMs.
Ich hab 2 dauerhaft aktiviert VMs, einmal ein Debian für DNS und DHCP und eine Storage VM, an welche die 3 HDDs per RDM durchgereicht werden.
Wenn ich jetzt ein Backup der VM starte (auf den per NFS eingebundenen Storage der Storage VM), kommt es regelmäßig vor, dass Proxmox komplett abstürzt.
Also die VMs werden sehr träge, bzw. stoppen komplett, im Webinterface wird der Server mal als "grün" und mal als "rot" angezeigt, die eigentlich laufenden VMs werden nach dem Symbol (Monitor links in der Serverview) mal als laufend grün und beim nächsten reload der Seite als gestoppt angezeigt.
Bei Summary der VMs sind die ganzen Graphen nur leere Kästchen, die Namen, Status und co. werden als not specified bzw. unknown angezeigt.
Ich hatte das jetzt schon mehrfach (aktuell wieder) und habe es die letzten male nur durch einen Neustart des Hosts wieder zum laufen gebracht.
Hoffe jemand hat ne Idee woran es liegen könnte.
Hier mal die Ausgabe von pveversion -v
proxmox-ve: 4.1-41 (running kernel: 4.2.8-1-pve)
pve-manager: 4.1-22 (running version: 4.1-22/aca130cf)
pve-kernel-4.2.8-1-pve: 4.2.8-41
pve-kernel-4.2.2-1-pve: 4.2.2-16
lvm2: 2.02.116-pve2
corosync-pve: 2.3.5-2
libqb0: 1.0-1
pve-cluster: 4.0-33
qemu-server: 4.0-64
pve-firmware: 1.1-7
libpve-common-perl: 4.0-54
libpve-access-control: 4.0-13
libpve-storage-perl: 4.0-42
pve-libspice-server1: 0.12.5-2
vncterm: 1.2-1
pve-qemu-kvm: 2.5-9
pve-container: 1.0-52
pve-firewall: 2.0-22
pve-ha-manager: 1.0-25
ksm-control-daemon: 1.2-1
glusterfs-client: 3.5.2-2+deb8u1
lxc-pve: 1.1.5-7
lxcfs: 2.0.0-pve2
cgmanager: 0.39-pve1
criu: 1.6.0-1
zfsutils: 0.6.5.2-2
pve-manager: 4.1-22 (running version: 4.1-22/aca130cf)
pve-kernel-4.2.8-1-pve: 4.2.8-41
pve-kernel-4.2.2-1-pve: 4.2.2-16
lvm2: 2.02.116-pve2
corosync-pve: 2.3.5-2
libqb0: 1.0-1
pve-cluster: 4.0-33
qemu-server: 4.0-64
pve-firmware: 1.1-7
libpve-common-perl: 4.0-54
libpve-access-control: 4.0-13
libpve-storage-perl: 4.0-42
pve-libspice-server1: 0.12.5-2
vncterm: 1.2-1
pve-qemu-kvm: 2.5-9
pve-container: 1.0-52
pve-firewall: 2.0-22
pve-ha-manager: 1.0-25
ksm-control-daemon: 1.2-1
glusterfs-client: 3.5.2-2+deb8u1
lxc-pve: 1.1.5-7
lxcfs: 2.0.0-pve2
cgmanager: 0.39-pve1
criu: 1.6.0-1
zfsutils: 0.6.5.2-2
In top ist nur manchmal kvm und ksmd mit hoher CPU Auslastung zu sehen.
Danke schonmal im voraus.
Philipp
Da haben wir die mögliche Ursache auch schon
Deduplikation ist rechenintensiv und so wie du sie verwendest nicht sinnvoll.
Zuletzt bearbeitet:
Naja aber die CPU load ist jetzt nicht so sonderlich hoch, ksmd hat maximal 10% von einem core beansprucht.
Mein Gedanke war halt, dass es sich gerade in dem Fall lohnt, weil ja viele gleiche Sektoren vorliegen, da sich die VMs kaum voneinander unterscheiden.
Oder hab ich da nen Denkfehler drinnen?
Mein Gedanke war halt, dass es sich gerade in dem Fall lohnt, weil ja viele gleiche Sektoren vorliegen, da sich die VMs kaum voneinander unterscheiden.
Oder hab ich da nen Denkfehler drinnen?
Das Problem ist, dass ja gerade bei den VMs viele Schreibzugriffe stattfinden und jedes Mal muss vorher in der Dedup-Tabelle nachgeguckt werden, ob das jeweilige File schon vorhanden ist. Du sparst wahrscheinlich im einstelligen Prozentbereich Speicherplatz, hast aber dafür die Dedup-Tabelle ständig im RAM (bei 120GB SSD kann die so bis auf ~0,5 GB anwachsen) und schmälerst den schreibenden Datendurchsatz. Lohnt sich das? Nicht wirklich.
Das hier ist ein alter Blogeintrag, der die ZFS-Deduplikation ganz gut beschreibt.
Das hier ist ein alter Blogeintrag, der die ZFS-Deduplikation ganz gut beschreibt.
So ich wollte jetzt grade die Daten auf ne andere Platte kopieren, bis mir dann aufgefallen ist, dass das so nicht so wirklich funktioniert, da Proxmox ja für jede VM ein eigenes FS auf dem ZFS Pool erzeugt.
Ich habe auch schon probiert ein Snapshot von dem Pool mit "zfs send storagepool@now | zfs receive -F extern" zu übertragen, dass dauert allerdings nur eine Sekunde und es passiert überhaupt nichts.
Wie kann ich den gesamten Pool inklusive aller Filesysteme sichern, dass alle Daten (inklusive der der VMs) noch vorhanden sind?
Edit: Hier mal die Ausgabe von zfs list zur besseren Verständnis
Ich habe auch schon probiert ein Snapshot von dem Pool mit "zfs send storagepool@now | zfs receive -F extern" zu übertragen, dass dauert allerdings nur eine Sekunde und es passiert überhaupt nichts.
Wie kann ich den gesamten Pool inklusive aller Filesysteme sichern, dass alle Daten (inklusive der der VMs) noch vorhanden sind?
Edit: Hier mal die Ausgabe von zfs list zur besseren Verständnis
NAME USED AVAIL REFER MOUNTPOINT
storagepool 42,7G 19,1G 96K /storagepool
storagepool/proxmox 39,9G 19,1G 112K /storagepool/proxmox
storagepool/proxmox/vm-101-disk-1 1,86G 19,1G 1,86G -
storagepool/proxmox/vm-102-disk-1 2,16G 19,1G 2,16G -
storagepool/proxmox/vm-120-disk-1 1,24G 19,1G 1,24G -
storagepool/proxmox/vm-150-disk-1 34,6G 19,1G 27,2G -
storagepool/proxmox/vm-161-disk-1 2,43M 19,1G 2,43M -
storagepool 42,7G 19,1G 96K /storagepool
storagepool/proxmox 39,9G 19,1G 112K /storagepool/proxmox
storagepool/proxmox/vm-101-disk-1 1,86G 19,1G 1,86G -
storagepool/proxmox/vm-102-disk-1 2,16G 19,1G 2,16G -
storagepool/proxmox/vm-120-disk-1 1,24G 19,1G 1,24G -
storagepool/proxmox/vm-150-disk-1 34,6G 19,1G 27,2G -
storagepool/proxmox/vm-161-disk-1 2,43M 19,1G 2,43M -
Zuletzt bearbeitet:
... really ? Ich fand sie per virtio immer besser
so unterscheiden sich wohl die Erfahrungen
Zuletzt bearbeitet:
morph02701
Neuling
- Mitglied seit
- 04.11.2015
- Beiträge
- 2
Also ich bekomme per VirtIO oder direkt in Containern auch nahezu Wirespeed hin und find eher ESXi mit seinen furchtbaren vSwitches langsam. Die bekomme ich nicht über 200Mbit/s
Ich kann ja mal gerne was über meine Tests und Vergleiche sagen.Hier gehts nicht um Streaming Performance.Sondern Latenz und kleine Pakete.
Unser Yabu Build System baut ein Projekt auf einem DELL R620 mit Lokaler Platte in 1:30.
Selbe Anzahl Cores+RAM unter ESXI 1:41 und Proxmox 1:58.
Da die Hypervisoren die HD ja über VirtIO emulieren war ja ein Overhead zu erwarten.
Da wir aber unsere Workers Pfade nicht Lokal haben sondern über NFS Mount rangezogen werden.
Server RAW 2:27
ESXI 3:08
Proxmox 3:52
Der NFS Server ist 1Gbit angebunden. Dazu muss gesagt werden die VM´s hatten ein Interface nur für den NFS Mount.
Finde den Unterschied ESXI zu Proxmox mal krass und geht in der Praxis gar nicht. Also unsere Compiler Farm wird nicht Virtualisiert und wenn nur mit ESXI.
Vt-d durchreichen ist kein Hit geht nicht wenn man Migration in einem Cluster nutzen möchte. Bleibt eigentlich nur noch SR-IOV um die Leistung zu steigern.
http://www.linux-kvm.org/page/10G_NIC_performance:_VFIO_vs_virtio
Unser Yabu Build System baut ein Projekt auf einem DELL R620 mit Lokaler Platte in 1:30.
Selbe Anzahl Cores+RAM unter ESXI 1:41 und Proxmox 1:58.
Da die Hypervisoren die HD ja über VirtIO emulieren war ja ein Overhead zu erwarten.
Da wir aber unsere Workers Pfade nicht Lokal haben sondern über NFS Mount rangezogen werden.
Server RAW 2:27
ESXI 3:08
Proxmox 3:52
Der NFS Server ist 1Gbit angebunden. Dazu muss gesagt werden die VM´s hatten ein Interface nur für den NFS Mount.
Finde den Unterschied ESXI zu Proxmox mal krass und geht in der Praxis gar nicht. Also unsere Compiler Farm wird nicht Virtualisiert und wenn nur mit ESXI.
Vt-d durchreichen ist kein Hit geht nicht wenn man Migration in einem Cluster nutzen möchte. Bleibt eigentlich nur noch SR-IOV um die Leistung zu steigern.
http://www.linux-kvm.org/page/10G_NIC_performance:_VFIO_vs_virtio
Zuletzt bearbeitet:
Ich habe mal eine Frage...
Wenn mein Dell Root bereits einen Hardware Raid Controller besitzt.
Perclt 730 mini
und ich 2 Intel SSDs mit 480 GB als Raid 1 nutzen möchte, wie würdet Ihr folgende Werte für die Partionen definieren?
Wieviel bei maxroot und minfree ?
maxvz nehme ich an ist der Speicher für die VMs also groß gestalten..
Welches Filesystem soll ausgewählt werden?
Ich möchte auf dem dedizierten Server nur Proxmox nutzen und ganz viel Speicher für die VMs haben.
Swap sollten doch 8 GB reichen bei 64 GB Arbeitspeicher?
Wäre schön wenn ihr mir einen Tipp geben könntet.
Hab es jetzt so aufgesetzt.
Wenn mein Dell Root bereits einen Hardware Raid Controller besitzt.
Perclt 730 mini
und ich 2 Intel SSDs mit 480 GB als Raid 1 nutzen möchte, wie würdet Ihr folgende Werte für die Partionen definieren?
Wieviel bei maxroot und minfree ?
maxvz nehme ich an ist der Speicher für die VMs also groß gestalten..
Welches Filesystem soll ausgewählt werden?
Ich möchte auf dem dedizierten Server nur Proxmox nutzen und ganz viel Speicher für die VMs haben.
Swap sollten doch 8 GB reichen bei 64 GB Arbeitspeicher?
Wäre schön wenn ihr mir einen Tipp geben könntet.
Hab es jetzt so aufgesetzt.
Zuletzt bearbeitet:
maxroot reichen 10 Gb die werden nie voll.
swap nimmt man i.d.R MEM/2 bei dir also 32 Gb
minfree hätte ich max 5% der gesamt Kapazität genommen. Sollte man mit LVM Snapshots rumspielen wollen für Backupzwecke sollte das reichen.
swap nimmt man i.d.R MEM/2 bei dir also 32 Gb
minfree hätte ich max 5% der gesamt Kapazität genommen. Sollte man mit LVM Snapshots rumspielen wollen für Backupzwecke sollte das reichen.
Nach langen Hin und Her habe ich mich nun beschlossen kein FreeNAS als Gast-VM laufen zu lassen, da ich ein Intel Atom C2XXX verwenden möchte und diese kein PCI Passthrough bieten. Ich werde demnach den ZFS Storage nativ auf dem Host einrichten und die VMs dann auf der SSD. Ihr habt mich auf die richtige Bahn geleitet Außerdem sind die Posts
https://forums.freenas.org/index.ph...ide-to-not-completely-losing-your-data.12714/
https://forums.freenas.org/index.ph...nas-in-production-as-a-virtual-machine.12484/
mehr als Aussagekräftig. Am Ende will ich meine Daten nicht verlieren/zpool schrotten, da verzichte ich auf den Komfort von FreeNAS.
Außerdem sind die Posts https://forums.freenas.org/index.ph...ide-to-not-completely-losing-your-data.12714/
https://forums.freenas.org/index.ph...nas-in-production-as-a-virtual-machine.12484/
mehr als Aussagekräftig. Am Ende will ich meine Daten nicht verlieren/zpool schrotten, da verzichte ich auf den Komfort von FreeNAS.
Nach langen Hin und Her habe ich mich nun beschlossen kein FreeNAS als Gast-VM laufen zu lassen, da ich ein Intel Atom C2XXX verwenden möchte und diese kein PCI Passthrough bieten. Ich werde demnach den ZFS Storage nativ auf dem Host einrichten und die VMs dann auf der SSD. Ihr habt mich auf die richtige Bahn geleitet
https://forums.freenas.org/index.ph...ide-to-not-completely-losing-your-data.12714/
https://forums.freenas.org/index.ph...nas-in-production-as-a-virtual-machine.12484/
mehr als Aussagekräftig. Am Ende will ich meine Daten nicht verlieren/zpool schrotten, da verzichte ich auf den Komfort von FreeNAS.
gute entscheidung
nächst besser wäre nur ein sep. Freenas mit seperater Anbindung
.... einen Mission critical Speicher zu virtualisieren ist imho keine Option .. da man ein Freenas z.B. cheap auflegen kann (kostet nicht viel)
Zuletzt bearbeitet:
Nunja, genau das will ich ja eben vermeiden, dass ich noch einen Stromfresser im 19" Schrank verbaue. Ich sehe für mich da keinen Vorteil ob auf einem Server virtualisiert und Daten bereit gestellt werden anstatt das physikalisch zu trennen. Am Ende ist der Server nur effizient ausgelastet und idled nicht permanent. Nenn mir bitte ein paar Benefits der Trennung!?
Proxmox 4.2 ist soeben released worden!
https://forum.proxmox.com/threads/proxmox-ve-4-2-released.27131/
https://forum.proxmox.com/threads/proxmox-ve-4-2-released.27131/
und für mich kommt das stromsparen eben noch an erster stelle bei meinen stromkosten im moment....
endlich mal läuft Kodi als Frontend ordentlich
wieder ein Schritt weiter zum einfachen AIO
... im Hintergrund läuft ein Livestream von Twitch
- - - Updated - - -
Stromfresser und 19" Schrank im selben Satz ist irgendwie seltsam
... wenn du Sparen willst brauchste auch keinen Schrank, da ein System reichtBenefits: Datensicherheit, Ausfallsicherheit, immun gegen virtualizier bugs bei Upgrades oder Problemen
- - - Updated - - -
dann wäre aber sowas wie ein SOC ala RB Pi/Odroid C2 + ne HDD am Router sparsamer (bzw ne ESata oder USB Raid Lösung welche man abschalten kann)
das wären 3W+2W (bzw beim externen case die Watt /Laufzeit)
für die "Testhardware" und Zeit der letzten 2 jahre allein hätte ich schon Strom für 15 Jahre eines 50W Servers bezahlen können
ich hab letztens mal ne Rechnung aufgemacht ob sich für daheim überhaupt noch 24/7 Storage lohnt und das Ergebnis war : nope (außer für Private Daten, die ich bequem auf 2,5" Platten bekomme, da max 2-3TB .. die ganz wichtigen noch encrypted auf meinen 250GB AllInkl Account)
man streamt doch eh zu 90% heute und meine DVDs im Schrank brauchen auch keinen Strom ^^
die Mp3s liegen auf nem USB Stick am Router
einzig auf IMPI (kost auch ca 5W/Gerät) möchte ich nicht verzichten, da ich so mit dem handy die Systeme starten/stoppen kann
... btw was sind deine Stromkosten / Monat ?
und (external) Backup Storage gibts genug günstige zuverlässige z.B. http://www.ebay.com/itm/Hitachi-450...ve-HDD-0B25856-HUC106045CSS601-/272221710325? (davon einfach mal pro Backup - von wichtigen Daten - ein paar holen)
siehe auch: https://forums.servethehome.com/ind...00-450gb-2-5-tcg-encryption-hard-drives.9475/
Zuletzt bearbeitet:
hast du pve und kodi auf dem selben debian laufen?
ja klar ... normales PVE und darauf Kodi als "Grafik Frontend" nach der 0815 anleitung
dte installieren (siehe dev workstation)
account anlegen (shell) - normaler account ohne root
Kodi auf Debian (siehe Kodi auf debian)
mit Mate muss ich es noch testen (mag mate)
klar kann man PVE auch direkt auf einem nativen debian installieren .... braucht aber mehr Schritte
wer besser in linux ist kann das sicher auch ohne dte machen (ich brauche aber das DTE für andere Anwendungen)
Zuletzt bearbeitet:
