[Sammelthread] Proxmox Stammtisch

[Handle]

Wieso Beileid?
Dass RAID5/6 derzeit nicht geht ist mir bekannt, kommt bei mir aber auch nicht zum Einsatz.

Gesendet von meinem SM-G930F mit Tapatalk

 

[MisterY]

Weil Proxmox mMn im Bereich von Virtualisierung unschlagbar ist.
Dann Raid0 oder 1? Ist das nicht etwas ressourcenverschwendend?

 

[b99]

schaut mal. Proxmox 5.1 ist verfügbar: Proxmox VE 5.1 ISO Installer

 

[Handle]

Weil Proxmox mMn im Bereich von Virtualisierung unschlagbar ist.

Welche Vergleichsmöglichkeiten hast du denn? LXC-Container, qemu, KVM etc. kann man auch ohne Proxmox z. B. mit libvirt komfortabel nutzen.

Dann Raid0 oder 1? Ist das nicht etwas ressourcenverschwendend?

Ja, RAID1, aber lief auch unter Proxmox schon so. Von den Größen meiner Festplatten und SSDs her ist keine andere Konfiguration sinnvoll und "ressourcenverschwendend" ist relativ. Unter RAID6 würde ich bei einem Mehrplattensetup nicht mehr gehen wollen, insofern wäre da ein denkbares RAID10 bei vier Platten (mehr Platz ist nicht im Gehäuse meines MX130 S2) gleichauf.

 

[Digi-Quick]

Wobei dir bei einem Raid10 nur eine beliebige HDD ausfallen darf und somit dem Redundanzlevel Raid1 (Mirror) oder Raid5 (Raidz1) entspricht - und keinesfalls mit Raid6 (Raidz2) vergleichbar ist

 

[MisterY]

Welche Vergleichsmöglichkeiten hast du denn? LXC-Container, qemu, KVM etc. kann man auch ohne Proxmox z. B. mit libvirt komfortabel nutzen.

ESXI, Hyper V und Virtualbox. Hat mich alles nicht überzeugt.

Warum verbaust du nicht 2.5" Festplatten in das MX130 S2?

 

[Evostar]

@MisterY Hatte im Proxmox Forum davon gelesen, habe es allerdings jetzt gewagt, hat alles problemlos funktioniert.

 

[MisterY]

D.h. zfs läuft einwandfrei?

 

[Handle]

Wobei dir bei einem Raid10 nur eine beliebige HDD ausfallen darf und somit dem Redundanzlevel Raid1 (Mirror) oder Raid5 (Raidz1) entspricht - und keinesfalls mit Raid6 (Raidz2) vergleichbar ist

Das stimmt natürlich, da hatte ich irgendwie einen Denkfehler.

ESXI, Hyper V und Virtualbox. Hat mich alles nicht überzeugt.

Hat / hätte es mich auch nicht. Aber die Aussage, dass Proxmox in Virtualisierung unschlagbar ist, passt irgendwie nicht so richtig - denn Proxmox ist ja nicht für die Virtualisierung verantwortlich. Hättest du jetzt geschrieben, dass du LXC-Container, qemu, KVM usw. im Bereich Virtualisierung unschlagbar findest, wäre das was anderes gewesen Ich habe damit bisher auch die besten Erfahrungen gemacht. Seitdem ich libvirt kenne, weiß ich aber, dass es für meine Zwecke auch simpler und komfortabler als mit der Proxmox-GUI geht

Warum verbaust du nicht 2.5" Festplatten in das MX130 S2?

Hast du dir mal die Preise angesehen? Für meine zwei 3,5" 4TB-Platten habe ich 170 Euro neu bezaht - dafür hätte ich gerade mal eine 4TB 2,5"-Platte bekommen.

 

[Evostar]

ZFS läuft an sich super, der ZED sendet allerdings dummerweise keine Mails mehr.

 

[Swivel]

So, nach etlichen probieren benötige ich nochmals etwas Hilfe /Unterstützung.

Proxmox läuft und zfs ist für den Datenpool eingerichtet.

Wie ist das beste Vorgehen für das Bereitstellen von Daten/Datenpool für ALLE VM's. Auf den Datenpool sollen Bilder, Filme usw. abgespeichert werden bzw Bereitgestellt werden.

Wenn ich das ZFS an eine VM als Proxmox -Storage durchreiche schreibt er ja eine Imagedatei darauf. Sollte eine Festplatte abschmieren , stellt das dann ein Problem für diese Image Datei dar?

Also die Grundsatzfrage: Wie kann ich mein Datenstorage an alle VM's Bereitstellen?

 

[MisterY]

Hi,
Ich habe den Kernel auf http://download.proxmox.com/temp/pve-kernel-4.13.4-1-pve_4.13.4-26~vmxtest1_amd64.deb geupdatet, da meine CPU (Opteron 3280) kein nmi unterstützt.

Ist dann zwar beim reboot hochgefahren, jedoch startet nun keine VM mehr (LXC schon).

kvm: -drive file=/dev/zvol/rpool/data/vm-250-disk-1,if=none,id=drive-scsi0,discard=on,format=raw,cache=none,aio=native,detect-zeroes=unmap: Could not open '/dev/zvol/rpool/data/vm-250-disk-1': No such file or directory

der Ordner /dev/zvol fehlt.

sudo zpool list

NAME    SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
rpool   232G  74.8G   157G         -    38%    32%  1.00x  ONLINE  -
tank   2.72T  1.20T  1.52T         -    17%    44%  1.00x  ONLINE  -

das kommt alle 3 Minuten ins syslog:

Oct 27 12:31:31 pve systemd[1]: dev-zvol-rpool-swap.device: Job dev-zvol-rpool-swap.device/start timed out.
Oct 27 12:31:31 pve systemd[1]: Timed out waiting for device dev-zvol-rpool-swap.device.
Oct 27 12:31:31 pve systemd[1]: Dependency failed for /dev/zvol/rpool/swap.
Oct 27 12:31:31 pve systemd[1]: dev-zvol-rpool-swap.swap: Job dev-zvol-rpool-swap.swap/start failed with result 'dependency'.
Oct 27 12:31:31 pve systemd[1]: dev-zvol-rpool-swap.device: Job dev-zvol-rpool-swap.device/start failed with result 'timeout'.

 

[VirtuGuy]

So, nach etlichen probieren benötige ich nochmals etwas Hilfe /Unterstützung.

Proxmox läuft und zfs ist für den Datenpool eingerichtet.

Wie ist das beste Vorgehen für das Bereitstellen von Daten/Datenpool für ALLE VM's. Auf den Datenpool sollen Bilder, Filme usw. abgespeichert werden bzw Bereitgestellt werden.

Wenn ich das ZFS an eine VM als Proxmox -Storage durchreiche schreibt er ja eine Imagedatei darauf. Sollte eine Festplatte abschmieren , stellt das dann ein Problem für diese Image Datei dar?

Also die Grundsatzfrage: Wie kann ich mein Datenstorage an alle VM's Bereitstellen?

Virtuelle Diskfiles sind simple Dateien, von daher ist es kein Problem wenn eine Platte ausfällt und du zB ein ein RaidZ2 verwendest.

 

[Swivel]

Okay ist es denn sinnvoll die virtuelle diskfile 80% vom zfs Volume zu setzen? Das es gleich nicht so voll wird?

Kann ich dann die diskfile auf jede vm einbinden? Sollte doch dann Korrupte Dateien entstehen oder? Welche Varianten wären machbar?

 

[pumuckel]

ich rate dazu die VMs auf einem single drive aufzusetzen (wenn ssd oder NVMe)
die backups/snapshots dann auf ein ZFs Mirror mit normalen 2,5" Hdds

 

[MisterY]

Wie kann man denn den Speicherort von den snapshots ändern?

 

[sebbla]

Hallo zusammen,

folgendes Anliegen habe ich und hoffe ihr könnt mir weiterhelfen.
Ich habe zwei Server übernommen mit Proxmox und DRBD laufen. Um nicht irgendwann der Proxmox Version hinterherlaufen zu müssen, habe ich mir vorgenommen von Proxmox 4.4 auf 5.1 zu aktualisieren.
Das Plugin DRBD-Manage für Proxmox wird nicht mehr direkt von Proxmox geliefert und es dauerte etwas bis Linbit das drbdmanage für Proxmox gebracht hat.

Nun habe ich eine Kiste aktualisiert (dist-upgrade (also Debian Stretch und Proxmox 5.1)). Dies klappte problemlos. Problem ist allerdings das DRBD. Zunächst wollte es nicht starten da er einiges aus dem /etc/drbd.d/drbdctrl.res nicht parsen konnte. Zum Test auskommentiert und drbd konnte zumindest gestartet finden. Das DRBD sieht sich noch nicht.

Soll ich die andere Kiste zunächst aktualisieren und dann die DRBD Verbindung realisieren nach der Doku oder gibt es einen Weg dies jetzt schon zu realisieren um die VMs rüber zu schieben und dann die Aktualisierung zu starten?
Wie seit ihr vorgegangen?
Das DRBD bringt mich langsam zum Verzweifeln jetzt wo auch Proxmox zumindest den direkten Support nicht mehr unterstützt.

Vielen Dank.

 

[hitman22]

Hallo,

ich weiß nicht ob Ihr mir dort weiterhelfen könnt, ich habe mit auf meine Dell T20 mit Xeon 1225 V3 CPU Proxmox 5.1 installiert und möchte dort die Karte IBM M1015 durchreichen. Ich habe in der grub.conf die Command Line wie folgt abgeändert: "GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=igfx_off intel_iommu=on" und ein update-grub ausgeführt und den Host neu gestartet. Die VM die die Karte erhalten soll, startet aber nicht. Proxmox selber zeigt "OK" wenn die VM gestartet wird, aber es passiert nichts. Im Syslog konnte ich jetzt auch nichts auffälliges finde. Ein "dmesg | grep -e DMAR -e IOMMU" bringt folgendes

Spoiler

[ 0.000000] ACPI: DMAR 0x00000000C8FFE138 0000B8 (v01 INTEL HSW 00000001 INTL 00000001)
[ 0.000000] DMAR: Disable GFX device mapping
[ 0.000000] DMAR: IOMMU enabled
[ 0.022701] DMAR: Host address width 39
[ 0.022702] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[ 0.022708] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c0000020660462 ecap f0101a
[ 0.022708] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[ 0.022711] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008020660462 ecap f010da
[ 0.022711] DMAR: RMRR base: 0x000000cbf7b000 end: 0x000000cbf88fff
[ 0.022712] DMAR: RMRR base: 0x000000cd000000 end: 0x000000cf1fffff
[ 0.022714] DMAR-IR: IOAPIC id 8 under DRHD base 0xfed91000 IOMMU 1
[ 0.022714] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[ 0.022715] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[ 0.022889] DMAR: DRHD: handling fault status reg 2
[ 0.022893] DMAR: [DMA Read] Request device [00:1f.2] fault addr cbf41000 [fault reason 06] PTE Read access is not set
[ 0.022963] DMAR-IR: Enabled IRQ remapping in x2apic mode
[ 0.585789] DMAR: No ATSR found
[ 0.586044] DMAR: dmar1: Using Queued invalidation
[ 0.586051] DMAR: Setting RMRR:
[ 0.586075] DMAR: Setting identity map for device 0000:00:14.0 [0xcbf7b000 - 0xcbf88fff]
[ 0.586102] DMAR: Setting identity map for device 0000:00:1a.0 [0xcbf7b000 - 0xcbf88fff]
[ 0.586129] DMAR: Setting identity map for device 0000:00:1d.0 [0xcbf7b000 - 0xcbf88fff]
[ 0.586140] DMAR: Prepare 0-16MiB unity mapping for LPC
[ 0.586156] DMAR: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]
[ 0.586236] DMAR: Intel(R) Virtualization Technology for Directed I/O

Danke.

 

[hoppel118]

Wie sehen denn deine Einstellungen in der vmid.conf aus?

Ich hatte hier mal was zum durchreichen meines sas-controllers beschrieben:

Proxmox VE 4.2 pci passthrough LSI 3008 (mpt3sas) | Proxmox Support Forum

Evtl. bringt dich das ein Stück weiter. Im Wesentlichen habe ich mich dabei an das Proxmox Wiki gehalten:

Pci passthrough - Proxmox VE

Gruß Hoppel

 

[hitman22]

Danke für die Antwort. Die vmid.conf sieht wie folgt aus:

Spoiler

boot: cdn
bootdisk: scsi0
cores: 4
cpu: host
hostpci0: 08:00.0
ide2: local:iso/debian-9.2.1-amd64-netinst.iso,media=cdrom,size=290M
machine: q35
memory: 4096
name: VILSTRG02
net0: virtio=DE:67:E0:7C:F1:83,bridge=vmbr0,tag=3
net1: virtio=EE:1D:CB:22:CD:A1,bridge=vmbr1
numa: 1
ostype: l26
scsi0: local-lvm:vm-104-disk-1,size=32G
scsihw: virtio-scsi-pci
smbios1: uuid=de582d91-ffc9-4fd3-bb56-661eba984d30
sockets: 1

Die Module nach /etc/modules habe ich noch hinzugefügt, aber dies hat auch nichts gebracht. Ich habe auch mal versucht die VM über qm start id zu starten, aber dort bekomme ich auch keine Meldung, das etwas nicht passt. Geblacklisted habe ich jetzt mal nichts am Host oder sollte ich das mal noch machen?

Edit: Blacklist hat auch nichts gebracht.

 

[hoppel118]

Hm..., zeig mal die Ausgabe von „lspci“ deines Hosts.

 

[hitman22]

Das ist die Ausgabe von lspci:

Spoiler

00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v3 Processor DRAM Controller (rev 06)
00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor PCI Express x16 Controller (rev 06)
00:02.0 VGA compatible controller: Intel Corporation Xeon E3-1200 v3 Processor Integrated Graphics Controller (rev 06)
00:14.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB xHCI (rev 04)
00:16.0 Communication controller: Intel Corporation 8 Series/C220 Series Chipset Family MEI Controller #1 (rev 04)
00:16.3 Serial controller: Intel Corporation 8 Series/C220 Series Chipset Family KT Controller (rev 04)
00:19.0 Ethernet controller: Intel Corporation Ethernet Connection I217-LM (rev 04)
00:1a.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #2 (rev 04)
00:1b.0 Audio device: Intel Corporation 8 Series/C220 Series Chipset High Definition Audio Controller (rev 04)
00:1c.0 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #1 (rev d4)
00:1c.1 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #2 (rev d4)
00:1c.4 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #5 (rev d4)
00:1d.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #1 (rev 04)
00:1f.0 ISA bridge: Intel Corporation C226 Series Chipset Family Server Advanced SKU LPC Controller (rev 04)
00:1f.2 SATA controller: Intel Corporation 8 Series/C220 Series Chipset Family 6-port SATA Controller 1 [AHCI mode] (rev 04)
00:1f.3 SMBus: Intel Corporation 8 Series/C220 Series Chipset Family SMBus Controller (rev 04)
01:00.0 PCI bridge: Integrated Device Technology, Inc. [IDT] PES12T3G2 PCI Express Gen2 Switch (rev 01)
02:02.0 PCI bridge: Integrated Device Technology, Inc. [IDT] PES12T3G2 PCI Express Gen2 Switch (rev 01)
02:04.0 PCI bridge: Integrated Device Technology, Inc. [IDT] PES12T3G2 PCI Express Gen2 Switch (rev 01)
03:00.0 Ethernet controller: Broadcom Limited NetXtreme II BCM5709 Gigabit Ethernet (rev 20)
03:00.1 Ethernet controller: Broadcom Limited NetXtreme II BCM5709 Gigabit Ethernet (rev 20)
04:00.0 Ethernet controller: Broadcom Limited NetXtreme II BCM5709 Gigabit Ethernet (rev 20)
04:00.1 Ethernet controller: Broadcom Limited NetXtreme II BCM5709 Gigabit Ethernet (rev 20)
06:00.0 PCI bridge: Texas Instruments XIO2001 PCI Express-to-PCI Bridge
08:00.0 Serial Attached SCSI controller: LSI Logic / Symbios Logic SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)

Ich schaue dann morgen mal weiter, und wechsle auch mal den PCI Slot, vielleicht hat es auch damit etwas zu tun.

 

[Sc0rc3d]

Hi, ich habe in meinem Homeserver 2 x 4 TB als ZFS-Mirror die ich gern als Backupziel nutzen würde. Kann ich diese direkt in eine VM einbinden (habe einen Ubuntu-Server KVM erstellt in der ich borgbackup nutzen möchte). Dei Frage ist nun reiche ich dies direkt mittels VirtIO an die VM durch oder gibt es da andere/bessere Möglichkeiten. Und generell, ist ZFS da eher kontraproduktiv und ich sollte ein "simples" Dateisystem wie ext4 nutzen?

 

[mueslo]

Hallo,

ich weiß nicht ob Ihr mir dort weiterhelfen könnt, ich habe mit auf meine Dell T20 mit Xeon 1225 V3 CPU Proxmox 5.1 installiert und möchte dort die Karte IBM M1015 durchreichen. Ich habe in der grub.conf die Command Line wie folgt abgeändert: "GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=igfx_off intel_iommu=on" und ein update-grub ausgeführt und den Host neu gestartet. Die VM die die Karte erhalten soll, startet aber nicht. Proxmox selber zeigt "OK" wenn die VM gestartet wird, aber es passiert nichts. Im Syslog konnte ich jetzt auch nichts auffälliges finde. Ein "dmesg | grep -e DMAR -e IOMMU" bringt folgendes

Spoiler

[ 0.000000] ACPI: DMAR 0x00000000C8FFE138 0000B8 (v01 INTEL HSW 00000001 INTL 00000001)
[ 0.000000] DMAR: Disable GFX device mapping
[ 0.000000] DMAR: IOMMU enabled
[ 0.022701] DMAR: Host address width 39
[ 0.022702] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[ 0.022708] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c0000020660462 ecap f0101a
[ 0.022708] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[ 0.022711] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008020660462 ecap f010da
[ 0.022711] DMAR: RMRR base: 0x000000cbf7b000 end: 0x000000cbf88fff
[ 0.022712] DMAR: RMRR base: 0x000000cd000000 end: 0x000000cf1fffff
[ 0.022714] DMAR-IR: IOAPIC id 8 under DRHD base 0xfed91000 IOMMU 1
[ 0.022714] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[ 0.022715] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[ 0.022889] DMAR: DRHD: handling fault status reg 2
[ 0.022893] DMAR: [DMA Read] Request device [00:1f.2] fault addr cbf41000 [fault reason 06] PTE Read access is not set
[ 0.022963] DMAR-IR: Enabled IRQ remapping in x2apic mode
[ 0.585789] DMAR: No ATSR found
[ 0.586044] DMAR: dmar1: Using Queued invalidation
[ 0.586051] DMAR: Setting RMRR:
[ 0.586075] DMAR: Setting identity map for device 0000:00:14.0 [0xcbf7b000 - 0xcbf88fff]
[ 0.586102] DMAR: Setting identity map for device 0000:00:1a.0 [0xcbf7b000 - 0xcbf88fff]
[ 0.586129] DMAR: Setting identity map for device 0000:00:1d.0 [0xcbf7b000 - 0xcbf88fff]
[ 0.586140] DMAR: Prepare 0-16MiB unity mapping for LPC
[ 0.586156] DMAR: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]
[ 0.586236] DMAR: Intel(R) Virtualization Technology for Directed I/O

Danke.

Ein Freund und ich standen/stehen vor demselben Problem. Das Problem scheint nicht bei dir zu liegen, sondern bei VFIO (oder dem Debian-Kernel).

Siehe auch:
Promxox4.4: QM Status - Stopped for Passthrough of IBM1015 | Proxmox Support Forum
https://www.redhat.com/archives/vfio-users/2016-May/msg00088.html

Edit: Hab mal in die Mailinglist gepostet: https://www.redhat.com/archives/vfio-users/2017-November/msg00019.html

Mit Proxmox 3.4 geht es übrigens problemlos mit kernel 2.6.32, ist aber eben ziemlich alt. Von da habe ich aber heute geupgraded.

 

[hitman22]

Dann bin ich zumindest mal nicht alleine mit dem Problem. Vielleicht wird das ja noch gefixed von Proxmox. Ich habe es auch mit der CPU Intel Xeon E3 1220 V5 gemacht auf meinem anderen Host und da geht der Passthrough problemlos mit Proxmox 5.1.

 

[morph027]

Proxmox nutzt den Ubuntu Kernel und im Forum gibt es gerade genügend Sorgen mit dem Update von 4.10 auf 4.13. Mal schauen, was da noch kommt.

 

[MisterY]

jepp, ich nutze aktuell auch den Testkernel 4.13. Weiß jemand, ob der upgedatete Testkernel weiterfunktioniert? also kann ich updaten auf die neuere Funktion des Testkernels? Was ist die Neuerung von ZFS 0.73?

 

[McStarfighter]

Bescheidene Frage: Kann man eine VM auch mit UEFI betreiben?

Ich weiß, dass es für QEMU/KVM die OVMF gibt, aber ich finde keine Infos ob das in Proxmox enthalten ist.


Vielen Dank im Voraus!

 

[bogomil22]

Bescheidene Frage: Kann man eine VM auch mit UEFI betreiben?
Ich weiß, dass es für QEMU/KVM die OVMF gibt, aber ich finde keine Infos ob das in Proxmox enthalten ist.
Vielen Dank im Voraus!

Ja, du kannst in Proxmox bei der VM zw. SeaBIOS und OVMF wählen (Proxmox Wiki). Standardmäßig ist aber SeaBIOS gewählt und man sollte OVMF nur bei VGA Passthrough wählen. Ich hatte z.B. nach langem hin und her herausgefunden, dass wenn man display auf standard lässt (-vga std) und OVMF nutzt die Auflösung innerhalb der VM nicht ändern kann. Dies geht nur mit extra Treibern QXL-VGA (SPICE) auf die ich verzichten wollte oder während des bootes im OVMF Menu. In SeaBIOS geht das zumindest einfacher. Hast du denn vor eine Grafikarte durchzureichen? Dann macht OVMF natürlich Sinn.

 

[McStarfighter]

Ja, ich will mir eine LibreELEC-VM mit eigener Grafikkarte einrichten und das dann via HDMI an den AVR anschließen!