[Sammelthread] Proxmox Stammtisch

[morph027]

Für Spice brauchst du einen Client installiert.

 

[b99]

schau mal in den Beitragvon Pumuckl auf dieser Seite, da ist der Client für Spice dabei

 

[bigghost]

Wir haben auf unserem internen Proxmox-Server einige LXC/KVM VMs installiert und stellen das Netzwerk momentan auf VLANs um. In den VM-Einstellungen unter Proxmox habe ich bereits gesehen, das dort die VLAN-IDs hinterlegt werden können - muss hier noch zusätzlich etwas an der Netzwerkkarten-Konfiguration (eth0 / vmbr0) des Proxmox-Hosts geändert werden, oder wird der Datenverkehr dann 1:1 durchgereicht so das es ausreicht, den Server an einen Tagged Switch-Port anzuschliessen?

Habe das nie über die Gui gemacht sondern immer nur manuell in der /etc/network/interfaces direkt.

z.b.

auto vmbr0
iface vmbr0 inet static
address 192.168.1.220
netmask 255.255.255.0
gateway 192.168.1.100
bridge_ports eth0.VLANID
bridge_stp off
bridge_fd 0

 

[besterino]

Hat mal jemand erfolgreich einen Solaris 11.3 Gast mit PCIE-Passthrough unter Proxmox zum Laufen gebracht?

Ich hab's mal mit diesem Guide versucht, aber das findet Solaris gar nicht lustig.

Versuche testweise eine x540 und eine USB-Karte durchzureichen. Eigentlich sollte alles richtig eingestellt sein:

dmesg sagt, iommu läuft:

root@T20:~# dmesg | grep -e DMAR -e IOMMU
[    0.000000] ACPI: DMAR 0x00000000D87FDAE8 0000B8 (v01 INTEL  HSW      00000001 INTL 00000001)
[    0.000000] DMAR: IOMMU enabled
[    0.027820] DMAR: Host address width 39
[    0.027821] DMAR: DRHD base: 0x000000fed90000 flags: 0x0
[    0.027826] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c0000020660462 ecap f0101a
[    0.027827] DMAR: DRHD base: 0x000000fed91000 flags: 0x1
[    0.027829] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008020660462 ecap f010da
[    0.027829] DMAR: RMRR base: 0x000000dbb8c000 end: 0x000000dbb99fff
[    0.027830] DMAR: RMRR base: 0x000000dd000000 end: 0x000000df1fffff
[    0.027832] DMAR-IR: IOAPIC id 8 under DRHD base  0xfed91000 IOMMU 1
[    0.027832] DMAR-IR: HPET id 0 under DRHD base 0xfed91000
[    0.027833] DMAR-IR: Queued invalidation will be enabled to support x2apic and Intr-remapping.
[    0.028059] DMAR-IR: Enabled IRQ remapping in x2apic mode
[    0.537772] DMAR: No ATSR found
[    0.538002] DMAR: dmar0: Using Queued invalidation
[    0.538007] DMAR: dmar1: Using Queued invalidation
[    0.538051] DMAR: Setting RMRR:
[    0.538074] DMAR: Setting identity map for device 0000:00:02.0 [0xdd000000 - 0xdf1fffff]
[    0.538266] DMAR: Setting identity map for device 0000:00:14.0 [0xdbb8c000 - 0xdbb99fff]
[    0.538292] DMAR: Setting identity map for device 0000:00:1a.0 [0xdbb8c000 - 0xdbb99fff]
[    0.538318] DMAR: Setting identity map for device 0000:00:1d.0 [0xdbb8c000 - 0xdbb99fff]
[    0.538330] DMAR: Prepare 0-16MiB unity mapping for LPC
[    0.538346] DMAR: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]
[    0.538466] DMAR: Intel(R) Virtualization Technology for Directed I/O
[    2.417368] [drm] DMAR active, disabling use of stolen memory

/etc/modules hat folgenden Inhalt:

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

laut lspci sind's die letzten 3 Geräte:

root@T20:/# lspci
00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v3 Processor DRAM Controller (rev 06)
00:02.0 VGA compatible controller: Intel Corporation Xeon E3-1200 v3 Processor Integrated Graphics Controller (rev 06)
00:14.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB xHCI (rev 04)
00:16.0 Communication controller: Intel Corporation 8 Series/C220 Series Chipset Family MEI Controller #1 (rev 04)
00:16.3 Serial controller: Intel Corporation 8 Series/C220 Series Chipset Family KT Controller (rev 04)
00:19.0 Ethernet controller: Intel Corporation Ethernet Connection I217-LM (rev 04)
00:1a.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #2 (rev 04)
00:1b.0 Audio device: Intel Corporation 8 Series/C220 Series Chipset High Definition Audio Controller (rev 04)
00:1c.0 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #1 (rev d4)
00:1c.1 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #2 (rev d4)
00:1c.2 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #3 (rev d4)
00:1c.4 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #5 (rev d4)
00:1d.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #1 (rev 04)
00:1f.0 ISA bridge: Intel Corporation C226 Series Chipset Family Server Advanced SKU LPC Controller (rev 04)
00:1f.2 SATA controller: Intel Corporation 8 Series/C220 Series Chipset Family 6-port SATA Controller 1 [AHCI mode] (rev 04)
00:1f.3 SMBus: Intel Corporation 8 Series/C220 Series Chipset Family SMBus Controller (rev 04)
02:00.0 PCI bridge: Texas Instruments XIO2001 PCI Express-to-PCI Bridge
04:00.0 USB controller: Renesas Technology Corp. uPD720201 USB 3.0 Host Controller (rev 03)
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 (rev 01)
05:00.1 Ethernet controller: Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 (rev 01)

Meine VM-Settings sind:

bootdisk: sata0
cores: 4
ide2: local:iso/sol-11_3-text-x86.iso,media=cdrom
memory: 4096
name: Solaris
net0: e1000=46:9F:2F:7B:02:36,bridge=vmbr0
numa: 0
ostype: solaris
sata0: local-lvm:vm-100-disk-1,size=64G
scsihw: virtio-scsi-pci
smbios1: uuid=b33a2052-435e-4d15-9592-49c67d493f7b
sockets: 1
machine: q35
hostpci0: 05:00,pcie=1
postpci1: 04:00.0,pcie=1

Was mache ich falsch?

 

[MisterY]

Hast du in
/etc/default/grub

eingetragen: GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
+ anschließendem "update Grub" ?

was sagt "dmesg | grep ecap" ?

 

[besterino]

Hast du in
/etc/default/grub

eingetragen: GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
+ anschließendem "update Grub" ?

Ja.

was sagt "dmesg | grep ecap" ?

Zwei Einträge, wonach interrupt remapping unterstützt wird:

root@T20:~# dmesg | grep ecap
[    0.027963] DMAR: dmar0: reg_base_addr fed90000 ver 1:0 cap c0000020660462 ecap f0101a
[    0.027965] DMAR: dmar1: reg_base_addr fed91000 ver 1:0 cap d2008020660462 ecap f010da
root@T20:~#

 

[oelsi]

...das findet Solaris gar nicht lustig...

Das ist die Art Fehlerbeschreibung, die meine Mutter an der Microsoft-Hotline geben würde... Also: Wie äussert sich denn Solaris' Mangel an Humor?

Ansonsten fällt mir gerade folgendes ein:

• Läuft die Solaris-VM ohne PCIe Passthrough?
• Machine-Type q35 ist nach wie vor experimentell. Probier' es mal ohne "machine: q35" und den "pcie=1" Parameter in den "hostpci"-Zeilen.
• Sieht aus, als verwendest Du den virtio-Treiber für die Disk - keine Ahnung, ob Solaris dafür Treiber hat, aber probier's mal mit IDE.
• Ausgabe von "find /sys/kernel/iommu_groups/ -type l"?
• Eventuell hilfreiche Links: Link 1, Link 2

 

[Bissi]

Hast du in
/etc/default/grub

eingetragen: GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on"
+ anschließendem "update Grub" ?

Sollte es ein Dell T20 sein, muss es heißen:

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=igfx_off intel_iommu=onreboot"

Grüße

 

[besterino]

Oi, ja ist ein T20. igfx_off auch wenn ich gar keine Graka durchreichen will?

Ansonsten: ja, ohne Passthrough läuft Solaris. Fehlermeldung gibt's keine, Solaris hängt einfach beim Booten.

Danke für die Anregungen oelsi/bissi, habe ich noch ein bisserl was auszuprobieren (wozu ich aber wohl diese Woche nicht kommen werde)!

 

[Bissi]

Oi, ja ist ein T20. igfx_off auch wenn ich gar keine Graka durchreichen will?

Habe bei mir nur NICs & HBAs durchgereicht, hat erst mit dem Zusatz funktioniert.

Grüße

 

[McStarfighter]

Frage: Wenn ich einem KVM-Gast einen USB-Controller übergebe, kann der Gast dann von einem dort angeschlossenen USB-Stick booten?

 

[Tchacker]

Frage: Wenn ich einem KVM-Gast einen USB-Controller übergebe, kann der Gast dann von einem dort angeschlossenen USB-Stick booten?

Klar,muss eventuell noch die Bootreihenfolge geändert werden

Sent from my SM-G935F using Tapatalk

 

[McStarfighter]

Klar,muss eventuell noch die Bootreihenfolge geändert werden

Sent from my SM-G935F using Tapatalk

Vielen Dank!

 

[crazyk]

Hallo zusammen,

wenn ich Proxmox auf eine NVMe installiere, wählt man zfs Raid0 oder LVM?
Wo würden die Vor- zbw Nachteile liegen?

Da ich nur einen NVMe Slot habe, sind ja gewisse Funktionen von ZFS nicht verfügbar... oder wie ist das...

Was spricht für ZFS, was für LVM (ext4) ?

Danke

 

[morph027]

ZFS als Stripe geht auch mit einer...Snapshots und die coolen Sachen gehen trotzdem (ARC, ...)

 

[Sc0rc3d]

Hi Leute,

kleine Frage, ich möchte meinen ESXi (5.5 aktuelle installiert) durch Proxmox auf meinem Homeserver ersetzen, da ich ein gutes Webinterface schätze, und Proxmox mit LXC sehr interessant finde. Ich würden Euren Rat bezüglich der Speicherlösung benötigen. Der ESXi lief bisher auf einem USB-Stick, was ich mit Proxmox gern anders (besser) handhaben wollen würde. Als Speicher gibt es 2 x 512 GB Samsung EVO SSDs + 2 x 2 TB WD-Red. Eine System SSD (?) wäre daher noch notwendig. Welche Größe und Konfiguration der Aufteilung würdet Ihr bei einem solchen Setup empfehlen?

Gruß & Danke
Sc0rc3d

 

[Handle]

Was spricht denn dagegen, Proxmox auf den beiden 512GB-SSDs zu installieren, sofern die als ZFS Mirror laufen sollen?

 

[Trambahner]

Proxmox =ZFSonLinux = kein Trim für Zpools aus SSDs. Bei einem Copy-on-Write Filesystem und Consumer-SSD ein "muss" IMO bei dauerhaft genutztem System.

Ein bisschen Rumspielen damit sollte kein Thema sein.

 

[moonsorrox]

ich habe Proxmox VE 5.0-31 auf einer Samsung Evo_840_120GB SSD.. die Storage und ISOs auf den HDs WD 3TB und die Originale Toshiba 1TB vom Dell T20
Ich bin von der Vorgänger Version des Proxmox auf die 5.0 umgestiegen und habe alles andere so gelassen und dann die HDs wieder zugewiesen und die ISOs sind alle wieder vorhanden. Ich habe auf meiner 1TB Musiksicherungen von mehreren GB und alles ist wieder da.
Ich bin jetzt aber nicht so der Server Junkie der auf alles genau achtet, es laufen bei mir ein virtuelles Debian Linux, eine Ubuntu 16.04 mit meiner Hausautomation beide LXC Container und ein Windows 10 in einer VM

 

[Trambahner]

Solange auf den SSD-Pools nur OS-Disks sind, die viel Lesen aber nur wenig Schreibverkehr haben und die Storage-Pools auf HDD, ist das vmtl. auch kein Problem.
Hier und da Appls löschen/ändern/installieren oder Updates und kleinwenig Logfiles => vmtl. auch kein Problem.

Wenn man viel auf Datasets/Volumes auf SSD schreibt und löscht => Bärengrütze. Sprich, z.B. bei Datenbank, Videoschnitt und allgemeiner Storage mit den Files auf den Flash-Pools würde ich da die Hände von lassen bzw. dann nur mit Enterprise-SSDs nutzen.

Proxmox würde mir schon gefallen, aber wg. ZFS setze ich mittelfristig weiter auf ESXI+BSD bzw. auf BSD und werd wohl mal mit Bhyve (da gibts halt noch keine netten Web-GUIs) probieren.

 

[MisterY]

Ich hab aktuell auf zwei SSDs ein zfs RAID 1 am laufen. Da trim wohl noch länger braucht, möchte ich auf ein normales raid1 umsteigen. Wie handhabe ich das am besten? Erstmal Backup, das ist klar, aber wie weiter? Und wie soll ich die SSDs Backupen? Oder soll ich auf single SSD umsteigen? Oft verändert sich eigentlich nur die nextcloud-ct (die Daten liegen verschlüsselt auf einen mp auf nem raidz1, nur die Installation und die Datenbank liegt auf den SSDs). Es wird regelmäßig ein Backup durchgeführt. Das einzige was ich vermissen würde, sind die snapshots. Ideen?

 

[Sc0rc3d]

Was spricht denn dagegen, Proxmox auf den beiden 512GB-SSDs zu installieren, sofern die als ZFS Mirror laufen sollen?

Ich hätte da eher an eine extra SSD (eine ca 40-80 GB sollten ja reichen) wo nur Proxmox drauf kommt (geht dies ebenfalls als ZFS Simple Pool?) und dann die beiden 512 GB (ZFS Simple Pool oder gar als Raid0 - ist ja "nur" für die VMs die ich ja sichern kann) als VM-/ISO-Store? Und eben die beiden 2 x 4 TB WD-RED als ZFS Mirror fürs Backup und ggf. zusätzlichen Ablagespeicher.

 

[crazyk]

Muss nicht, Proxmox nimmt sich nur einen kleinen Teil vom Speicher (local-zfs)
Der "Rest" steht dann z.b. für VMs frei (rpool/data)

Klar, wenn man "BS -> in diesem Fall Proxmox", "VMs" und "Daten" trennen möchte, dann eine extra SSD/HDD

Ich bin gerade auch am Überlegen, Proxmox auf eine NVMe zu installieren, den Rest für VMs.

 

[Tchacker]

Proxmox unterstützt nativ ZFS,man kann sogar schon bei der Installation einen Pool anlegen...ESXI tut das meines Wissens nach nicht...dort geht der Umweg nur über eine StorageVM mit Performanceverlust,oder das Mounten einer Freigabe,unter der ZFS als FS läuft

Sent from my SM-G935F using Tapatalk

 

[VirtuGuy]

ich sehe keinen wirklichen Sinn für für Proxmox einge SSD´s zu verwenden. Da würde ich eher 1-2 weitere 4TB Platten verbauen und Proxmox auf einem Z1 inkl der Daten laufen lassen. Die VM´s kannst du auf die SSD`s installieren und die Backups der VM´s auf den HDD Pool sichern.

 

[pumuckel]

ich sehe keinen wirklichen Sinn für für Proxmox einge SSD´s zu verwenden. Da würde ich eher 1-2 weitere 4TB Platten verbauen und Proxmox auf einem Z1 inkl der Daten laufen lassen. Die VM´s kannst du auf die SSD`s installieren und die Backups der VM´s auf den HDD Pool sichern.

warum ? einzeln laufen die supi und Backup + storage kannste auf HDDs legen

 

[Evostar]

Hat schon jemand ein Upgrade auf den neuen 4.13.4-1-pve Kernel und ZFS 0.7.2 durchgeführt? Gab es Probleme oder alles reibungslos? Habe gelesen, dass der rpool gelegentlich nicht erkannt wird, zögere deswegen etwas.

Gruß,
Felix

 

[Swivel]

Ich hab eine Kurze Frage zur Installation von proxmox

Ssd für proxmox System als zfs oder ext4...hab gelesen das ja trim noch nicht unterstützt wird? Gibt es viel Performance Unterschiede?

Die VM‘s würde ich auf ein extra ssd zfs mirror ablegen.

 

[Handle]

Ich werde Proxmox bald den Rücken kehren und bei meinem Heimserver auf Arch Linux + BTRFS wechseln, u. a. um dann TRIM-Support zu haben. Außerdem kann ich dann auch defragmentieren, was auf Dauer bei einem CoW-Dateisystem ja schon hilfreich ist.

 

[MisterY]

Mein Beileid
BTRFS hat aber auch so seine Kinderkrankheiten was Raid 5 und 6 angeht.

@Evostar: Woher hast du diese Info? Ich finde dazu nichts.