[Sammelthread] Proxmox Stammtisch

[pwnbert]

Die Namen helfen da nur bedingt weiter. Man kann ja LVM/ext4 ontop ZFS angelegt haben so wie ZFS ontop einem anderen Dateisystem auf Dateien oder virtuellen Festplatten

Aaaaha!

Also liegt das ganze "LVM" vermutlich auf einem ZFS-Mirror, wenn man die "Standard-Installation" relativ default druchklickt, wenn ich richtig verstehe.
Muss ich später dann nochmal aufmerksamer machen.

 

[gea]

Proxmox muss man erst von ZFS überzeugen.
(Ist halt Linux, da ist ZFS ein Extra und nicht default)

local-lvm unter Storage ist LVM/ext4 als Basis
Man muss ZFS mit "add" unter "Storage" hinzufügen um zfs beim anlegen einer VM zu nutzen
VMs kann man von local-lvm zu zfs migrieren.

die Grundzuordnung der Platten zu LVM bzw ZFS

Um nachzusehen ob eine virtuelle Platte auf lvm-thin oder zfs liegt

 

[pwnbert]

Oh Gott... es wird nicht besser in meinem Kopf...

Auf /sdc ist noch ein altes Win7, daher das NTFS...

Ist das, was hier LVM heißt nun mit einem Ext4 drunter?

Sorry, dass ich mich so anstelle, und vielen Dank für deine/eure Geduld. Echt lieb von dir/euch.

 

[gea]

Ist das, was hier LVM heißt nun mit einem Ext4 drunter?

Ich muss mir das auch erst selber zurechtrücken weil jede VM Plattform das etwas anders handhabt. Bei VMware ist eine virtuelle Platte normalerweise eine Datei auf einem Dateisystem.

Wenn man eine VM in Proxmox auf local-lvm anlegt, so wird damit nur eine Partition auf der physikalischen Platte definiert und dann mit einem VM Dateisystem formatiert. local-lvm sind also Plattenbereiche und kein ext4 Dateisystem und das VM Dateisystem liegt nicht auf ext4 sondern "raw" auf der Platte.

Mit ZFS zvol ist das anders. Da liegt immer ZFS unter dem VM Dateisystem.

 

[wenzilinho]

Genau. LVM wird hier gut beschrieben bzgl der Logical Volumes:

Using LVM For Proxmox

This post describes everything you need to know about using LVM in Proxmox.

sweworld.net

 

[VirtuGuy]

Aaaaha!

Also liegt das ganze "LVM" vermutlich auf einem ZFS-Mirror, wenn man die "Standard-Installation" relativ default druchklickt, wenn ich richtig verstehe.
Muss ich später dann nochmal aufmerksamer machen.

Nein, ZFS und LVM werden vom installaller nicht gemischt.

Truenas auf Proxmox würde ich meiden. Du verbaust dir damit viele Optionen, bzw macht es unnötig kompliziert. Du kannst z.b. Für deine Bilder, Musik, Filme entsprechende ZFS Datasets anlegen und diese z.B. per LXC smb Server mit deinen Clients teilen. In weiteren Containern wie Nextcloud, Plex, Photoprism, Seafile,... kannst du die selben Datasets als Mountpoint einbinden und du hast alles schön an einer zentralen Stelle. Sprich Bilder oder Musik die du per SMB oder einer Smartphone App auf den Server schiebst sind sofort auch in den anderen Applikationen verfügbar. Irgendwelche kruden Lösungen mit smb oder nfs shares zwischen den Containern sind damit nicht notwendig.

 

[BobbyD]

Noob hier und mehr eine theoretische Frage. Wenn ich VMs habe, die selbst vorzugsweise auf ZFS setzen, sollte ich diese dann besser auf LVM-Thin platzieren statt auf ZFS oder diese selbst explizit nicht mit ZFS betreiben oder dann doch ZFS auf ZFS machen?
Hab ich was vergessen? 😁

Ich als Noob finde die GUI den Storage betreffend eine mittlere Katastrophe bei Proxmox, aber das unabhängig von obiger Fragestellung.

 

[gea]

Noob hier und mehr eine theoretische Frage. Wenn ich VMs habe, die selbst vorzugsweise auf ZFS setzen, sollte ich diese dann besser auf LVM-Thin platzieren statt auf ZFS

das wäre die Methode mit der geringsten write amplification und die etwas schnellere

oder diese selbst explizit nicht mit ZFS betreiben

Dann ohne Crash Protection (CoW), Snaps, Prüfsummen und bitrot protection in der VM?
Kein guter Plan

oder dann doch ZFS auf ZFS machen?

Wäre das einfachste, man könnte den RAM global als cache nutzen, global sync write machen und einfach mit ZFS replication sichern (dann die VM config-Datei in /etc/pve/ nicht vergessen). Auch Hybrid Pool ist was feines.

Ich als Noob finde die GUI den Storage betreffend eine mittlere Katastrophe bei Proxmox, aber das unabhängig von obiger Fragestellung.

Sehe ich auch so, liegt halt mit an Linux und der Vielfalt der Optionen jenseits von ZFS
Der Ausweg ist ZFS mit einer Storage VM (kostet extra Resourcen) oder ein ZFS web-gui addon für Proxmox (cockpit/poolsman, mein napp-it cs etc)

 

[pwnbert]

Truenas auf Proxmox würde ich meiden. Du verbaust dir damit viele Optionen, bzw macht es unnötig kompliziert.

Ich verstehe schon, habe den Tip schon öfter gelesen und beherzige und verstehe das auch.
Da ich mit TrueNAS aber sehr gut zurechtkomme und das NAS auch benötige, werde ich das vorerst lassen, und mich parallel dazu mit dem "Proxmox-NAS" spielen... und dann irgendwann umsteigen, wenn ich das soweit im Griff habe. TrueNAS läuft ja auch als VM gut, haben viele Leute so, also warum (erstmal) nicht.
Ein Schritt nach dem anderen für mich.

Danke mal für eure Infos, weiter gehts.

sdb ist das Drive, auf dem ich Proxmox installiert hab (ziemlich default)..

lsblk -f gibt mir etwas mehr Einblick:

Wurde hier bei der Installation erstmal LVM (und die EFI) auf sdb erstellt?
Dann in dem LVM ein paar Partitionen?
- swap (braucht man den, deaktiviert man den...?)
- root (habs offenbar als ext4 installiert testweise... evtl. weil ich grad nur wenig RAM im Testrechner hab)
- pve-data - das thin-LVM?
=> In der Konfig also nix auf ZFS? Seh ich das richtig?

 

[Wesumat]

Hallo zusammen und frohe Weihnachen in die Runde,

ich habe gerade mal ein wenig mit meinem Proxmox Host rumgespielt und bin auf ein Problem oder vermutlich einfach
nur falsches Vorgehen von mir gestossen.

Ich war so naiv zu denken, dass ich 'ne Mellanox ConnectX-3 pro ja sicher ohne Probleme unter einem aktuellen PVE 8.3.2
(EFI und Secure boot) bertreiben kann. Aber offenbar ist es doch nicht so trivial.

Ich hatte bereits die MFT Tools von der nvidia Seite installiert (auch in der Version 4.22, wie empfohlen, da die letzte Version
mit ConnectX-3 und ConnectX-3 pro suport). Beim starten des tools mit mst start bricht er schon mit dem Fehler ab 'mst_pci driver not found'.

Ein lspci zeigt die Karte aber ohne Problem an. Wird die Karte überhaupt noch out of the box unterstützt, muss eventuell
manuell Treiber installieren oder ist das ganze zum scheitern verurteilt. Wobei er ja irgendwas zu finden und zu machen scheint.

Dec 25 12:12:14 pve kernel: mlx4_core: Mellanox ConnectX core driver v4.0-0
Dec 25 12:12:14 pve kernel: mlx4_core: Initializing 0000:01:00.0
Dec 25 12:12:14 pve kernel: mlx4_core 0000:01:00.0: DMFS high rate steer mode is: disabled performance optimized steering
Dec 25 12:12:14 pve kernel: mlx4_core 0000:01:00.0: 63.008 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x8 link)
Dec 25 12:12:14 pve kernel: mlx4_en: Mellanox ConnectX HCA Ethernet driver v4.0-0
Dec 25 12:12:14 pve kernel: mlx4_en 0000:01:00.0: Activating port:1
Dec 25 12:12:14 pve kernel: mlx4_en: 0000:01:00.0: Port 1: Using 8 TX rings
Dec 25 12:12:14 pve kernel: mlx4_en: 0000:01:00.0: Port 1: Using 8 RX rings
Dec 25 12:12:14 pve kernel: mlx4_en: 0000:01:00.0: Port 1: Initializing port
Dec 25 12:12:14 pve kernel: mlx4_en 0000:01:00.0: registered PHC clock
Dec 25 12:12:14 pve kernel: mlx4_en 0000:01:00.0: Activating port:2
Dec 25 12:12:14 pve kernel: mlx4_en: 0000:01:00.0: Port 2: Using 8 TX rings
Dec 25 12:12:14 pve kernel: mlx4_en: 0000:01:00.0: Port 2: Using 8 RX rings
Dec 25 12:12:14 pve kernel: mlx4_en: 0000:01:00.0: Port 2: Initializing port
Dec 25 12:12:14 pve kernel: <mlx4_ib> mlx4_ib_probe: mlx4_ib: Mellanox ConnectX InfiniBand driver v4.0-0
Dec 25 12:12:14 pve kernel: <mlx4_ib> mlx4_ib_probe: counter index 2 for port 1 allocated 1
Dec 25 12:12:14 pve kernel: <mlx4_ib> mlx4_ib_probe: counter index 3 for port 2 allocated 1
Dec 25 12:12:14 pve kernel: mlx4_core 0000:01:00.0 enp1s0: renamed from eth0
Dec 25 12:12:14 pve kernel: mlx4_core 0000:01:00.0 enp1s0d1: renamed from eth1
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: /dev/mem,kmem,port is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: /dev/mem,kmem,port is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:18:55 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:49:20 pve kernel: mlx4_core 0000:01:00.0 enp1s0: entered allmulticast mode
Dec 25 13:49:20 pve kernel: mlx4_core 0000:01:00.0 enp1s0: entered promiscuous mode
Dec 25 13:49:20 pve kernel: mlx4_en: enp1s0: Steering Mode 1
Dec 25 13:49:20 pve kernel: mlx4_en: enp1s0: Link Down
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: /dev/mem,kmem,port is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: /dev/mem,kmem,port is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:54:50 pve kernel: Lockdown: mlxfwmanager: direct PCI access is restricted; see man kernel_lockdown.7
Dec 25 13:56:17 pve kernel: mlx4_core 0000:01:00.0 enp1s0: left allmulticast mode
Dec 25 13:56:17 pve kernel: mlx4_core 0000:01:00.0 enp1s0: left promiscuous mode

 

[VirtuGuy]

Wurde hier bei der Installation erstmal LVM (und die EFI) auf sdb erstellt?
Dann in dem LVM ein paar Partitionen?
- swap (braucht man den, deaktiviert man den...?)
- root (habs offenbar als ext4 installiert testweise... evtl. weil ich grad nur wenig RAM im Testrechner hab)
- pve-data - das thin-LVM?
=> In der Konfig also nix auf ZFS? Seh ich das richtig?

das ist die Standardkonfig mit LVM, somit kein ZFS.

pve-data ist idR als "thin" angelegt. Du kannst dir die Konfig unter /etc/pve/storage.cfg im Detail ansehen.