[GELÖST] Proxmox-Upgrade 6.4 --> 7.X Clean Install

[Skream]

Hallo zusammen,

da Ende Juli leider der Supportzeitraum für Proxmox 6,4 endet, werde ich wohl oder übel meinen Proxmox-Server auf Version 7 upgraden müssen. Da ich bisher noch nicht so viel Erfahrung mit dem Wiedereinspielen von Backups habe, möchte ich mich hierzu gerne kurz bei euch rückversichern, ob ich alles richtig bedacht oder irgendwo einen Denkfehler habe.

Zu meinem Setup:
Derzeit läuft PVE auf einer kleinen 120GB SSD, auf der auch die LXC und VMs installiert sind. Zusätzlich habe ich zwei WD Gold mit jeweils 12TB im Raid 1 direkt in PVE konfiguriert (ZFS) und verschiedenen VMs jeweils einen Teil des Raids als virtuelles Laufwerk zugewiesen (beispielsweise Nextcloud, OpenMediaVault usw.).
Zusätzlich habe ich einen dedizierten Backup-Server (PBS), auf dem einmal wöchentlich alle LXC und VMs als Snapshot gesichert werden. Es werden von jedem LXC/VM vier Snapshots "aufgehoben", sodass ich immer einen Monat in die Vergangenheit springen könnte. In PBS sind ebenfalls zwei WD Gold mit 12TB als Raid 1 konfiguriert.

Da ich ein Fan von sauberen Installationen bin, möchte ich PVE gerne clean neu installieren. Daher ein paar Fragen:
- Wird während der Installation von PVE 7 selbstständig erkannt, dass bereits ein ZFS-Volume (das Raid 1 der WD Gold 12 TB) vorhanden ist und wird es direkt eingehängt?
- Sofern das Raid 1 mit den Daten eingebunden ist: Reicht es, die VMs/LXC nach Einbindung des PBS einfach zu restoren oder müssen noch weitere Einstellungen/Änderungen vorgenommen werden, damit die VMs/LXC danach wieder so reibungslos laufen wie zuvor?
- Einstellungen wie Cronjobs und DNS würde ich natürlich nochmal getrennt sichern und wiedereinspielen

Falls ich irgendwas vergessen haben sollte, würde ich mich über Hilfestellungen und Anregungen freuen

Grüße, Skream

 

[spyfly]

Wird während der Installation von PVE 7 selbstständig erkannt, dass bereits ein ZFS-Volume (das Raid 1 der WD Gold 12 TB) vorhanden ist und wird es direkt eingehängt?

Nein

Sofern das Raid 1 mit den Daten eingebunden ist: Reicht es, die VMs/LXC nach Einbindung des PBS einfach zu restoren oder müssen noch weitere Einstellungen/Änderungen vorgenommen werden, damit die VMs/LXC danach wieder so reibungslos laufen wie zuvor?

Tendenziell ja.

Wenn du dir das restoren vom PBS für die Daten aut den HDDs sparen willst, kannst du auch die entsprechenden VM Konfigurationsdateien sichern und wieder einspielen.

 

[Shihatsu]

Hallo zusammen,

Öhm warum machst du nicht einfach ein update mit apt clean? Das Ergebnis ist eine "saubere" Installation, nur das du nicht irgendetwas neu machen musst. Debian macht das eigentlich ziemlich sauber, dieses "Fan von sauberer Installation" scheint mir ein Windows-Überbleibsel zu sein.

 

[Skream]

"Fan von sauberer Installation" scheint mir ein Windows-Überbleibsel zu sein.

Vermutlich hast du damit recht
Beim Versionssprung von Windows habe ich nach dem Upgrade fast immer eine Neuinstallation vorgenommen, weil nicht selten alte Treiber oder sonst was Probleme verursacht haben, die nach der Neuinstallation nicht mehr auftraten. Mit Upgrades unter Linux habe ich bisher weniger Erfahrungen gehabt, aber wenn Upgrades unter Linux sauberer laufen als bei Windows, wäre das sicherlich ebenfalls eine gute Option, danke dir!

 

[IronAge]

Berichte mal wie es mit dem Upgrade gelaufen ist, muss das selbe auf einem dedicated Server bei Hetzner durchführen.

 

[Shihatsu]

Berichte mal wie es mit dem Upgrade gelaufen ist, muss das selbe auf einem dedicated Server bei Hetzner durchführen.

Ich hab das am Donnerstag hinter mich gebracht. Bin zwar nicht gefragt, beantworte trotzdem.
Prinzipiell bin ich dieser Anleitung gefolgt: https://pve.proxmox.com/wiki/Upgrade_from_6.x_to_7.0
Zuerst natürlich nochmal alle VMs von Hand einem Backup zugeführt. Dann hab ich alles runter gefahren an VMs und Container und so. Und weil ich ein Schisser bin hab ich dann in ein Clonezilla gebootet und nochmal alles auf eine externe HDD kopiert. Weil dreimal sicher ist besser als zweimal. Oder so.
Ich hab dann (der Einfachheit halber als root - mein pve ist das einzige System auf dem ich ohne sudo arbeite) folgende Befehle genutzt:

1. apt update
2. apt dist-upgrade --> hiermit ist pve damit auf 6.7 irgendwas, also der letzten 6er Version, diese bringt das tool pve6to7 mit
3. reboot (erwähnte ich das ich ein schisser bin? siehe auch der nächste steppp) und gucken ob alles läuft (alle VMS hoch und runter, backups, mountpoints mounten, mal nen container aus ner vorlage anlegen, so zeugs halt)
4. erneut boot into Clonezilla und ERNEUT alle Platten kopiert
5. pve6to7 --full -> hier must du dann alle errors und warnings loswerden, ich hatte keine - gerne fragen -> dann ist alles bereit für den großen switch, hätte ich bei pve6to7 irgendwas gehabt hätte ich warscheinlich erneu mein clonezilla-adventure gespielt
6. sed -i 's/buster\/updates/bullseye-security/g;s/buster/bullseye/g' /etc/apt/sources.list
7. nano /etc/apt/sources.list.d/pve-enterprise.list -->
   

   #deb http://download.proxmox.com/debian/pve buster pve-no-subscription
   deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription

8. apt update
9. apt dist-upgrade - hier fragt er dich viel Krams, das solltest du dann natürlich richtig beantworten - im Zweifelsfall Differenz anschauen und "alte Version" behalten
10. reboot into "funzt alles check"
11. wenn alles läuft am Ende noch ein apt-get clean hinterher und man hat ein sauberes System

 

[Skream]

@Shihatsu Vielen Dank für deinen Input, die verlinkte Anleitung habe ich mir auch schon angeschaut, aber mit deinen zusätzlichen Infos habe ich jetzt ein gutes Gefühl das auch hinzubekommen!

 

[Skream]

Hallo nochmal

Ich habe nun versucht, das Upgrade auf Version 7 durchzuführen, leider hat es wohl nicht ganz so geklappt
Die Installation brach wohl mit folgender Fehlermeldung ab:

Preconfiguring packages ...
Setting up systemd (247.3-7) ...
mkdir: cannot create directory '/var/log/journal': File exists
dpkg: error processing package systemd (--configure):
 installed systemd package post-installation script subprocess returned error exit status 1
Errors were encountered while processing:
 systemd
E: Sub-process /usr/bin/dpkg returned an error code (1)

Danach hat sich das System komplett aufgehängt, sodass ich einen harten Neustart machen musste. Nach dem Neustart wird mir als installierte Version in der Web-GUI 7.2-4 angezeigt, dazu einige Updates. Möchte ich diese Updates allerdings installieren, kommt wiederum die gleiche Fehlermeldung mit dem Zusatz, dass einige Updates nicht installiert wurden:

Starting system upgrade: apt-get dist-upgrade
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Calculating upgrade... Done
The following packages were automatically installed and are no longer required:
  bsdmainutils libmariadb3 libsnmp30 libzpool4linux mariadb-common mysql-common
  ncal pve-kernel-5.4.106-1-pve pve-kernel-5.4.114-1-pve pve-kernel-5.4.119-1-pve
  pve-kernel-5.4.124-1-pve pve-kernel-5.4.128-1-pve pve-kernel-5.4.140-1-pve
  pve-kernel-5.4.143-1-pve pve-kernel-5.4.151-1-pve pve-kernel-5.4.157-1-pve
  pve-kernel-5.4.162-1-pve pve-kernel-5.4.166-1-pve pve-kernel-5.4.174-2-pve
  pve-kernel-5.4.178-1-pve
Use 'apt autoremove' to remove them.
The following NEW packages will be installed:
  bind9-dnsutils bind9-libs libdns-export1110 libdns1110 libisc-export1105
  libisc1105 liblinear4 libmaxminddb0 libnozzle1 libopeniscsiusr libprocps8
  libsnmp40 libuv1 libzpool5linux lua-lpeg os-prober pci.ids pve-kernel-5.15
  pve-kernel-5.15.35-2-pve
The following packages will be upgraded:
  acpi-support-base acpid apt-listchanges base-passwd bash-completion bc bind9-host
  bsd-mailx bsdutils btrfs-progs corosync dash debconf debconf-i18n debian-faq
  diffutils dmidecode dnsutils doc-debian dosfstools efibootmgr eject fdutils
  findutils fontconfig fontconfig-config fonts-dejavu-core freeipmi-common
  gdbm-l10n gettext-base grep groff-base grub-common grub-efi-amd64-bin
  grub-efi-ia32-bin grub-pc grub-pc-bin grub2-common gzip hostname idn init
  ipmitool iputils-ping isc-dhcp-client isc-dhcp-common krb5-locales
  ksm-control-daemon less libbind9-161 libblas3 libcaca0 libcairo2 libcfg7 libcmap4
  libconvert-asn1-perl libcorosync-common4 libcpg4 libcrypt-random-seed-perl
  libdatrie1 libdbi1 libdebconfclient0 libefiboot1 libefivar1 libestr0 libfastjson4
  libfontconfig1 libfreeipmi17 libfreetype6 libfribidi0 libfstrm0 libgeoip1
  libgfortran5 libgraphite2-3 libharfbuzz0b libice6 libidn11 libiptc0 libirs161
  libisccc161 libisccfg163 libisns0 libjs-sphinxdoc libjs-underscore libknet1
  libldap-common liblockfile-bin liblockfile1 liblognorm5 liblua5.3-0 liblwres161
  liblzo2-2 libmariadb3 libmath-random-isaac-perl libnet-ldap-perl libnewt0.52
  libnvpair3linux libopenipmi0 libpango-1.0-0 libpangocairo-1.0-0 libpangoft2-1.0-0
  libparted2 libpcap0.8 libpci3 libpipeline1 libpython2-stdlib libpython2.7
  libpython2.7-minimal libpython2.7-stdlib libquadmath0 libquorum5 librrd8
  libsdl1.2debian libsemanage-common libsemanage1 libsensors-config libsensors5
  libsepol1 libslang2 libsnmp-base libss2 libssl1.1 libstatgrab10
  libtext-wrapi18n-perl libthai-data libthai0 libu2f-server0 libuchardet0
  libuutil3linux libvotequorum8 libxcb-render0 libxcb-shm0 libxext6 libxi6
  libxslt1.1 libzfs4linux linux-libc-dev logrotate lsof lynx lynx-common lzop
  man-db mariadb-common mawk memtest86+ mysql-common nano ncurses-base ncurses-bin
  ncurses-term netcat-traditional nmap nmap-common numactl open-iscsi openipmi
  parted passwd patch pciutils postfix powertop procps proxmox-archive-keyring
  proxmox-ve pve-docs pve-firmware pve-i18n pve-kernel-helper pve-xtermjs
  python-pkg-resources python-six python2 python2-minimal python2.7
  python2.7-minimal python3-debconf python3-debian python3-debianbts
  python3-httplib2 python3-pysimplesoap python3-reportbug reportbug rrdcached rsync
  rsyslog s-tui spiceterm spl ssh ssl-cert strace systemd-sysv tasksel tasksel-data
  tcpdump telnet time traceroute usb.ids usbutils vim-common vim-tiny vncterm
  wamerican wget whiptail x11-common xsltproc xxd zfs-initramfs zfs-zed
  zfsutils-linux zstd
215 upgraded, 19 newly installed, 0 to remove and 0 not upgraded.
15 not fully installed or removed.
Need to get 0 B/224 MB of archives.
After this operation, 399 MB of additional disk space will be used.
N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Do you want to continue? [Y/n] y
W: (pve-apt-hook) !! ATTENTION !!
W: (pve-apt-hook) You are attempting to upgrade from proxmox-ve '6.4-1' to proxmox-ve '7.2-1'. Please make sure to read the Upgrade notes at
W: (pve-apt-hook)       https://pve.proxmox.com/wiki/Upgrade_from_6.x_to_7.0
W: (pve-apt-hook) before proceeding with this operation.
W: (pve-apt-hook)
W: (pve-apt-hook) Press enter to continue, or C^c to abort.

Reading changelogs... Done
N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 12%N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 25%N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 38%N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 51%N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 64%N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 76%N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 89%N: Ignoring file 'pve-enterprise.list.backup' in directory '/etc/apt/sources.list.d/' as it has an invalid filename extension
Extracting templates from packages: 100%
Preconfiguring packages ...
Setting up systemd (247.3-7) ...
mkdir: cannot create directory '/var/log/journal': File exists
dpkg: error processing package systemd (--configure):
 installed systemd package post-installation script subprocess returned error exit status 1
Errors were encountered while processing:
 systemd
E: Sub-process /usr/bin/dpkg returned an error code (1)

System not fully up to date (found 235 new packages)

Kann hier zufällig jemand weiterhelfen?

 

[Supaman]

Den PBS hast Du schon auf 2.x ? Das muss man zuerst machen.

 

[Skream]

Der PBS ist auf Version 2.0-4.

 

[Skream]

Hallo zusammen,

leider ist beim Update wirklich was schiefgelaufen, da sich die virtuellen Maschinen danach nicht mehr starten ließen
Da ich an meine Daten langsam wieder ran muss, habe ich Proxmox 7 nun from scratch neuinstalliert und zuvor natürlich die Netzwerkkonfiguration, die Storage.cfg und die Conf-Dateien der LXCs und VMs gesichert und wieder eingespielt. Mein Raid1 wurde auch wieder erkannt und ließ sich einbinden.

Nun habe ich allerdings ein kleines Problem beim Restore der LXC. In den Conf-Dateien ist das rootfs hinterlegt (beispielsweise local-lvm:vm-102-disk-0,size=8G). Allerdings sind diese virtuellen Disks nicht in den CT-Volumes unter local-lvm zu finden und der Restore-Versuch schlägt mit "TASK ERROR: unable to restore CT 102 - no such logical volume pve/vm-102-disk-0" fehl.
Daher meine "blöde" Frage: Muss ich diese virtuellen Disks erst unter local-lvm irgendwie mounten und wenn ja, wie mach ich das?
Die virtuellen Disks auf meinem Raid1 wurden dagegen direkt aufgefürt, sowohl von einer VM als auch von einem LXC.

 

[spyfly]

Nun habe ich allerdings ein kleines Problem beim Restore der LXC. In den Conf-Dateien ist das rootfs hinterlegt (beispielsweise local-lvm:vm-102-disk-0,size=8G). Allerdings sind diese virtuellen Disks nicht in den CT-Volumes unter local-lvm zu finden und der Restore-Versuch schlägt mit "TASK ERROR: unable to restore CT 102 - no such logical volume pve/vm-102-disk-0" fehl.
Daher meine "blöde" Frage: Muss ich diese virtuellen Disks erst unter local-lvm irgendwie mounten und wenn ja, wie mach ich das?
Die virtuellen Disks auf meinem Raid1 wurden dagegen direkt aufgefürt, sowohl von einer VM als auch von einem LXC.

Nach der Neuinstallation sind alle Daten auf der System SSD weg. Ergo reicht es in diesem Fall nicht die configs für VMs/LXC zu restoren, da die Volumes nicht mehr vorhanden sind. Du musst ein vollständiges Backup von PBS oder einem anderen Backup-Storage für die betroffenen VMs/Container wieder einspielen.

 

[Skream]

Nach der Neuinstallation sind alle Daten auf der System SSD weg. Ergo reicht es in diesem Fall nicht die configs für VMs/LXC zu restoren, da die Volumes nicht mehr vorhanden sind. Du musst ein vollständiges Backup von PBS oder einem anderen Backup-Storage für die betroffenen VMs/Container wieder einspielen.

Hi,
ich habe ein vollständiges Backup der LXCs auf meinem PBS liegen, von dort aus möchte ich die Backups restoren. Ich habe sämtliche LXCs einmal wöchentlich gesichert und insgesamt vier Wochen gespeichert, sodass ich einen Monat in die Vergangenheit springen könnte. Alles Backups sind auch verifiziert.

 

[spyfly]

ich habe ein vollständiges Backup der LXCs auf meinem PBS liegen, von dort aus möchte ich die Backups restoren. Ich habe sämtliche LXCs einmal wöchentlich gesichert und insgesamt vier Wochen gespeichert, sodass ich einen Monat in die Vergangenheit springen könnte. Alles Backups sind auch verifiziert.

Hast du die Neuinstallation mit ZFS vorgenommen? Das würde dann erklären wieso du keinen local-lvm mehr hast

 

[Skream]

Hast du die Neuinstallation mit ZFS vorgenommen? Das würde dann erklären wieso du keinen local-lvm mehr hast

Die SSD, auf der local und local-lvm liegen, wurde als EXT4 formatiert. Außerdem ist local-lvm ja nicht weg, die VM Disk meines OMV liegt ja drauf. Nur die virtuellen Disks der LXCs sind nicht da

 

[spyfly]

Die SSD, auf der local und local-lvm liegen, wurde als EXT4 formatiert. Außerdem ist local-lvm ja nicht weg, die VM Disk meines OMV liegt ja drauf. Nur die virtuellen Disks der LXCs sind nicht da

Hast du im PBS mal nachgeschaut ob außer der Konfigurationsdatei auch die Volumes gesichert worden sind? Weil PBS unterstützt nur die Sicherung von Volumes und keinen Mount Points.

 

[Skream]

Hast du im PBS mal nachgeschaut ob außer der Konfigurationsdatei auch die Volumes gesichert worden sind? Weil PBS unterstützt nur die Sicherung von Volumes und keinen Mount Points.

Es kann natürlich sein, dass keine Mountpoints abgespeichert wurden, das weiß ich leider nicht... Kann ich denn aus der Konfigurationsdatei der LXCs nicht irgendwie ein Mounting in local-lvm wiederherstellen?
Zur Not würde ich einfach auf Basis der Templates neue (leere) LXCs erstellen, die anhand der vorhandenen Config-Dateien vorkonfiguriert werden und dann das Backup einspielen. Dann müsste das Mounting doch wieder klappen, oder?

Oder gibt es noch eine andere Möglichkeit, irgendwie die Mountings auf local-lvm wiederherzustellen?

EDIT: Ich habe mir das Log-File vom gescheiterten Restore nochmal angeschaut:

recovering backed-up configuration from 'PBS:backup/ct/102/2022-06-17T21:00:19Z'
  Logical volume "vm-102-disk-0" created.
Creating filesystem with 2097152 4k blocks and 524288 inodes
Filesystem UUID: 665ea033-2387-4d07-ac2a-05807a63cc02
Superblock backups stored on blocks:
    32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632
  Logical volume "vm-102-disk-0" successfully removed
TASK ERROR: unable to restore CT 102 - no such logical volume pve/vm-102-disk-0

Wenn ich das richtig sehe, wird zunächst ein logisches Volume erstellt, dann wieder gelöscht und dann abgebrochen, weil das Volume nicht mehr vorhanden ist (ist ja logisch, wenn es wieder gelöscht wurde).
Kann sich hierauf jemand einen Reim machen?

 

[Skream]

Hallo zusammen,

mittlerweile konnte ich das Problem glücklicherweise lösen. Vermutlich habe ich folgenden Fehler gemacht:
Ich habe die Conf-Dateien der LXC eingspielt, sodass die LXC "als Hülle" vorhanden waren und wollte dann die Restore-Funktion aus dem LXC heraus nutzen (LXC anwählen --> Backup --> Restore). Bei jedem Versuch kam allerdings die Fehlermeldung aus #17.

Folgendes Vorgehen hat dann schließlich funktioniert:
Ich habe die Conf-Dateien wieder komplett gelöscht, sodass keine LXC mehr aufgeführt waren. Da jedoch der PBS eingebunden ist, konnte ich diesen direkt anwählen und fand dort alle Backups der LXC vorliegen. Von dort aus konnte ich den Restore-Prozess antriggern und musste lediglich darauf achten, dass der richtige Storage (local-lvm) ausgewählt war. Danach lief der Restore-Prozess ohne Probleme durch und alle VMs und LXCs sind nun wieder up and running auf Proxmox 7.2-4

Trotzdem vielen Dank für eure Hilfe!