[Sammelthread] Proxmox Stammtisch

Betreibt jemand sein Proxmox Server schon über einen längeren Zeitraum (1 Jahr und länger) auf einem USB-Stick oder SATA DOM? Wenn ja auf welchem?
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Hallo zusammen,

ich habe nun auch einen kleinen Proxmox Host laufen. Intel Celeron J3455 (GA-J3455N-D3H) mit 8GB RAM und Crucial MX500.
Promox läuft mit neuesten Patchen.

Allerdigns habe ich in den letzen paar Tagen ein paar eigenartige Probleme. Die sind sicherlich auch dadurch begründet, dass ich momentan meine Services migreire und oft Konfigurationen ändere bzw. neue LXC Container anlege. Als OS läuft ein Debian 9.
Die Container haben Teilweise statische und dynamische IP Addressen. Config wie folgt:
Code: 
arch: amd64
cores: 1
hostname: openhab2
memory: 786
net0: name=eth0,bridge=vmbr0,hwaddr=1A:E3:4E:A1:E4:67,ip=dhcp,type=veth
ostype: debian
rootfs: LVM-thin:vm-102-disk-1,size=3G
swap: 256

Das erste Problem ist, dass ich meine LXC Container schonmal nicht mehr starten kann. Das passierte meißten, wenn ich die IP Config verändert habe. Da hilft nur noch ein Reboot. Wenn ich mich nicht irre sind das die dazu passenden Fehler im Syslog (habe sie nicht weg geschrieben):
Code: 
Mar 27 09:15:23 proxmox systemd[1]: Starting PVE LXC Container: 102...
Mar 27 09:16:53 proxmox systemd[1]: pve-container@102.service: Start operation timed out. Terminating.
Mar 27 09:16:53 proxmox systemd[1]: Failed to start PVE LXC Container: 102.
Mar 27 09:16:53 proxmox systemd[1]: pve-container@102.service: Unit entered failed state.
Mar 27 09:16:53 proxmox systemd[1]: pve-container@102.service: Failed with result 'timeout'.
Mar 27 09:16:53 proxmox pve-guests[5045]: command 'systemctl start pve-container@102' failed: exit code 1
Mar 27 09:16:54 proxmox pvesh[2494]: Starting CT 102 failed: command 'systemctl start pve-container@102' failed: exit code 1
Mar 27 09:17:39 proxmox systemd-udevd[7782]: Could not generate persistent MAC address for veth102i0: No such file or directory
Mar 27 09:17:39 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port veth102i0
Mar 27 09:17:40 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named veth102i0
Mar 27 09:17:40 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port fwln102i0
Mar 27 09:17:40 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named fwln102i0
Mar 27 09:17:40 proxmox pvestatd[2374]: unable to get PID for CT 102 (not running?)
Mar 27 09:17:41 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port fwln102i0
Mar 27 09:17:41 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named fwln102i0
Mar 27 09:17:41 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port veth102i0
Mar 27 09:17:41 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named veth102i0


Bei einen Reboot kommen einige Container nicht mehr automatisch hoch, ein manueller Start klappt aber Problemlos. Folgendes steht im Log:
Code: 
Mar 29 18:56:08 proxmox pvesh[2558]: Starting CT 104
Mar 29 18:56:08 proxmox pve-guests[2572]: <root@pam> starting task UPID:proxmox:0000114D:00003CA8:5ABD1AA8:vzstart:104:root@pam:
Mar 29 18:56:08 proxmox pve-guests[4429]: starting CT 104: UPID:proxmox:0000114D:00003CA8:5ABD1AA8:vzstart:104:root@pam:
Mar 29 18:56:08 proxmox systemd[1]: Starting PVE LXC Container: 104...
Mar 29 18:56:08 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port veth108i0
Mar 29 18:56:08 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named veth108i0
Mar 29 18:56:08 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port fwln108i0
Mar 29 18:56:08 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named fwln108i0
Mar 29 18:56:08 proxmox kernel: [  155.349538] eth0: renamed from vethJ0BWK1
Mar 29 18:56:09 proxmox pvestatd[2449]: unable to get PID for CT 108 (not running?)
Mar 29 18:56:09 proxmox pvestatd[2449]: status update time (92.127 seconds)
Mar 29 18:56:10 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port fwln108i0
Mar 29 18:56:10 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named fwln108i0
Mar 29 18:56:10 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port veth108i0
Mar 29 18:56:10 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named veth108i0
Mar 29 18:57:38 proxmox systemd[1]: pve-container@104.service: Start operation timed out. Terminating.
Mar 29 18:57:38 proxmox systemd[1]: Failed to start PVE LXC Container: 104.
Mar 29 18:57:38 proxmox systemd[1]: pve-container@104.service: Unit entered failed state.
Mar 29 18:57:38 proxmox systemd[1]: pve-container@104.service: Failed with result 'timeout'.
Mar 29 18:57:38 proxmox pve-guests[4429]: command 'systemctl start pve-container@104' failed: exit code 1
Mar 29 18:57:39 proxmox pvesh[2558]: Starting CT 104 failed: command 'systemctl start pve-container@104' failed: exit code 1
Mar 29 18:57:39 proxmox pvesh[2558]: Starting CT 101
Mar 29 18:57:39 proxmox pve-guests[4871]: starting CT 101: UPID:proxmox:00001307:0000603C:5ABD1B03:vzstart:101:root@pam:
Mar 29 18:57:39 proxmox pve-guests[2572]: <root@pam> starting task UPID:proxmox:00001307:0000603C:5ABD1B03:vzstart:101:root@pam:
Mar 29 18:57:39 proxmox systemd[1]: Starting PVE LXC Container: 101...
Mar 29 18:58:25 proxmox systemd-udevd[4927]: Could not generate persistent MAC address for veth104i0: No such file or directory
Mar 29 18:58:25 proxmox systemd-udevd[4926]: Could not generate persistent MAC address for veth074IYP: No such file or directory
Mar 29 18:58:25 proxmox systemd-udevd[4950]: Could not generate persistent MAC address for vethWG2C73: No such file or directory
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port veth104i0
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port veth101i0
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named veth104i0
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named veth101i0
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port fwln104i0
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00001|vsctl|INFO|Called as /usr/bin/ovs-vsctl del-port fwln101i0
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named fwln104i0
Mar 29 18:58:26 proxmox ovs-vsctl: ovs|00002|db_ctl_base|ERR|no port named fwln101i0
Mar 29 18:58:26 proxmox kernel: [  292.471258] vmbr0: port 3(veth104i0) entered blocking state
Mar 29 18:58:26 proxmox kernel: [  292.471262] vmbr0: port 3(veth104i0) entered disabled state
Mar 29 18:58:26 proxmox kernel: [  292.471357] device veth104i0 entered promiscuous mode
Mar 29 18:58:26 proxmox kernel: [  292.473542] vmbr0: port 4(veth101i0) entered blocking state
Mar 29 18:58:26 proxmox kernel: [  292.473546] vmbr0: port 4(veth101i0) entered disabled state
Mar 29 18:58:26 proxmox kernel: [  292.473632] device veth101i0 entered promiscuous mode
Mar 29 18:58:26 proxmox kernel: [  292.473693] vmbr0: port 4(veth101i0) entered blocking state
Mar 29 18:58:26 proxmox kernel: [  292.473696] vmbr0: port 4(veth101i0) entered forwarding state
Mar 29 18:58:26 proxmox kernel: [  292.611183] eth0: renamed from vethWG2C73
Mar 29 18:58:27 proxmox systemd[1]: Started PVE LXC Container: 101.
Mar 29 18:58:27 proxmox pvestatd[2449]: unable to get PID for CT 104 (not running?)
Das sieht für mich so aus, als ob die Container zu schnell hintereinander starten.


Jemand einen Tipp, warum meine Container Probleme beim starten haben und was ich dagegen tun kann?


Noch eine andere Frage: Ich habe eine PFSense mit 2Cores und 2 CPUs laufen, die momentan nur NAT Regeln implementiert hat.
Als Netzwerkkartentyp kommt VirtIO zum Einsatz. Bei Downloads über meine 50k Leitung habe ich eine sehr hohe Auslastung. Checksum Offloading ist bereits deaktiviert.
Code: 
  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
   11 root       155 ki31     0K    32K RUN     0  56.1H  76.95% [idle{idle: cpu0}]
   11 root       155 ki31     0K    32K CPU1    1  56.1H  73.00% [idle{idle: cpu1}]
   12 root       -92    -     0K   352K WAIT    1  15:28  25.98% [intr{irq258: virtio_pci1}]
   12 root       -92    -     0K   352K WAIT    0  11:20  18.99% [intr{irq261: virtio_pci2}]
Testweise eine PFsense oder ein Linux mit Samba haben nicht so viele Interrupts erzeugt bzw. so eine hohe Auslastung. Entspricht das dem Erwartungswert?

Vielen Dank und Frohe Ostern
 
Zuletzt bearbeitet:
Zur Info: der Bug in zfs 0.7.7 wurde bei Proxmox schon vor Release ausgemerzt.
 
Hat schon mal jemand einen Cluster Node unter 5.1 neu installiert? Klappt das noch so?
Proxmox VE 4.x Cluster - Proxmox VE
Und hat der Node dann wieder an der gleiche Node ID?

Hintergrund ist: Aktuell läuft ein Proxmox (-a), zwei weitere (-b und -c) sollen damit einen Cluster bilden. Der -a muss aber vermutlich neu installiert werden, weil auf dem SAS-Controller die falsche Firmware ist (IR statt IT).
Sobald -b und -c hinzugefügt sind, würde ich die VMs und Container live migrieren, den -a nach obiger Anleitung rausnehmen, neu installieren und hoffen, dass er nach dem Restore nach obiger Anleitung wieder läuft und der Übersichtlichkeit halber auch wieder die Node ID 0x00000001 bekommt.
 
Nach o.g. Anleitung? In der dort zu Beginn referenzierten Referenzdokumentation ist von einem Node Reinstall mittels Backup leider keine Rede mehr. Die Cluster Engine ist zwischen 4.x und 5.x zwar gleich geblieben (CoroSync), aber 4.x habe ich übersprungen, daher kenne ich die Unterschiede nicht so wirklich.
 
martingo schrieb:
Der -a muss aber vermutlich neu installiert werden, weil auf dem SAS-Controller die falsche Firmware ist (IR statt IT).
Zum Vergrößern anklicken....

Kommt darauf an, ob ihr RAID-Funktionalitäten der IR-Firmware nutzt. Wenn nicht, sollte nach der Firmware-Anpassung alles wie gehabt funktionieren. Ich habe kürzlich auch die Firmware meines LSI SAS3008 von IR zu IT geflasht. An dem Controller wird ein RAID-Z2 (ZFS 8x4TB) betrieben. Nach der Änderung der Firmware lief alles wie vorher, da ich die RAID-Funktionen der IR-Firmware für mein ZFS vorher auch schon nicht genutzt habe (macht ja auch keinen Sinn). :)

Gruß Hoppel
 
Zuletzt bearbeitet:
Jup, hab ich so gemacht, als einer meiner Knoten mal zur Mainboard RMA ran musste.
 
hoppel118 schrieb:
Kommt darauf an, ob ihr RAID-Funktionalitäten der IR-Firmware nutzt. Wenn nicht, sollte nach der Firmware-Anpassung alles wie gehabt funktionieren. Ich habe kürzlich auch die Firmware meines LSI SAS3008 von IR zu IT geflasht. An dem Controller wird ein RAID-Z2 (ZFS 8x4TB) betrieben. Nach der Änderung der Firmware lief alles wie vorher, da ich die RAID-Funktionen der IR-Firmware für mein ZFS vorher auch schon nicht genutzt habe (macht ja auch keinen Sinn). :)

Gruß Hoppel
Zum Vergrößern anklicken....

Auf meinem -b hatte das nicht geklappt. War auch als ZFS Raid-Z2 installiert ohne HW RAID Funktion. Aktualisierung der FW und BIOS auf Stand von -a hat funktioniert, bootete danach direkt.
Dann habe ich auf die aktuellste Version von LSI aktualisiert und gleichzeitig auf IT gewechselt. Bootete danach nicht mehr (grub rescue mode). Versuch, grub über proxmox debug install und chroot den Bootloader neu zu installieren, schlug fehl. /bin/bash, /bin/sh und andere executables aus dem zpool lieferten Input/output errors.

Allerdings hatte ich versehentlich die Firmware Aktualisierung aus Proxmox heraus angestoßen, also vom laufenden system des Controllers aus. Möglich, dass ich dabei das Filesystem korrumpiert habe.

Sicherheitshalber habe ich jetzt mal alles laut Doku gesichert und aktualisiere den Controller nun von einem Livelinux. Mal sehen, ob es so klappt.
 
So, Backup angelegt, Controller von einem Live System aus aktualisiert. Nach Reboot hing er ewig bei "Booting from Hard Disk (C:)". Da fiel mir ein, dass ich kurz nach Installation möglicherweise etwas an sda1 verpfuscht hatte. Also grub neu installiert nach Anleitung: Grub2 recovery on ZFS Proxmox VE 3.4 | Proxmox Support Forum
Nach reboot die Meldung, dass der Pool von einem anderen System verwendet wurde, also neu eingelesen -> in der Busybox: zpool import -f -N 'rpool' -> exit
Dann die Fehlermeldung "filesystem 'rpool/ROOT/pve-1' cannot be mounted at '/root//mnt' due to canonicalization error" -> in der Busybox: zfs set mountpoint=/ rpool/ROOT/pve-1 -> exit

Nach erneutem Reboot läuft die Kiste nun wieder tadellos :bigok:
 
Hallo,

wie sieht den hier so die "best-practice" von Leuten aus die OMV als KVM in Proxmox nutzen? Hab aktuell ein RAID-Z1 Pool mit 3x 4TB WD Red. Eigentlich würde ich ja ganz gerne darauf verzichten die Festplatten durchzureichen, da (meiner laienhaften Erfahrung nach) ein OMV Update ganz gerne mal den ZFS Treiber zerschießt. OMV mag ja auch Bind-Mounts nicht (wird in KVM ja so oder so nicht unterstützt - oder?) und Docker (für Plex bspw.) würde ich auf der KVM auch gerne laufen lassen. Die (meiner Meinung nach) beste Möglichkeit wäre:

- ZVol erstellen und durchreichen
- RAW Image erstellen und durchreichen

Hat das jemand so am laufen und kann berichten was hier die bessere Variante ist? Danke :-)
 
Pheenix schrieb:
ein OMV Update ganz gerne mal den ZFS Treiber zerschießt. OMV mag ja auch Bind-Mounts nicht (wird in KVM ja so oder so nicht unterstützt - oder?) und Docker (für Plex bspw.) würde ich auf der KVM auch gerne laufen lassen. Die (meiner Meinung nach) beste Möglichkeit wäre:
Zum Vergrößern anklicken....

was spräche gegen freenas ? evtl sogar als baremetal bei dir wenn du Wert auf die komponete legst
 
Zuletzt bearbeitet:
Hat FreeNAS unter Proxmox nicht massive Performanceprobleme? Sie waren zumindest vor einem Jahr noch sehr akut. Ich weiß nicht ob das gelöst wurde.
 
Warum lässt du zfs nicht auf dem Host laufen?

OMV ist zwar ganz nett und mit snapraid und mergerfs für ein reines datengrab ohne irgendein RAID nahezu konkurrenzlos (ausser unraid). Dennoch ist es irgendwie immer gefrickel. Mal läuft das nicht, mal jenes, mal was ganz anderes.
 
Zuletzt bearbeitet:
Mal ne Frage: Habt ihr einen ZFS-Pool (RAIDz1) aus HDDs und habt dort CTs/VMs installiert? Wenn ja, sind diese sehr träge bei euch?

Ich habe einen SSD-ZFS-Mirror und ein Raidz1 aus drei HDDs. auf den SSDs sind die kleinen Linux-CTs schön flott, während die auf dem Raidz1 gähnend langsam sind.
 
Ich habe zwei Server mit je acht SAS-Platten im RAID-Z2 und die laufen eigentlich ganz vernünftig.
"Schön flott" und "gähnend langsam" sind natürlich relative Begriffe. So flott wie ein SSD Mirror ist ein HDD RAID natürlich nie. Hast Du Benchmarks gemacht oder wie definierst du das?
 
naja ein apt update && apt upgrade ist da fast genauso langsam wie auf nem NanoPi Neo.
Unterschied zwischen SSD und HDD ist da ca 1min (SSD) bzw 5min (HDD).
 
Hmmm, das ist nicht normal. Läuft bei mir nahezu wie auf Blech. Evtl. mal einen Benchmark probieren. Wenn Du was gemacht hast, kann ich Vergleichswerte liefern.
 
Wieviele IOPS hast den denn auf dem Pool?
Und ein Benchmark wäre sicher hilfreich um das ganze mit Zahlen zu füllen.
 
Evtl Alignment der Platten falsch? Ich hatte mal 4k-Platten falsch ausgerichtet... Man denkt, man hat 80MB IDE-Platten im PIO-Modus...
 
hart neu laden ? sorry
 
Strg + Shift + R

Das hatte ich, wenn mal wieder Systemupdates eingespielt waren, ich im Browser aber noch eine alte Session offen hatte.
 
ich habe ein Asus x470 Prime Pro und Proxmox erkennt kein USB.
Es kommt die Fehlermeldung USB Kabel brocken bei allen USB-Ports.
Google konnte mir leider nicht helfen, würde mich sehr freuen wen es einer von Euch könnte.
Danke im voraus:)

Habe ich ganz vergessen, unter Win 10 Pro gehen natürlich alle USB-Ports.
Also wohl ein Treiber-Problem nur fand ich für Proxmox/Debian keine.
 
Zuletzt bearbeitet:
Die Fehlermeldung lautet "USB Kabel brocken"?
Dazu finde ich auch nichts, sorry :d
 
Anmelden, um zu antworten.

Ähnliche Themen

D
Bester Hypervisor für Windows VMs gesucht
Antworten
10
Aufrufe
1K
Supaman
Supaman
M
[User-Review] LG gram 17 17Z90S-G.AA78G
Antworten
7
Aufrufe
2K
mz_z
M
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh