IP Problem bei Proxmox mit OpnSense

[Nucer]

Hallo,

ich habe einen Server mit Proxmox V6, darauf habe ich z.Z. eine VM mit OpnSense.
Diese soll für alle VM und alle Clients im Homenetz als Router und Firewall arbeiten.
Mein Server hat 3 Netzwerkanschlüsse (2 Mainboard + 1 PCI Netzwerkkarte).

Netzwerk 1: (PCI Netzwerkkarte) Proxmox Hauptnetzwerk mit fester IP durch Installation
Netzwerk 2&3: (Mainborad) OpnSense LAN und WAN

Der Netzwerkanschluss von der PCI Netzwerkkarte war bei der installation von Proxmox direkt an der FritzBox angeschlossen und hat eine feste IP bekommen.

Danach habe ich die VM mit OpnSense installiert. Und dann habe ich das Netzwerk um gestöpselt:

[FritzBox] -> [Netzwerk 2: OpnSense WAN] <-> [Netzwerk 3: OpnSense LAN] -> [Switch1] <- [PC1, PC2, ..]
[Netzwerk 1: Server] -> [Switch1]

Jetzt arbeitet OpnSense als Router/Firewall alle Client PC können auf das Heimnetz und Internet zugreifen und ich kann auf das Webinterface von OpnSense zugreifen.
Funktioniert also fast alles wie gewollt nur eine Sache klappt nicht,
ich bekomme kein Zugriff auf das Webinterface von Proxmox in der ARP-Tabelle von OpnSense, ist der Server auch nicht aufgelistet.

Weiß jemand wie ich auf das Webinterface vom Proxmox Server zugriff bekomme?


/etc/network/interfaces

auto lo
iface lo inet loopback

iface enp4s0 inet manual
iface eno2 inet manual
iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
    address  192.*.*.27                # IP von der FritzBox
    netmask  255.255.255.0
    gateway  192.*.*.1                 # FritzBox Gateway
    bridge-ports enp4s0
    bridge-stp off
    bridge-fd 0
    pre-up-sleep 2
    bridge_maxwait 0
    mtric 1

auto vmbr1
iface vmbr1 inet manual
      bridge-ports eno1
      bridge-stp off
      bridge-fd 0

auto vmbr2
iface vmbr2 inet manual
      bridge-ports eno2
      bridge-stp off
      bridge-fd 0

 

[-pcfreak007-]

Äh, wenn ich das richtig sehe, steckst du mit dem Proxmox-Interface (Netzwerk1) im "Lan"-Bereich der OPNSense, das Interface hat aber eine IP aus dem LAN der Fritzbox. Das kann so nicht gehen. Entweder du steckst das mit in die Fritzbox, oder du passt die IP entsprechend auf das LAN-Segment im OPNSense an.

 

[Nucer]

Ich habe mal versucht die FritzBox IP und Gateway Adresse durch die OpnSense zu tauschen.
Geändert hatte ich das über das Wbinterface von Proxmox, nachdem ich dieses kurz um gestöpselt hatte.
Leider hatte das zur Folge, dass der Netzwerk und Internet Zugriff aller PC Client nicht mehr funktionierte.
In OpnSense habe ich als IP Bereich 10.0.0.1 - 10.0.0.255 definiert, wobei 10.0.0.1 das Gateway ist.

auto lo
iface lo inet loopback

iface enp4s0 inet manual
iface eno2 inet manual
iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
    address  10.0.0.2                  # IP von der OpnSense
    netmask  255.255.255.0
    gateway  10.0.0.1                 # OpnSense Gateway
    bridge-ports enp4s0
    bridge-stp off
    bridge-fd 0
    pre-up-sleep 2
    bridge_maxwait 0
    mtric 1

auto vmbr1
iface vmbr1 inet manual
      bridge-ports eno1
      bridge-stp off
      bridge-fd 0

auto vmbr2
iface vmbr2 inet manual
      bridge-ports eno2
      bridge-stp off
      bridge-fd 0

 

[danielmayer]

wenn im opnsense der dhcp-server aktiv ist, setze das Interface vom Server doch einfach mal auf DHCP...
Vermutlich hat eines der anderen Geräte schon die .2?

 

[Nucer]

Erstmal danke danielmayer für den Tipp.
Wenn eine IP doppelt vergeben wird scheint wohl nichts mehr im Netzwerk zu funktionieren.

Ich habe mal die Server IP von 10.0.0.2 zu 10.0.0.100 geändert.
Jetzt bekomme ich von den Client PC über die IP 10.0.0.100 Zugriff auf das Webinterface des Servers.

Jedoch funktioniert jetzt bei den Client PCs der Zugriff auf das OpnSense (10.0.0.1) Webinterface und Internet nicht mehr.

Irgendetwas an der Konfiguration ist da noch falsch.
Ich meine in der Proxmox Doku gelesen zu haben das DHCP für den Hauptnetzwerkanschluss nicht unterstützt wird.

 

[Nucer]

Habe es endlich geschafft.
Ursache für das Problem war wohl, dass OpnSense kaputt gegangen ist und natürlich die unzulässige IP für Proxmox.
Nachdem ich ein Bakeup der OpnSense VM wiederhergestellt habe, welches ich nach der Installation und Start Konfiguration gemacht hatte, funktioniert jetzt alles.

Nochmals an alle Danke für die Hilfe.

 

[-pcfreak007-]

Klang auch seltsam, weil dein 2. Ansatz (der ja jetzt auch läuft) sich eigentlich korrekt angehört hat.

Btw: Du könntest auch einfach der vmbr1 oder vmbr2 (je nachdem, welche im LAN der OPNSense ist) eine entsprechende IP zuordnen und darüber aus dem Netz der OPNSense den Proxmox managen. Dann hättest du das alte Interface für andere Dinge oder eine weitere Zone der OPNSense oder so frei...

 

[Nucer]

Ich habe auch schon Grund dafür herausgefunden warum die OpnSense VM kaputt gegangen ist.
Über das Proxmox Interface kann ich die VM nicht herunterfahren. Da ich wegen den Änderungen an der Netzwerk Konfiguration, häufiger den Proxmox Server neu starten musste, wird wohl beim herunterfahren nach den Ablauf eines Timeout, die VM gekillt.

Über das OpnSense Interface oder auch via ssh kann ich die VM problemlos herunterfahren.
Das bedeutet momentan wenn ich den Server Herunterfahren möchte, muss ich erst OpnSense manuell herunterfahren. Dann muss ich zum Server, und dort dann einlogen + poweroff eintippen. Da das Proxmox Webinterface natürlich ohne OpenSense nicht mehr geht.

Die ACPI Unterstützung habe ich für diese VM aktiviert.
Es gibt wohl für andere Hypervisor Erweiterungen, aber für KVM oder Proxmox konnte ich nichts finden.

Das ist etwas umständlich, weiß jemand wie ich OpnSense dazu kriege, dass dieses aus Proxmox heraus heruntergefahren werden kann?

 

[martingo]

Qemu-agent installieren.