*Inhalt gelöscht*
Zuletzt bearbeitet von einem Moderator:
[Sammelthread] pfSense & OPNsense (Firewall- und Routing-Appliance)
AliManali
cpt sunday flyer
Wir hatten in
https://www.hardwareluxx.de/communi...uting-appliance.1285668/page-58#post-30441533
diskutiert, ob man in der OPNsense an verschiedenen Adapter das selbe VLAN anlegen kann. Habe ein physisches Interface und ein VLAN gebridged, aber das führt nicht wirklich zum Erfolg. Wenn ich an der Schnittstelle und im VLAN den selben Adressbereich angebe, spuckt die Sense auch einen Fehler aus.
Sprich ich muss da eh InterVLAN Routing machen. Ist aber nicht so schlimm, beregle ich halt alles mehrfach und lasse die Bridge weg. Glaube, das tangiert nicht gross mit meinen Anwendungen und Hosts.
Mag sein, dass es irgendwie doch gehen würde. Wäre zumindest schmerzfreier gewesen mit einem Switch.
Die VLANs am Server und die physischen Netzwerke sind jetzt mal eingerichtet, beregelt und durch gepingt. War ein bisschen tricky, dass da die VLANs nicht untereinander reden dürfen, aber trotzem raus können. Für einen Anfänger recht verwirrend.
Mal sehen, vielleicht hole ich mir mit dem neuen Provider ein /29 Subnet. Brauchen könnte ich das sehr gut, weil im Moment muss ich zum Teil für meine Sims auf den eigenen Server per VPN verbinden und noch andere Handstände machen. Das ist aber leider richtig teuer (CHF 60.-/Monat). Weiss noch nicht, ob ich das so durch kriege.
Speed an der ollen E3 Haswell Hardware ist ganz gut. Habe bemerkt, dass mein Provider einen VW Prüfstand hat. Wenn man den 10 Gbit Port eine Weile nicht benutzt hat habe ich super Werte im Speedtest. Läuft die Firewall ein paar Tage, macht die Leitung im Upstream bei 2 Gbit/s zu. Aber wird ja eh noch mal der Provider gewechselt, der garantiert die 10/10 an einem AON Anschluss.
https://www.hardwareluxx.de/communi...uting-appliance.1285668/page-58#post-30441533
diskutiert, ob man in der OPNsense an verschiedenen Adapter das selbe VLAN anlegen kann. Habe ein physisches Interface und ein VLAN gebridged, aber das führt nicht wirklich zum Erfolg. Wenn ich an der Schnittstelle und im VLAN den selben Adressbereich angebe, spuckt die Sense auch einen Fehler aus.
Sprich ich muss da eh InterVLAN Routing machen. Ist aber nicht so schlimm, beregle ich halt alles mehrfach und lasse die Bridge weg. Glaube, das tangiert nicht gross mit meinen Anwendungen und Hosts.
Mag sein, dass es irgendwie doch gehen würde. Wäre zumindest schmerzfreier gewesen mit einem Switch.
Die VLANs am Server und die physischen Netzwerke sind jetzt mal eingerichtet, beregelt und durch gepingt. War ein bisschen tricky, dass da die VLANs nicht untereinander reden dürfen, aber trotzem raus können. Für einen Anfänger recht verwirrend.
Mal sehen, vielleicht hole ich mir mit dem neuen Provider ein /29 Subnet. Brauchen könnte ich das sehr gut, weil im Moment muss ich zum Teil für meine Sims auf den eigenen Server per VPN verbinden und noch andere Handstände machen. Das ist aber leider richtig teuer (CHF 60.-/Monat). Weiss noch nicht, ob ich das so durch kriege.
Speed an der ollen E3 Haswell Hardware ist ganz gut. Habe bemerkt, dass mein Provider einen VW Prüfstand hat. Wenn man den 10 Gbit Port eine Weile nicht benutzt hat habe ich super Werte im Speedtest. Läuft die Firewall ein paar Tage, macht die Leitung im Upstream bei 2 Gbit/s zu. Aber wird ja eh noch mal der Provider gewechselt, der garantiert die 10/10 an einem AON Anschluss.
Zuletzt bearbeitet:
toscdesign
Enthusiast
- Mitglied seit
- 17.02.2022
- Beiträge
- 5.500
Die habe ich auch gerade installiert.
Bootet schneller und auch die manchmal auftretenden Gedenksekunden beim Surfen sind weg 👍
Knogle
Enthusiast
Betreibt jemand hier OPNsense unter Proxmox?
Frag doch einfach die eigentliche Frage.
Shihatsu
Urgestein
- Mitglied seit
- 16.08.2005
- Beiträge
- 4.904
Aka: So einige.
toscdesign
Enthusiast
- Mitglied seit
- 17.02.2022
- Beiträge
- 5.500
Ja, weil mir der Strom zu teuer ist für jedes einzelne Stück Software ne extra Hardware zu betreiben.
Bei läuft auf einer kleinen China Celeron Kiste Proxmox und darunter:
- opnSense
- HomeAssistant
- Ubuntu Server
Knogle
Enthusiast
Ahh prima! Wie klappt es bei euch mit der Performance?
Ich hab die Erfahrung gemacht, dass bei FreeBSD also opsense unter Proxmox die VirtIO NICs nicht so toll performen. Via iperf3 von VM zu OPNsense VM komme ich auf 2Gbps, auf andere Linux VMs jedoch auf 40Gbps.
Ich hab die Erfahrung gemacht, dass bei FreeBSD also opsense unter Proxmox die VirtIO NICs nicht so toll performen. Via iperf3 von VM zu OPNsense VM komme ich auf 2Gbps, auf andere Linux VMs jedoch auf 40Gbps.
AliManali
cpt sunday flyer
Unter Proxmox hatte ich mit einer E3-1281 v3 mit opnsense ca. 3/3. Mit der Sophos 8/2, der Upstream wurde aber vom Provider beschnitten. Jetzt baremetal opnsense bin ich sehr zufrieden. Denke der Provider gibt nicht mehr her. Unter ESXi hatte ich leicht bessere Performance als unter proxmox.
Baremetal mit IDS:
Unter ESXi mit IDS:
Baremetal mit IDS:
Unter ESXi mit IDS:
Zuletzt bearbeitet:
Knogle
Enthusiast
Danke euch schon mal! Das ist echt super schade :/ OpenWrt habe ich lange genutzt, hat im Grunde auch >30Gbps auf der Bridge geliefert, aber OPNsense mag ich halt mehr.
toscdesign
Enthusiast
- Mitglied seit
- 17.02.2022
- Beiträge
- 5.500
Die Frage ist braucht man die Leistung wirklich?
Wenn man so eine Datenmenge hätte, sollte das doch eher auf dem Switch gemanaged werden.
Wenn man so eine Datenmenge hätte, sollte das doch eher auf dem Switch gemanaged werden.
Ja, wir sind im Luxx.
ich nutz das Stueck Blech auch dazu um Inter-Vlan-Routing mit 20gbps zu betreiben
ich nutz das Stueck Blech auch dazu um Inter-Vlan-Routing mit 20gbps zu betreiben
AliManali
cpt sunday flyer
Mir reicht ja auch WAN-LAN wenn wir ehrlich sind. Liegt eh alles auf SATA Platten.
Habe mir nun doch mal die "Arbeit" gemacht und die OPNsense neu mit ZFS aufgesetzt. Backup rein, fertig. Die Geschichte mit den Snapshots ist schon ne feine Sache. 
toscdesign
Enthusiast
- Mitglied seit
- 17.02.2022
- Beiträge
- 5.500
Mir reicht mein Gigabit Netzwerk noch aus 😅
MPHxxxLegend
Experte
Ich habe jetzt von baremetal auf VM auf Proxmox umgestellt, soweit läuft alles ohne Probleme, bis auf Backups bzw. Reboots der VM.
Damit ich saubere Snapshots machen kann und auch der Shutdown sauber abläuft, habe ich den "Qemu Agent" aktiviert und das Plugin installiert und aktiviert.
Des Weiteren nutze ich PCIe passthrough und reiche einen NIC (I225-V) von zweien durch. Unter Memory ist "Ballooning Device" deaktiviert, da dies bei PCIe passthrough nicht empfohlen wird.
Aktuell habe ich den "Qemu Agent" deaktiviert und das Plugin auch deaktiviert und soweit läuft alles stabil und ich kann auch daily Backups Mode.: "Stop" durchführen.
Sobald aber der Qemu Agent aktiviert ist, bleibt die VM im BIOS, nachdem Backup hängen, auch beim Reboot über die Proxmoxoberfläche schafft sie keinen Shutdown und bleibt hängen.
Des Weiteren ist mir aufgefallen, dass der durchgereichte NIC nicht mehr vorhanden ist und den Proxmoxhost (Node) neustarten muss, damit dieser überhaupt für die VM zur Verfugung steht.
Hab eben paar Threads entdeckt wo welche Probleme mit dem Qemu Agent hatten und diesen nicht nutzen.
Habt ihr Tipps wo ich noch troubleshooting betreiben kann, warum der Qemu Agent die VM so instabil macht bzw. überhaupt nicht funktioniert?
Oder kann ich tz Backups per Snaphot machen ohne Qemu Agent?
Damit ich saubere Snapshots machen kann und auch der Shutdown sauber abläuft, habe ich den "Qemu Agent" aktiviert und das Plugin installiert und aktiviert.
Des Weiteren nutze ich PCIe passthrough und reiche einen NIC (I225-V) von zweien durch. Unter Memory ist "Ballooning Device" deaktiviert, da dies bei PCIe passthrough nicht empfohlen wird.
Aktuell habe ich den "Qemu Agent" deaktiviert und das Plugin auch deaktiviert und soweit läuft alles stabil und ich kann auch daily Backups Mode.: "Stop" durchführen.
Sobald aber der Qemu Agent aktiviert ist, bleibt die VM im BIOS, nachdem Backup hängen, auch beim Reboot über die Proxmoxoberfläche schafft sie keinen Shutdown und bleibt hängen.
Des Weiteren ist mir aufgefallen, dass der durchgereichte NIC nicht mehr vorhanden ist und den Proxmoxhost (Node) neustarten muss, damit dieser überhaupt für die VM zur Verfugung steht.
Hab eben paar Threads entdeckt wo welche Probleme mit dem Qemu Agent hatten und diesen nicht nutzen.
Habt ihr Tipps wo ich noch troubleshooting betreiben kann, warum der Qemu Agent die VM so instabil macht bzw. überhaupt nicht funktioniert?
Oder kann ich tz Backups per Snaphot machen ohne Qemu Agent?
Ein laufends VM Backup + aktueller Config-Export reicht mMn vollkommen aus im Homelab.
So oft fummelst du an dem Ding sowieso nicht rum.
Keep it simple ist immer King.
Die Config kannst dir jederzeit ausm laufendem Betrieb ziehen. Das muss reichen. Dann hast auch kein Heck-Meck wie mit deinem Vorhaben
So oft fummelst du an dem Ding sowieso nicht rum.
Keep it simple ist immer King.
Die Config kannst dir jederzeit ausm laufendem Betrieb ziehen. Das muss reichen. Dann hast auch kein Heck-Meck wie mit deinem Vorhaben
Wie schon im anderen Thread geschrieben, geht mir das auch so.
MPHxxxLegend
Experte
Quasi ZFS auf ZFS macht für mich wenig Sinn, wenn ich eben alles per NFS Share wegsichere
Gutes Argument, was ich so eh schon habe, dann werde ich auf Snapshots umstellen. aber tz den Qemu Agent weglassen, damit die VM zumindest im Falle des Falles wieder sauber hochkommt
Ich habe meine OPNSense auch von baremetal zu Proxmox weggezogen, vor etwas über einem Jahr.
Der QEMU-Agent macht hier z.B. keine Probleme, noch nie.
VM ist wie folgt aufgebaut, und hat auch zwei NICs per PCIe-Passthrough:
- QEMU-Agent aus dem offiziellen OPNSense-Repo
- tägliche Config-Backups auf Nextcloud
- tägliche Sicherung per Snapshot
Bei Restores etc. gab es da auch noch keine Probleme. Vielleicht ist das so für dich ja auch ein denkbarer Weg.
Der QEMU-Agent macht hier z.B. keine Probleme, noch nie.
VM ist wie folgt aufgebaut, und hat auch zwei NICs per PCIe-Passthrough:
- QEMU-Agent aus dem offiziellen OPNSense-Repo
- tägliche Config-Backups auf Nextcloud
- tägliche Sicherung per Snapshot
Bei Restores etc. gab es da auch noch keine Probleme. Vielleicht ist das so für dich ja auch ein denkbarer Weg.
MPHxxxLegend
Experte
Ich bekomme den Qemu Agent nicht zuverlässig zum Laufen. Jedesmal wenn die VM gestoppt wird, wird ab dem nächsten reboot das PCIe Pass THrough Device nicht mehr erkannt, solange der Host nicht neugestartet wird.
Und das passiert nicht, wenn der QEMU-Agent nicht installiert ist?
Ich habe das mit dem Backup über "Stop" eben auf meinem System nachgestellt - klappt einwandfrei. Ich vermute da klappt etwas mit dem ordnungsgemäßen Herunterfahren der VM nicht. Eventuell kommt es zu einem harten Kill, und dann wird die NIC nicht mehr korrekt an den Proxmox-Host zurückgegeben und ist somit blockiert. Was sagt denn das Backup-Log? Ausgabe von dmesg auf dem Host? Kannst du beim Herunterfahren mal auf der Console der VM mitschauen?
Ich habe das mit dem Backup über "Stop" eben auf meinem System nachgestellt - klappt einwandfrei. Ich vermute da klappt etwas mit dem ordnungsgemäßen Herunterfahren der VM nicht. Eventuell kommt es zu einem harten Kill, und dann wird die NIC nicht mehr korrekt an den Proxmox-Host zurückgegeben und ist somit blockiert. Was sagt denn das Backup-Log? Ausgabe von dmesg auf dem Host? Kannst du beim Herunterfahren mal auf der Console der VM mitschauen?
Code:
INFO: Starting Backup of VM 9999 (qemu)
INFO: Backup started at 2024-09-17 00:44:02
INFO: status = running
INFO: backup mode: stop
INFO: ionice priority: 7
INFO: VM Name: firewall
INFO: include disk 'scsi0' 'vg0-nvme:vm-9999-disk-2' 32G
INFO: include disk 'efidisk0' 'vg0-nvme:vm-9999-disk-0' 4M
INFO: include disk 'tpmstate0' 'vg0-nvme:vm-9999-disk-1' 4M
INFO: stopping virtual guest
INFO: creating vzdump archive '/mnt/pve/office-nvme-r5/dump/vzdump-qemu-9999-2024_09_17-00_44_02.vma.zst'
INFO: starting kvm to execute backup task
swtpm_setup: Not overwriting existing state file.
INFO: attaching TPM drive to QEMU for backup
INFO: started backup task '22fd1f89-2ecc-4967-86e2-291b7916af25'
INFO: resuming VM again after 47 seconds
INFO: 28% (9.2 GiB of 32.0 GiB) in 3s, read: 3.1 GiB/s, write: 317.2 MiB/s
INFO: 36% (11.7 GiB of 32.0 GiB) in 6s, read: 847.0 MiB/s, write: 846.7 MiB/s
INFO: 42% (13.8 GiB of 32.0 GiB) in 9s, read: 711.7 MiB/s, write: 711.5 MiB/s
INFO: 49% (16.0 GiB of 32.0 GiB) in 12s, read: 764.9 MiB/s, write: 764.1 MiB/s
INFO: 56% (18.2 GiB of 32.0 GiB) in 15s, read: 748.0 MiB/s, write: 747.5 MiB/s
INFO: 63% (20.4 GiB of 32.0 GiB) in 18s, read: 767.3 MiB/s, write: 767.3 MiB/s
INFO: 70% (22.5 GiB of 32.0 GiB) in 21s, read: 699.6 MiB/s, write: 699.3 MiB/s
INFO: 77% (24.6 GiB of 32.0 GiB) in 24s, read: 738.3 MiB/s, write: 738.2 MiB/s
INFO: 83% (26.8 GiB of 32.0 GiB) in 27s, read: 722.6 MiB/s, write: 722.0 MiB/s
INFO: 90% (29.1 GiB of 32.0 GiB) in 30s, read: 793.4 MiB/s, write: 792.7 MiB/s
INFO: 97% (31.2 GiB of 32.0 GiB) in 33s, read: 735.1 MiB/s, write: 735.0 MiB/s
INFO: 100% (32.0 GiB of 32.0 GiB) in 34s, read: 778.3 MiB/s, write: 531.7 MiB/s
INFO: backup is sparse: 8.51 GiB (26%) total zero data
INFO: transferred 32.00 GiB in 34 seconds (963.9 MiB/s)
INFO: archive file size: 15.24GB
INFO: adding notes to backup
INFO: Finished Backup of VM 9999 (00:01:24)
INFO: Backup finished at 2024-09-17 00:45:26
INFO: Backup job finished successfully
TASK OK