Router (*sense) und Freifunk-Offloader virtualiseren: Mit was als Basis?

[ccgx]

Hallo,

ich bin derzeit in den letzten Vorbereitungen, meine Fritzbox durch einen Router auf Basis von pfSense oder OPNsense zu ersetzen. Dabei ist mir eingefallen, das ich durch Virtualisierung auch meinen Offloader für Freifunk auf die gleiche Hardware durch Virtualisierung bringen kann.
Da aber weder pfSense noch OPNsense nach meine Recherche die Möglichkeit bieten selbst VMs zu betreiben, müssen wohl beide Systeme in VMs gepackt werden.

Hierzu nun meine Frage: Welches System kann man hierfür empfehlen? Meist habe ich hier von ESX und Proxmox gelesen.
Ich möchte möglichst ein kostenloses System verwenden, Open Source wäre nice to have aber nicht zwingend.

 

[Opticum]

esx und proxmox ist beides möglich. Bei Freifunk-Offloader als VM musst du beachten das promiscious mode notwendig ist und mac adressfälschung erlaubt sein muss. Der technische Hintergrund ist die Art und Weise wie die Bridge angelegt wird meine ich mich zu erinnern. Ein Port auf WAN den anderen z.B. auf ein Freifunk vLAN.

 

[Vogelbecker]

korrekt.
Bei Gluon fällt für ESX direkt ein Image mit raus. Bei proxmox müsstest du dann das normale x86_64 image nehmen..,..

 

[Firebl]

Wenn du den opnsense/pfsense virtualisierst, benötigst du ja auch wieder ein Modem. Hier bietet sich das Vigor165 bei VDSL an. Habe ich auch in Verbindung mit einer virtualisierten opnsense am laufen.

 

[ccgx]

esx und proxmox ist beides möglich. Bei Freifunk-Offloader als VM musst du beachten das promiscious mode notwendig ist und mac adressfälschung erlaubt sein muss. Der technische Hintergrund ist die Art und Weise wie die Bridge angelegt wird meine ich mich zu erinnern. Ein Port auf WAN den anderen z.B. auf ein Freifunk vLAN.

korrekt.
Bei Gluon fällt für ESX direkt ein Image mit raus. Bei proxmox müsstest du dann das normale x86_64 image nehmen..,..

Das ist schon einmal gut zu wissen. Bei meiner Community scheint es aber leider nur das allgemeine x36_64-Image zu geben.

Wenn du den opnsense/pfsense virtualisierst, benötigst du ja auch wieder ein Modem. Hier bietet sich das Vigor165 bei VDSL an. Habe ich auch in Verbindung mit einer virtualisierten opnsense am laufen.

Modem habe ich zum Glück schon.

Leider habe ich immer noch keine Empfehlung, welches System "besser" wäre.

ESXi ist ja anscheinend kostenlos zu bekommen, aber keine Open Source. Aber man muss sich bei VMware registrieren zum runterladen?!

Proxmox basiert auf Debian und ist wohl Open Source. Durch die Basis aber wahrscheinlich weniger schlank als ESXi, oder?

Ich versuche gerade für mich Vor- und Nachteile herausfinden, vielleicht gibt es ja sonst noch Input. Oder Erfahrungen von Leuten, die ähnliche Setups schon am laufen haben?

 

[Crusha]

Ich habe das gleiche Vorhaben wie du und nutze / richte mir derzeit über Proxmox dies alles ein. Proxmox hatte bei der Wahl überwiegend mehr Vorteile gehabt als andere, meiner Meinung nach.

 

[ccgx]

Ich habe das gleiche Vorhaben wie du und nutze / richte mir derzeit über Proxmox dies alles ein. Proxmox hatte bei der Wahl überwiegend mehr Vorteile gehabt als andere, meiner Meinung nach.

Was hattest du noch so in Erwägung gezogen? Und wo waren für dich die Vorteile gegenüber den Alternativen?

 

[asche77]

ESXi ist ja anscheinend kostenlos zu bekommen, aber keine Open Source. Aber man muss sich bei VMware registrieren zum runterladen?!

Korrekt.

Proxmox basiert auf Debian und ist wohl Open Source. Durch die Basis aber wahrscheinlich weniger schlank als ESXi, oder?

Korrekt. Unterschied in Deiner Praxis vermutlich sehr gering.

Oder Erfahrungen von Leuten, die ähnliche Setups schon am laufen haben?

pfsense auf ESXi ist ein Klassiker und läuft.

So oder so kommt es (angeblich) vor allem auf gute Netzwerkkarten an (Intel, kein Broadcom/Realtek).

 

[Ceiber3]

Broadcom/Realtek funktionieren doch auch bei PF/Opensense ? Also ich habe früher mal eine Bare Metal gebaut gehabt mit Realtek Lan Karte und hatte keine Probleme.
Warum eigentlich die PFsense virtualisieren ? Die läuft doch auch sehr kleine günstige Hardware. Hat man da nicht nachteile ohne AES-NI usw in der VM ? Wie gesagt, mir ist das nichts so was zu virtualisieren, habe ich nur einige mal um schnell was zu testen gemacht. Fällt der Hypervisor aus, ist alles tod im Netzwerk, jedenfalls bei DHCP.

 

[Firebl]

Fällt der Hypervisor aus, ist alles tod im Netzwerk, jedenfalls bei DHCP.

Der fällt aber nur aus, wenn der Admin meint daran herum zu spielen Hier kann ich aus Erfahrung reden.

@TE Ich denke opnsense und pfsense laufen auf jedem hypervisor, da brauchst du dir keine Gedanken zu machen. Bei mir wird der opnsense auf HyperV betrieben.

 

[ccgx]

[…]
So oder so kommt es (angeblich) vor allem auf gute Netzwerkkarten an (Intel, kein Broadcom/Realtek).

Ich habe mich ja schon in einen anderen Thread bezüglich Hardware informiert und hole mir was mit Intel NIC, nur um sicher gehen zu können.

[…]
Warum eigentlich die PFsense virtualisieren ? Die läuft doch auch sehr kleine günstige Hardware. […]

In meinen Fall einfach um eine andere Hardware einsparen zu können. Jedes Gerät was nicht rumsteht kann auch meine Frau nicht stören (;

Der fällt aber nur aus, wenn der Admin meint daran herum zu spielen Hier kann ich aus Erfahrung reden.

@TE Ich denke opnsense und pfsense laufen auf jedem hypervisor, da brauchst du dir keine Gedanken zu machen. Bei mir wird der opnsense auf HyperV betrieben.

Klar, dass das läuft steht außer Frage. Ich glaube dann muss ich einfach etwas herumspielen mit verschiedenen Kombinationen und mir die raussuchen mit der ich am besten zurechtkomme.
Vielen Dank für den Input an alle

 

[sch4kal]

Ich habe mich ja schon in einen anderen Thread bezüglich Hardware informiert und hole mir was mit Intel NIC, nur um sicher gehen zu können.


In meinen Fall einfach um eine andere Hardware einsparen zu können. Jedes Gerät was nicht rumsteht kann auch meine Frau nicht stören (;



Klar, dass das läuft steht außer Frage. Ich glaube dann muss ich einfach etwas herumspielen mit verschiedenen Kombinationen und mir die raussuchen mit der ich am besten zurechtkomme.
Vielen Dank für den Input an alle

Eine APU oder ein kleiner QOTOM hat keine Lüfter, daher auch ein höherer WAF

 

[Opticum]

Ich habe bei virtualisierten Firewalls (in diesem Fall die OPNSense) die Erfahrung gemacht, dass man bei höheren Bandbreiten ab 200Mbit/s bereits Probleme mit dem Interrupt % IO Anteil in den VMs bekommen kann. Auf derselben Hardware (cpu 5250u und 16gb ram) war virtualisiert bei 400Mbit/s ca. 50-60% Interrupt CPU belegt, auf bare-metal 0-1%. Ich habe aufgrund von Zeitmangel aktuell leider nicht rausbekommen können, wie man das Problem beheben kann. Zumindest wurde der ganze VM Host massiv ausgebremst.

 

[asche77]

Ich habe bei virtualisierten Firewalls ... die Erfahrung gemacht, dass man ... Probleme mit dem Interrupt % IO Anteil in den VMs bekommen kann.

- welcher Virtualisierer?
- Realtek als physische Netzwerkkarte?
- Eine ineffiziente virtuelle Netzwerkkarte?
- evtl IDS/IPS/anderen Service noch mit eingeschaltet, der Probleme macht (zB geht netmap wohl nicht mit VMXnet3)?

 

[Opticum]

@asche77: esxi, intel, virtio, keine services mit eingeschaltet. Bei einem anderen Host (xeon 1230v2) dasselbe Problem, allerdings abgefangen durch die Mehrleistung.

 

[ccgx]

Wie schaut es eigentlich bezüglich Upgrades aus? Sind diese einfach und schnell durchführbar? Bei Proxmox wegen Debian brauchen die ja schon nen moment, nur bei ESXi wüsste ich gerne mal wie viel Zeit man für ein Upgrade brauchen würde und ob das relativ problemlos möglich ist. Hat jemand Erfahrungswerte?

 

[martingo]

Ähm, was? Bei Proxmox wegen Debian brauchen die schon einen Moment? Was meinst Du damit?

 

[ccgx]

Ähm, was? Bei Proxmox wegen Debian brauchen die schon einen Moment? Was meinst Du damit?

Meine damit das ein apt dist-upgrade nicht mal in 5 Minuten durchläuft, sondern schon ne weile braucht, bis alles installiert ist und man neustarten kann zum Abschluss.
Es gibt ja Systeme da ist das Upgrade nach 5 Minuten inkl. Neustart fertig (auch wenn mir spontan kein Beispiel einfällt)

 

[martingo]

Also ein dist-upgrade macht man nur wenn man weiß was man tut und ist in der Regel auch nur nötig, wenn man die Major Version wechselt. Also z.B. von Stretch auf Buster aka PVE5 auf PVE6. Das passiert ca alle zwei Jahre mal und erfordert in der Regel auch etwas Vorarbeit.

Wenn ein Upgrade 5min läuft? Who cares? Ein abschließender Reboot macht mnir bei einer neuen Kernel Version Sinn und dann auch nur, wenn es irgendwelche kritischen Sicherheitslücken gibt und ggf. das System nach außen hin erreichbar ist.
Wie lange es genau dauert, hängt von der Hardware und vor allem der Anzahl der zu aktualisierenden Pakete ab.
Ich bin ohnehin dazu übergegangen, jede Nacht alle "normalen" Upgrades per cron-apt einzuspielen. Kann mal ein Problem verursachen, wenn ein Paket fehlerhaft ist. Ist mir in fünf Jahren aber noch nie passiert. Und zu 99% würde es auch beim manuellen Upgrade passieren, weil sich ohnehin niemand das Changelog jedes einzelnen Pakets ansieht.
Und auf jeden Fall besser, als alle paar Wochen Mal Updates zu installieren.

 

[ccgx]

Also ein dist-upgrade macht man nur wenn man weiß was man tut und ist in der Regel auch nur nötig, wenn man die Major Version wechselt. Also z.B. von Stretch auf Buster aka PVE5 auf PVE6. Das passiert ca alle zwei Jahre mal und erfordert in der Regel auch etwas Vorarbeit.

Wenn ein Upgrade 5min läuft? Who cares? Ein abschließender Reboot macht mnir bei einer neuen Kernel Version Sinn und dann auch nur, wenn es irgendwelche kritischen Sicherheitslücken gibt und ggf. das System nach außen hin erreichbar ist.
Wie lange es genau dauert, hängt von der Hardware und vor allem der Anzahl der zu aktualisierenden Pakete ab.
Ich bin ohnehin dazu übergegangen, jede Nacht alle "normalen" Upgrades per cron-apt einzuspielen. Kann mal ein Problem verursachen, wenn ein Paket fehlerhaft ist. Ist mir in fünf Jahren aber noch nie passiert. Und zu 99% würde es auch beim manuellen Upgrade passieren, weil sich ohnehin niemand das Changelog jedes einzelnen Pakets ansieht.
Und auf jeden Fall besser, als alle paar Wochen Mal Updates zu installieren.

Bei meinen Debian-Servern laufen die Sicherheitsupdates auch vollautomatisch, alles andere kommt zumindest als Info per E-Mail. Von daher kann ich mir schon vorstellen wie das bei Proxmox laufen wird.

Hätte gerne noch Erfahrungswerte bezüglich ESXi, habe zwar einige Anleitungen finden können, aber nicht wirklich den zeitlichen Aufwand und ob es in der Regel relativ problemlos klappt.

 

[martingo]

Ich habe meinen ML350 von 6.5u2 auf 6.7u3 aktualisiert. Downtime ca. eine Stunde. VMs und Host herunterfahren, von dem neuen ISO booten, die gesamte Upgrade-Installation abwarten, booten, alle VMs wieder starten.
Wie es bei Minor Fixes ist, kann ich nicht sagen.

 

[niklasschaefer]

Bei Esxi werden Critical Updates meist ohne Neustart eingespielt. Der Host sollte aber trotzdem in den Maintance Mode ist zumindest Best practise seiten Vmware. Ich handhabe es bei mir so -> laufende VM´s des zu bespielenden Host auf anderen Server geschoben. Maintance Mode einschalten und per Vcenter dann einspielen. Reboot dauert hier auch keine 5 Minuten dafür die Update Installataion je nach Datenträger mal 5Minuten.