*Sense, OpenWRT x86 oder doch was fertiges!?

[SixKiller]

Hallo Server Gemeinde,

bräuchte mal euren Rat/Tipps ob was ich mir so ausmale auch realistisch ist.

Mein Server besteht im großen und ganzen aus einem E-2176G, 32GB ECC, 6HDDs und 3 SSDs.

Eine SSD ist als Boot per USB3.2 Gen 2 (10Gbit angebunden), die 2 anderen SSD (einmal Cache für RAID-Z2 und einmal Pool für Anwendungen und VMs) sind wie die 6HDDS auch per SATA angebunden (alle 8 internen Ports belegt)
Auf dem Server läuft Truenas 12 und ne kleine Linux VM zum Testen und vertiefen von bisschen Linuxkram. Im Großen und ganzen Idled das Ding eigentlich die ganze Zeit vor sich hin und macht nicht wirklich was.

Nun wäre also die Frage ob ich auf dem Ding also noch ne *sense laufen lasse (OPN oder PF bin ich noch nicht sicher) und im Zuge dessen wollte ich auch gleich auf 10G umstellen. Mein Glasfaser Modem hat einen 2,5G Port, also wäre es gut, wenn ich in der Sense auch einen 2,5G Port als WAN einrichten könnte?! Da das meine 10Gbit Ports des USB3.2 locker schaffen würden, dachte ich an eine externe Lösung um nicht einen PCIe Platz zu brauchen. Die BootSSD von TrueNAS kann ich auch per USB3.2 Gen 1 (5Gbit) anschliessen, sodass ich den ganzen USB3.2 Gen2 Controller an eine VM weiterreichen könnte. So wie ich das bisher sehe sind alle externen USB Lösungen mir mehr als 1G auf Marvell/Aquantia basiert. Läuft das ordentlich?

Als zusätzliche Ports würde ich eine X550-T2 einbauen. Kann man die Karte teilen und an seperate VMs schicken? Also ein Port als 10G Link von *sense zum Switch und ein Port als Link vom Switch zu Truenas wieder zurück?

Zusätzlich bräuchte in dann noch einen AP mit WIFI6 und 2.5G Port. Einen 1G Port macht bei WIFI6 ja wenig sinn, oder sehe ich das falsch? Alternativ könnte ich auch erstmal meine FB 7590 als AP weiter nutzen, obwohl PS5, Handy und auch Laptop alle WIFI6 haben.

Bin ich soweit richtig, oder meint ihr ich liege hier noch falsch bei etwas? Leistung von CPU würde reichen denke ich , zumal Truenas ja nicht wirklich viel braucht meistens. Mehr RAM wäre kein Problem, habe nur 2 von 4 belegt, da würde noch was gehen. Ansonsten muss auch die *sense nicht viel Leisten, hier und da mal nen VPN anschmeissen und ansonsten halt tun, was ein Router/Firewall nun mal so tut

Kann natürlich auch sein, dass ich einfach was fertiges nehmen sollte? Es gibt halt nur 3 Router am Markt mit 2 oder mehr MultiGIG WAN/LAN Ports und WIFI 6( Asus AX89X, QNAP Qhora 301w und Zyxel Armor G5) die mich aber alle nicht so richtig überzeugen. Wenn ich schon nochmal bissel Geld für 10G in die Hand nehmen sollte, wollte ich es dann auch gleich ordenntlich machen
Und da der Server eh schon da ist und eh läuft, dachte ich eben an *sense oder evtl OpenWRT x86.

Bin für Ratschläge und Tipps offen und würde mich über Beteiligung freuen

 

[smoothwater]

Hi.
Also zu allererst: TrueNAS und Aquantia mögen sich nicht. Da wurden zwar Treiber angekündigt und mit Gefrickel bekommt man das auch hin, aber wirklich Spaß macht das nicht. Daher fällt die Option mit extern über USB auch raus. Du kannst aber durchaus mit der X550-T2 mehrere VMs beglücken. Mit etwas bhyve-Bastelei und VLAN sogar die *sense mit nur einem Port nutzen. Prinzipiell kannst du allen VMs die selbe Netzwerkkarte zuweisen.
Wenn du sowieso einen separaten Switch nutzt, stellt sich die Frage, warum du das per 2,5GBase-T am Router anschließen willst. Knackpunkt ist ja die Bandbreite deines Tarifs. Andernfalls sollte die x550 auch auf 2,5 GBit/s runter schalten, wenn die 10 GBit/s nicht aushandelbar sind und dein Tarif 2,5 GBit/s bereitstellen kann.

WLAN hat eine Netto- und eine Brutto-Bandbreite. Die Angaben auf dem AccessPoint sind die höchstmögliche, theoretische Bandbreite mit optimaler Antennenanzahl und -ausrichtung. Am Ende liegt der reale Wert deutlich darunter und kommt seltenst an die 1 GBit/s ran.

Ich würde die Entscheidung davon abhängig machen, was überhaupt an Periferie und Internetanschluss vorhanden ist.
Pfsense ist nicht unbedingt für über 1GBit/s Internetanschluss optimiert. Da gibt es von Netgate noch ein anderes Betriebssystem.
OpenWRT, DDWRT und IPfire sind mir persönlich schlicht zu eingeschränkt und die Menüs zu altbacken. Für einfache Sachen mit wenig Anspruch aber ne interessante Sache für eventuell vorhandene Router.

Persönlich benutze ich OPNsense in der Firma und neuerdings eine UDM Pro von Ubiquiti (davor eine USG 3P). Hier aber jeweils das UniFi-Universum, also Access Points, Switches und Kameras. Da hier zwei 10 GBit-Ports vorhanden sind (WAN und LAN), kein Problem.

Aber du scheinst noch etwas mit All-in-One als Router zu hadern. Da ist die Auswahl tatsächlich recht dünn.

 

[mbrhwl]

Ich bin gerade erst von einem E3 1270 v3 mit OPNsense auf einen MikroTik RB4011 gewechselt.

Meine Gründe waren,

• dass ich mit 10Gbe Karten beim OPNsense mit einer iperf3 session nie über 2/3 Gbe gekommen bin. (bei BSD richtet sich das wohl grob gesagt nach den GHz deiner CPU, mit mehreren streams wird es ggf. über mehrere cores verteilt, mit einem nicht)
• Außerdem hat der Server ca. 60 Watt verbraten, der MikroTik braucht etwas um die 10 W +/-
  • Aber das sollte bei Dir, da er ja eh an ist, nicht so ins Gewicht fallen.
• der RB4011 hat einen SFP+ port und sollte mehr Durchsatz mit einer iperf3 session beim routen leisten können als mein OPNsense

Bedenke, dass wenn du alles auf einem Rechner laufen hast alles tendenziell anfälliger wird.

Edit: Für dein Szenario würde wohl etwas mit zwei SFP+ Ports mehr Sinn machen, da wirds dann aber teurer, der CCR2004-1G-12S+2XS zum Beispiel hat 12 SFP+ Ports und ist ein Router (der UDM Pro und der CCR sind ziemlich ähnlich vom Preis, der CCR hat aber noch zwei 25G Ports dabei, und bei 12 SFP+ Ports brauchst du ggf. nicht extra noch einen 10G Switch kaufen). Wifi mach ich meist eher lieber separat.

 

[Uhrzeit]

Meine Gründe waren,

• dass ich mit 10Gbe Karten beim OPNsense mit einer iperf3 session nie über 2/3 Gbe gekommen bin.

Meinst du jetzt 2/3 von 10Gb oder wirklich 2/3 von Gb (also, von einem Gb)?

 

[mbrhwl]

Meinst du jetzt 2/3 von 10Gb oder wirklich 2/3 von Gb (also, von einem Gb)?

Zwischen zwei und drei G

 

[Uhrzeit]

Ah so. Du meintest 2-3 Gbit ok .
Aus der Auflistung werd ich aber noch nicht so schlau. Soll der RB4011 schneller sein als ein E3-1270v3? Oder liegts wie anschliessend begründet, an SFP+? Ich fahr die 2.4 pfSense mit einem E3-1220Lv2 (R210II) über 1Gbit und hab erstmal das Gefühl, da würde über 2.5Gbit noch was gehen. Hmm... Oder meinst du explizit VPN?

Aber ok. Was nur fehlt ist wie der MikroTik sich da jetzt beim Durchsatz macht

 

[mbrhwl]

Ja, ich gehe davon aus, dass der RB4011 schneller beim Routen ist als mein R3 1270 v3 war, zumindest mit OPNsense.

Der SFP+ erlaubt es dem RB4011 über 1G Routen zu können, ich habe mein LAN dort angeschlossen, gehe ich von einem VLAN zum nächsten wird der RB4011 verwendet und es können dort theoretisch 10G geroutet werden.

In dem inter VLAN routing Szenario bin ich mit OPNsense nie an 3Gbit gekommen mit einer iperf3 session. (wenn du mehrere nimmst kommen mehrere cores zum Zuge)

Der finale test steht noch aus für das inter VLAN routing bei mir lokal mit dem RB4011, ich warte noch auf die 10Gbit Karte für meinen Desktop.

Es würde mich wundern wenn du eine der *sense firewalls über 3Gbit zum routen bekommst. Aber du kannst es einfach probieren mit iperf3.

Oder meinst du explizit VPN?

Ohne VPN...

Aber ok. Was nur fehlt ist wie der MikroTik sich da jetzt beim Durchsatz macht

Sobald mein Test Setup steht schreib ichs, die Technischen Daten zeigen, dass es möglich sein sollte.

 

[Uhrzeit]

Ich bin auf die folgenden Berichte selbstverständlich sehr gespant
Das Gefühl es könnte mehr als 1Gbit stellt sich zwar schnell ein, damit ist aber nicht gesagt, daß es 2.5Gbit auslasten könnte.

Ich bin eh in der komfortablen Situation, daß ich unser... Haushalt zwar nah des Toplevels bringen soll, aber nur was die Methodik angeht. Nicht was die Leistung angeht
Es ist zum Glück mehr oder weniger ein gewöhnliches Haushalt wo auch keiner 4k über ein Storage editiert oder sowas. 25Mbit nach draußen mit all den Vorzügen der *Sense brachten genauso alle Augen zum Leuchten wie ein sauberes, schnelles WLAN in jeder Ecke, saubere 100MB/s an jeder LAN-Dose und saubere getrennte wie auch gemeinsame Speicherlösungen im Heimnetwerk.

Das macht es ungleich entspannter und die Aufgabe auch spürbar weniger kostenintensiv.

 

[mbrhwl]

Klar, 10Gbit im Heimnetzwerk ist wohl in der Regel nicht unbedingt erforderlich und ich denke wenn du die 2.5Gbit zum WAN hast ist das eh schon überdurchschnittlich. Das sollte ein OPNsense auf so einem E3 auch gut realisieren können.