OPNsense fit machen für 10gbps

[mbrhwl]

Ich würde gerne meine OPNsense für 10 gbps fit machen und habe schon das ganze Wochenende probiert, mit der folgenden Hardware die ich zur Verfügung habe:

Supermicro X10SLM-F mit Xeon E3 1281 V3
16 GB RAM

Chelsio N320e
Mellanox ConnectX 3
Intel X520-DA2
Intel X540-T2

Das Internet kommt via RJ45 mit 10 gbps in die Intel X540-T2 rein. Dann geht es über eine Karte mit SFP+ / DAC in den CRS317 Switch.

Die X540 habe ich im PCIe 3.0 x8 Slot im x16 Gewand Slot untergebracht und die Chelsio / Mellanox / Intel habe ich alle im x4 im x8 Gewand Slot getestet.

Von den 10 gbps bin ich immer relativ weit entfernt mit iperf3 P20 bekomme ich zwischen zwei Subnets so ca 3 - 5 gbps hin je Richtung. (Die CPU Last geht dann recht hoch)

Ich frage mich nun wo mein bottleneck ist.

- CPU? beim routen zwischen den subnets sicher ein limitierender Faktor ...
- Netzwerkkarte? Macht es Sinn eine weniger antiquierte Karte zu nehmen z.B. Chelsio T520 oder intel X550 die ggf. mehr in der Hardware machen kann?
- PCIe lanes? Würde ich einen Vorteil haben wenn ich alles auf einen E5 2667 v2 bringen würde zum Beispiel mit mehr PCIe Lanes?

Tuning mässig habe ich bereits an ein paar Schrauben gedreht (mbufs etc) aber finde da auch nicht mehr viel zusätzliches.

Welche der 3 Karten würdet ihr nehmen? Ich habe das Gefühl die Chelsio N320 ging noch am besten.

Habt ihr ggf. noch eine Idee was ich probieren kann? (Das ganz ist eher ein experimentier Projekt, die vollen 10 gbps brauch ich wohl letzten Endes eh nicht, aber ich habe wieder einiges dabei gelernt)

 

[Speeddeamon]

Warum nicht einfach eine Broadcom mit aktuellem Chip? Die kann man gut bezahlen.
Diese Intelbüchsen sind doch gefühlt aus dem letzten Jahrtausend.
Aber die halten sich hier überall hartnäckig. Verstehe ich nicht.
Und Mellanox ist meiner Meinung nach schon wieder mit Kanonen auf spatzen.

 

[mbrhwl]

Was würde sich da anbieten? Eine BCM57810S?

 

[Speeddeamon]

Ich dachte da Spontan an so was:

Broadcom NetXtreme E-Series P225P LAN-Adapter ab € 195,63 (2024) | Preisvergleich Geizhals Deutschland

✔ Preisvergleich für Broadcom NetXtreme E-Series P225P LAN-Adapter ✔ Produktinfo ⇒ Typ: LAN-Adapter • Bauform: 1x PCIe-Karte (wechselbare Blende: full height im Lieferumfang, low profile B… ✔ Adapter & Hubs ✔ Testberichte ✔ Günstig kaufen

geizhals.de

Beitrag automatisch zusammengeführt: 20.03.2023

Habe so eine in meiner Sense.
Ist ein etwas älterer Dell Optiplex Midi Tower.
Mit irgendeiner alten Intel CPU und 16Gb RAM.

Die Interfaces als LAG für alle internen Netze und da ist der volle bums drauf.

Schiebe öfter mal große vids durch die gegend.
Geht rattig schnell. Genaue werte kann ich dir jetzt jedoch nicht nennen.

 

[sch4kal]

Vergiss es, hier limitiert nicht deine Hardware, sondern die Software.
Mit bissl Glück läuft das mit 10G: https://vyos.io/
Andernfalls: https://www.netgate.com/tnsr

Beitrag automatisch zusammengeführt: 20.03.2023

Wenns nur fürs Heimnetz sein soll, würde ich mir ein Redesign deines Netzes überlegen.
Such einen passenden Enterprise Switch, der routet dir zwischen den Subnetzen mit Linespeed.
Zugriffe beschränkt man da halt dann via ACLs auf dem Switch. Richtung Router geht dann die Defaultroute ins Internet, da kann man den auch passend dazu auslegen.

 

[mbrhwl]

Such einen passenden Enterprise Switch, der routet dir zwischen den Subnetzen mit Linespeed.
Zugriffe beschränkt man da halt dann via ACLs auf dem Switch. Richtung Router geht dann die Defaultroute ins Internet, da kann man den auch passend dazu auslegen.

In die Richtung habe ich auch schon gedacht. Ich habe mehrere CRS switches von mikrotik die an sich neu auch L3 ab RouterOS 7 können sollten.

Dann würde ich DHCP und Subnetze auf einen Switch ziehen.

Aber dann verliere ich das einfache Management über OPNsense..... und die komfortablen firewal Regeln....

Port Weiterleitungen werden wohl was schwieriger....

Ich hab das mal mit einem alten Brocade L3 switch aufgezogen, aber der hat mir dann zu viel Strom verbraucht.....

Das sind mir fast schon zu viele Kompromisse.

Beitrag automatisch zusammengeführt: 20.03.2023

Die Interfaces als LAG für alle internen Netze und da ist der volle bums drauf.

Schiebe öfter mal große vids durch die gegend.

Was verwendest du für einen Router? Bzw. welche Software?