HW Entscheidungsfindung für OPNsense - Eigenbau oder APU?

[eehm]

Hallo,

nach langen hin und her und viel Testen auf meiner Server VM soll es nun eine Firewall/Router-Kombination auf Basis einer OPNsense werden.
Die Firewall möchte ich nicht dauerhaft virtualisieren und daher suche ich eine entsprechende HW.
Anforderung wäre etwa folgendes:

• mindestens 3 LAN-Ports (mind. 1 Gbit)
• Routing zwischen den Netzen möglich mit 1 Gbit
• 5 VLANs
• ca. 25 Teilnehmer

Ich denke eine APU wie z.B. die IPU450 könnte vielleicht passen.
Diese würde es sogar als 19" Version geben, dass man sie schön im Serverschrank verbauen könnte.

Aber was haltet ihr im Vergleich von diesen Boards als Eigenbau?

1. ASRock J4125-ITX - Intel Celeron J4125, 4C/4T, 2.00-2.70GHz, 4MB Cache, 10W TDP
2. ASRock J5040-ITX - Intel Pentium Silver J5040, 4C/4T, 2.00-3.20GHz, 4MB Cache, 10W TDP
   + in beiden Fällen eine entsprechende Quad-NIC-Karte inkl. Riser-Card

Wäre das der APU überlegen bzw. vorzuziehen oder würdet ihr auf die APU setzten? Oder vielleicht auf etwas ganz anderes?

19" ist allerdings keine Anforderung, wäre nur aufgeräumter. Ich kann die HW auch auf einen Fachboden stellen.

 

[Supaman]

Das hängt primär davon ab, wieviel Performance Du benötigst, "nur" Firewall ist in den Dimensionen sehr genügsam.
Etwas sportlicher wird es mit IDS etc - also wenn irgendwas mit Verscchlüsselung ins Spiel kommt.

Die in Frage kommenden Geräte(klassen) würde ich wie folgt sehen:
1) APU
2) Topton / Kingnovi etc Boxen von AliExpress mit Celeron i3 / i5 CPU und 4x oder 6x LAN
2a) oder die Protectli Büchsen, die sind aber unverhältnismäßig teuer
3) AsRock Rack / Supermicro Board mit 4x Lan Onboard oder Steckkarte

Der Preis/Leistungssieger ist in meinen Augen eine Topton Box mit N5105. Da hast Du für wenig Geld alles kompakt in einem Gehäuse.
Board + CPU + NT + Gehäuse ist eltwas flexiber, aber deutlich teurer.

Wenn die Basis Hardware potent genug ist, würde ich da Proxmox draufmachen und dann die FW weiter virtualisiert laufen lassen.
Weil: da kann man dann noch die eine oder andere Linux VM dazupacken für Docker, Unfi Controller, etc, ,
also alles was wenig Power benpötigt , sondern einfach nur "da" sein muss.


Oder Variante B:
Wenn sich die Komplexität der Firewall/Services in Grenzen hält:
OpenWRT auf kompatibler Router Hardware von der Stange.
Das GUI gewinnt zwar keinen Schönheitspreis, aber alle Funktionen sind da,
und das wird aufgrund der Verbreitung bis in die unendlichkeit supportet

 

[hs_warez]

Ich hab mir aus reinem Interesse/Tauschdrang eine TopTon/Kingnovy Box gekauft.
Im verlinkten Thread habe ich mal ein paar Verbrauchstest im Vorfeld gemacht - einsetzen werde ich die Box vermutlich ab morgen.


Meine Meinung:
Was ich bisher so gelesen/gesehen habe, wenn man die Anschaffungskosten mit der Leistung und dem Stromverbrauch "vergleicht", ist man ein paar Jahre lang trotzdem deutlich billiger/besser unterwegs, wenn man sich einen "normalen" stromsparenden PC besorgt und für OPNSense nutzt!

Seit einem Jahr habe ich einen Fujitsu D538 E94+ / i3-8100 (overkill - vorher war ein G5600 drin! Idle-Verbrauch blieb aber gleich.) / 8GB Ram / Intel 320 160GB SSD (lag herum) / Intel i350-T4 (3 Lan Schnittstellen aktiv) in Verwendung - läuft im Normalbetrieb mit 13-14 Watt.
Dieses Setup bekommt man ganz grob um € 130-150 und man hat ausreichend Leistung und "normale" Hardware, wo man Teile tauschen/erneuern kann.


Bei den China-Boxen muss man mit grob € 180-220 rechnen (außer Ram und Datenträger kann man da nix tauschen) - hat deutlich weniger Leistung (außer halt 2,5GBit) und verbraucht vermutlich (wird sich bei mir morgen rausstellen) so um die 9 Watt => wird vermutlich also auf 5 Watt Ersparnis rauslaufen...



Falls du doch "ordentlich" virtualisieren möchtest, einen Fujitsu TX1320 M3 Server mit Intel Gold CPU hat hier im Forum mal Jemand gemessen => sehr sparsam (glaube auch so um die 13 Watt!?) und man hätte auch ECC.


LG

 

[eehm]

Die in Frage kommenden Geräte(klassen) würde ich wie folgt sehen:
1) APU
2) Topton / Kingnovi etc Boxen von AliExpress mit Celeron i3 / i5 CPU und 4x oder 6x LAN
2a) oder die Protectli Büchsen, die sind aber unverhältnismäßig teuer
3) AsRock Rack / Supermicro Board mit 4x Lan Onboard oder Steckkarte

Die Boards von AsRock und Supermicro findest du nicht gut, weil sie dann zu teuer sind und zu wenig Leistung haben oder?
Vor allem Supermicro ist echt teuer .....!

Seit einem Jahr habe ich einen Fujitsu D538 E94+ / i3-8100 (overkill - vorher war ein G5600 drin! Idle-Verbrauch blieb aber gleich.) / 8GB Ram / Intel 320 160GB SSD (lag herum) / Intel i350-T4 (3 Lan Schnittstellen aktiv) in Verwendung - läuft im Normalbetrieb mit 13-14 Watt.

Wow das ist ja vom Verbrauch her auch sehr wenig.
Nutz du den dann immer noch mit dem normalen ATX-Netzteil oder hast du hier umgebaut?
Und ist nur der i3-8100 so sparsam oder sind alle i3 Prozessoren aus der 8xxx Reihe so effizient?

Falls du doch "ordentlich" virtualisieren möchtest, einen Fujitsu TX1320 M3 Server mit Intel Gold CPU hat hier im Forum mal Jemand gemessen => sehr sparsam (glaube auch so um die 13 Watt!?) und man hätte auch ECC.

Danke für den Hinweis, aber da ist kein Bedarf, weil ich schon zwei ESXi Server habe (Haupt- und Backup-Maschine)
Aber ich möchte die Firewall unbedingt unabhängig von den beiden Kisten haben!

 

[Supaman]

Die Boards von AsRock und Supermicro findest du nicht gut, weil sie dann zu teuer sind und zu wenig Leistung haben oder?
Vor allem Supermicro ist echt teuer .....!

Im Gegenteil, AsRock Rack und Supermicro finde ich sehr gut. Die Leistung bzw Leistungsreserve kann man über die CPU stufenlos skalieren. Aber wenn ich schon was selbst baue, dann nehme ich Boards mit IPMI und ECC. Jaaa... is etwas teuer, aber solche Setups laufen dann auch viele Jahre, da relativiert sich das. Oder wenn es preiswert sein soll, dann halt eine China Box.

 

[asche77]

Oder selber bauen mit Lenovo m720q / m920q + PCIe riser + NIC wenn es etwas mehr CPU power braucht. Kommt irgendwo bei 200-300 raus je nachdem.

(9400T + 16gb RAM + consumer nvme + ProxMox ohne VMs liegt bei ca 2W; mit i350-T4 und "ruhender" Opnsense-VM bei 5W; live geschaltet habe ich das noch nicht, da geht der Verbrauch sicher noch hoch)

 

[hs_warez]

Die Boards von AsRock und Supermicro findest du nicht gut, weil sie dann zu teuer sind und zu wenig Leistung haben oder?
Vor allem Supermicro ist echt teuer .....!


Wow das ist ja vom Verbrauch her auch sehr wenig.
Nutz du den dann immer noch mit dem normalen ATX-Netzteil oder hast du hier umgebaut?
Und ist nur der i3-8100 so sparsam oder sind alle i3 Prozessoren aus der 8xxx Reihe so effizient?


Danke für den Hinweis, aber da ist kein Bedarf, weil ich schon zwei ESXi Server habe (Haupt- und Backup-Maschine)
Aber ich möchte die Firewall unbedingt unabhängig von den beiden Kisten haben!

Der Fujitsu D538 lief mit dem originalen 94+ Netzteil.

Mit OPSense blieb der Verbrauch (bei gleicher leichter Netzwerklast) mit Intel G5600 und i3-8100 gleich.

Oder selber bauen mit Lenovo m720q / m920q + PCIe riser + NIC wenn es etwas mehr CPU power braucht. Kommt irgendwo bei 200-300 raus je nachdem.

(9400T + 16gb RAM + consumer nvme + ProxMox ohne VMs liegt bei ca 2W; mit i350-T4 und "ruhender" Opnsense-VM bei 5W; live geschaltet habe ich das noch nicht, da geht der Verbrauch sicher noch hoch)

Hm, die Werte können irgendwie nicht stimmen?!

Die i350-T4 braucht alleine schon um die 4 Watt.

 

[asche77]

Sind ca. Werte, da mit Tasmota Steckdose gemessen. Aber 2+4 watt wäre von den gemessenen 5w ja auf nur 1w entfernt.

Gerade mit einem KD-302 nachgemessen: headless und ohne traffic zwischen 6-7 W.

 

[hs_warez]

Sind ca. Werte, da mit Tasmota Steckdose gemessen. Aber 2+4 watt wäre von den gemessenen 5w ja auf nur 1w entfernt.

Gerade mit einem KD-302 nachgemessen: headless und ohne traffic zwischen 6-7 W.

Ja, das ist wirklich wenig.
Wie hast du das mit der NIC gelöst?
Sind ja die Tiny - hast du die Hardware in einem anderen Gehäuse verbaut?


LG


PS:
Habs gerade gefunden - statt des VGA-Adapters kann man eine low profile NIC "reinbasteln".

Ist wirklich eine sehr interessante Alternative - noch dazu völlig auf/umrüstbar (RAM, SSD, CPU) - hm ...

 

[Supaman]

Möglicher Nachteil - je nach persönlicher Sensibilität oder Aufstellort: nicht lautlos/passiv.

 

[asche77]

Ich habe Probleme mit der Kombination aus ProxMox, Open vswitch, OPNsense und Vodafone Cable bridge mode: Opnsense bekommt nicht immer eine WAN IP und ProxMox wirft immer eine Fehlermeldung auf der Konsole wenn ein Kabel ein- oder ausgestöpselt wird.

Was den Stromverbrauch angeht, schien dieser (als die Firewall Mal funktionierte) bei ca. 9-10W mit kaum Traffic zu pendeln. Mit traffic ging's dann natürlich hoch.

Ein paar Anmerkungen:
- integrierte NIC verhindert C-states, wenn sie mit Jumbo frames genutzt wird; die i350-T4 nicht.
- im aktiven firewall betrieb wurden nur noch C7 states und nicht mehr C10 wie bei ruhender VM erreicht.

Beitrag automatisch zusammengeführt: 29.01.2023

Möglicher Nachteil - je nach persönlicher Sensibilität oder Aufstellort: nicht lautlos/passiv.

Korrekt, wobei ich meinen tiny noch nicht einmal gehört habe. Im Normalfall scheint er sehr leise zu sein.

 

[hs_warez]

Oder selber bauen mit Lenovo m720q / m920q + PCIe riser + NIC wenn es etwas mehr CPU power braucht. Kommt irgendwo bei 200-300 raus je nachdem.

(9400T + 16gb RAM + consumer nvme + ProxMox ohne VMs liegt bei ca 2W; mit i350-T4 und "ruhender" Opnsense-VM bei 5W; live geschaltet habe ich das noch nicht, da geht der Verbrauch sicher noch hoch)

Hm, diese Verbrauchswerte faszinieren mich noch immer.

Hab vor einiger Zeit mal 2 Fujitsu S740 Thin Clients (J4105) gekauft und hab heute mal einen davon in Betrieb genommen.
Mein Messgerät zeigt im "Win 11 Pro idle Betrieb" immer konstant über 10 Watt an - da kann man ja einen "richtigen" PC auch schon nehmen.

Hast du einen M720q ev. auch mal mit Windows gemessen?


LG

 

[asche77]

Realer Verbrauch liegt höher.

Die ca 2W gelten für ProxMox ohne VM, wenn das System zu 90% in den hohen C-States hängt (C8-C10). Mit i350-T4 sind's dann schon eher 6W. Wenn man aus den hohen C-States rausfällt (zB Jumbo frames auf der integrierten NIC aktiviert) steigt der Verbrauch ebenfalls deutlich.

Bei ruhendem Desktop (Win10, GhostBSD) oder laufender Opnsense/ProxMox (ohne Last, mit durchgereichten NICs) landet man meine ich bei so um die 10W.

Ich messe gerne Mal nach bei Gelegenheit, Windows dann aber nur noch als live-PE-system. - done: m720q mit Pentium G5420T, 8GB RAM, 256GB NVME, nur onboard NIC, mit Monitor Tastatur und Maus angeschlossen und nichts im BIOS ausgeschaltet : ca 10.7W bei ruhendem Windows PE desktop, 9.7W bei ruhendem GhostBSD Desktop.

M720q mit i5 9400T 16GB 256GB nvme i350-T4, im BIOS möglichst alles ausgeschaltet, keine Tastatur Maus Monitor WLAN, ruhendes ESXi 8 mit opnsense, 3x passthrough NIC und 2 aktiven NICs (WAN passthrough und mgmt ProxMox): um die 9W ruhend.

Gemessen mit KD-302.

 

[hs_warez]

Heißt also, so "kleine" und angeblich sparsame CPU's (z.B. J4105, ....) machen eigentlich im "mehr oder weniger Leerlauf" null Sinn - haben eigentlich den gleichen Verbrauch wie eine richtig CPU.

Ein Fujitsu D538 SFF PC (G5600 oder auch i3-8100) hatte ich vorher als Firewall) läuft (ohne zusätzliche NIC) im Win 11 "Normalbetrieb" auch nicht stromhungriger als so ein kleiner ThinClient.
Hm, dann werde ich die beiden S740 wieder verkaufen und mir was "Richtiges" besorgen.

LG

 

[asche77]

Jupp. Denn Stromverbrauch ist nicht nur CPU, sondern auch Mainboard, NICS, Effizienz des Netzteils, etc.