Extreme Leistungs-Drosselung durch die Firewall

[hschopp]

Hallo Com!

Ich bin seit Neustem auch OPNsense User und war bis gestern noch total begeistert
Installiert - Interfaces eingerichtet - läuft!

ClamAV, C-ICAP, Proxy Plugin (transparent) installiert/aktiviert. Soweit alles prima.

Allerdings habe ich nun festgestellt, dass hinter der OPNsense von meiner Internetleitung nur noch 1/4 an Datendurchsatz ankommt. Ich habe einen 400Mbit/s Unitymedia Anschluss.
Messe ich auf http://breitbandmessung.de
-> direkt hinter der FritzBox komme ich auf eine Downloadgeschwindigkeit von 433MBit/s
-> hinter der OPNsense nur noch 58MBit/s.

Ich habe zum Test AV und Proxy - sowohl einzeln, als auch in Kombi deaktiviert und wieder aktiviert. Die Messergebnisse bleiben gleich.

Meine OPNsense (19.1.3-amd64) läuft auf einem APU.4C4 Board. Im Dashboard-Graph zeigt die CPU kaum Ausschläge, die Auslastung des Arbeitsspeichers liegt ziemlich stabil bei 33%.

Ich weiß nicht, wo ich ansetzen könnte - habt ihr eine Idee, wo das Problem liegen könnte?

Vielen Dank
Henning

[superwinni2]

Mal probiert ClamAV, C-ICAP, Poxy zu "umgehen" oder auszuschalten und dann nochmals zu testen?
Nicht das hier der Flaschenhals liegt?
Sozusagen erst nur die reine Firewallfunktion "benchmarken" dann zum beispiel ClamAV dazuschalten wieder testen und so weiter...

[hschopp]

Naja, genau das hatte ich mit meinem Mittelteil-Satz gemeint. War wohl blöd formuliert.
Also Plugins alle deaktiviert - Geschwindigkeit trotzdem 58MBit/s
Wieder aktivert - keine Änderungen.
Es bleibt hinter der Firewall bei den knapp 60MBit/s.

[superwinni2]

Andere Idee...
Speedtest auch mal mit was anderem ausser dem Spionagetool breitbandmessung.de gemacht?
Mal als iperf3 test? https://iperf.fr/


zu schnell abgeschickt...
Auf was läuft deine OPNsense? Hardwaredaten etc.

Ansosnten kannst auch bei deiner Fritzbox mal den standart iperf (nicht iperf3!) server starten und mal ne messung bis zur fritzbox durchführen... Vielleicht findet man so den Fehler...

[hschopp]

Hier die iperf Mess-Ergebnisse:

Server auf der FritzBox-Seite der OPNsense

C:\Users\hscho\Downloads\iperf-3.1.3-win64>iperf3.exe -c 192.168.178.21
Connecting to host 192.168.178.21, port 5201
[  4] local 172.16.0.15 port 54355 connected to 192.168.178.21 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec  5.88 MBytes  49.3 Mbits/sec
[  4]   1.00-2.00   sec  6.12 MBytes  51.3 Mbits/sec
[  4]   2.00-3.00   sec  6.25 MBytes  52.5 Mbits/sec
[  4]   3.00-4.00   sec  6.00 MBytes  50.4 Mbits/sec
[  4]   4.00-5.00   sec  6.12 MBytes  51.4 Mbits/sec
[  4]   5.00-6.00   sec  5.62 MBytes  47.1 Mbits/sec
[  4]   6.00-7.00   sec  5.38 MBytes  45.1 Mbits/sec
[  4]   7.00-8.00   sec  6.12 MBytes  51.4 Mbits/sec
[  4]   8.00-9.00   sec  6.12 MBytes  51.4 Mbits/sec
[  4]   9.00-10.00  sec  6.00 MBytes  50.2 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  59.6 MBytes  50.0 Mbits/sec                  sender
[  4]   0.00-10.00  sec  59.6 MBytes  50.0 Mbits/sec                  receiver

iperf Done.

Server auf der LAN-Seite der OPNsense

C:\Users\hscho\Downloads\iperf-3.1.3-win64>iperf3.exe -c 172.16.0.40
Connecting to host 172.16.0.40, port 5201
[  4] local 172.16.0.15 port 54366 connected to 172.16.0.40 port 5201
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec   109 MBytes   912 Mbits/sec
[  4]   1.00-2.00   sec   108 MBytes   906 Mbits/sec
[  4]   2.00-3.00   sec   109 MBytes   918 Mbits/sec
[  4]   3.00-4.00   sec   110 MBytes   921 Mbits/sec
[  4]   4.00-5.00   sec   110 MBytes   919 Mbits/sec
[  4]   5.00-6.00   sec   110 MBytes   921 Mbits/sec
[  4]   6.00-7.00   sec   110 MBytes   921 Mbits/sec
[  4]   7.00-8.00   sec   110 MBytes   922 Mbits/sec
[  4]   8.00-9.00   sec   110 MBytes   922 Mbits/sec
[  4]   9.00-10.00  sec   110 MBytes   921 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  1.07 GBytes   918 Mbits/sec                  sender
[  4]   0.00-10.00  sec  1.07 GBytes   918 Mbits/sec                  receiver

iperf Done.

[tila]

Ich habe meine OPNsense am Wochenende in Betrieb genommen.

Dabei hatte ich ebenfalls einige Probleme den Datendurchsatz meines UM 400Mbit/s Anschlusses (IPv4 only) zu erreichen.

Folgende Einstellungen habe ich vorgenommen:

1.) System > Settings > General > Prefer IPv4 over IPv6 aktiviert

-> Dadurch werden IPv6 Pakete durch DNS-Anfragen der lokalen Geräte nachrangig behandelt bzw. die lokalen Geräte wissen, dass sie direkt IPv4-DNS-Anfragen stellen müssen.

2.) Services > Unbound DNS > Enable Forwarding Mode  aktiviert

-> DNS-Anfragen, die von (bei aktiviertem) Unbound DNS noch nicht gecached sind, werden an die unter System > Settings > General gesetzten DNS-Server gesendet, in meinem Falle an die von Unitymedia. Die sind am nächsten dran und somit schneller. Ist das Häkchen nicht gesetzt, werden die DNS-Anfragen an die Root-Server geschickt, die meistens im Ausland stehen und damit länger brauchen.

3.) Services > Unbound DNS > Outgoing Network Interfaces auf WAN gestellt

-> Sollte man, wie ich, vorher bereits einen anderen Router/WLAN-Controller nun ebenfalls im lokalen Netz haben, der bisher die DNS-Anfragen entgegen genommen hat, bestenfalls diesen DNS-Server deaktivieren (beim Zyxel NXC2500 geht das leider nicht! ) oder eben hier auf das WAN-Interface eingrenzen. Sonst fragt Unbound DNS auch dort an und wartet eventuell bis zu einem Timeout, weil der Router nun wiederum Unbound der Firewall befragt.

[chemlud]

Ick habe hier 2 Gigabit Intel interfaces in ein und der selben Box, da bekomme ich nur 180 KiB/s zwischen hin, während aus einem dieser Interfaces ein openVPN tunnel an einer mickrigen DSL Leitung mit über 300 KiB/s sprudelt. Irre.

Ich habe mich hier durchgearbeitet:

https://forum.netgate.com/topic/61145/traffic-between-2-interfaces

...mit mäßigem Erfolg (vorher waren es 70 KiB/s zwischen den beiden internen Interfaces). Ich sehe bei mir in dmesg.boot bei den IRQs z.B. das die Schnittstellen angeblich IRQ 16, 17, 18 und 19 nutzen (die auch noch von USB und VGA genutzt werden), aber ich bekomme dann mit vmstat -i ausgegeben, dass die Interfaces jeweils 3 IRQs ab 265 aufwärts benutzen. Ich bin da kein Experte, aber man kann da wohl im BIOS und beim Tuning der Sense viel erreichen/kaputt machen.

Vielleicht hülft's bei dir besser.

[micneu]

Ich habe mal eine Frage, habt ihr auch wirklich mit ethernet und nicht wlan getestet?
Die werte die ihr nennt mit ca. 50MBit sind typische werte wenn die APU mot VPN genutzt wird.

[tila]

Ich für meinen Teil natürlich. Da ich hier das gesamte Netzwerk komplett umgestellt habe, war WLAN zu diesem Zeitpunkt noch gar nicht wieder eingerichtet. Vor meinen Umstellungen lag der Durchsatz irgendwo bei 180MiB/s und dazu kamen durch die höhere IPv6-Prio bzw. den anderen DNS-Server im lokalen Netz, den Unbound-DNS (in der Standard-Einstellung schickt Unbound-DNS die Anfrage an alle Interfaces) ebenfalls anfragte, etliche Aussetzer dazu.

Aber noch eine Frage zu Deiner Frage: Was haben WLAN und VPN miteinander zu tun?

[hschopp]

Natürlich ist das ein LAN Messergebnis - nicht WLAN.
Klingt nach den bisherigen Antworten nach einem Hardware Problem?!
Ich werde nebenher auch mal den Hersteller involvieren. Diese Transferrate zw. den Schnittstellen ist grausam...

[superwinni2]

Ganz doof anderst gefragt...
Schnapp die ne neue Festplatte oder SD karte oder was auch immer und installiere OPNsense komplett neu...
Vielleicht ging da was schief?
Wenn sie neu ist und dann nur Routing /Firewall macht nochmals testen...
Andere Platte ist dann ja wieder schnell eingebaut falls was wäre

Gesendet von meinem LG-H815 mit Tapatalk

[ruggerio]

Das Problem sind doch meist die Dienste, die die Datenströme durchlaufen müssen. Sollte das über nen Proxy gehen und ist dann auch noch Suricata aktiv, wird halt jedes Paket zuerst mal durchsnifft, dann vom Proxy mit Clamav auch noch untersucht (evtl. noch SNI-Prüfung und Content-Filtertung), das kostet alles Rechenzeit.

Stellt mal Eure Opnsense auf "Routermode" um, sprich, direkt ins Internet, ohne Proxy, deaktiviert Suricata, damit sind sicherlich mal die meisten Software-Flaschenhälse ausgeschaltet. Interessant, was dann als Bandbreite daherkommt.

Zum Thema VPN: Verwende neu Wireguard, bin recht überzeugt. Habe bedeutend bessere Transferraten als mit OpenVPN.

[Lowbro]

Ich hatte auch mal extremen lag als ich mit aktivierter Firewall Forex Trading betrieben habe. Irgendwann habe ich mich so aufgeregt, dass ich die Firewall erstmal deaktiviert habe. Das ist natürlich keine vernünftige Lösung, aber bei mir gings, weil ich zu dem Zeitpunkt nichts anderes parallel gemacht habe und keine Kollegen weiter im Netzwerk waren.

[ivoruetsche]

Hallo zusammen

Die verwendete Hardware wäre doch noch interessant und hat mal jemand die MTU kontrolliert?

Wir betreiben eine opnSense auf einem Intel Server mit XEON in einem Datacenter mit 10GB Fiber und haben keine schlechteren Ergebnisse als mit unserer grossen Cisco ASA im gleichen Datacenter und gleicher Leitung.

gruss ivo

[chemlud]

MTU-Probleme zwischen 2 INTERNEN Interfaces? Und der TO hat ja auch mit alternativer Hardware die komplette Bandbreite. In dem von mir verlinkten Thread war die Rede davon, dass ein einziges Mal aktivieren des Limiters reichen kann, eine Installation für immer zu verderben (hilft nur start from the scratch, KEIN Import der bisherigen config).

Und warum sollte suricata zwischen zwei interen Interfaces die theoretische Gigabit Bandbreite auf 100 KiB/s drücken, aber durch einen openVPN Tunnel durch eine mickrigen DSL-Anschluss 300 KiB/s übrig lassen? Das ergibt alles keinen Sinn.