Extreme Leistungs-Drosselung durch die Firewall

Started by hschopp, March 11, 2019, 01:04:51 PM

Previous topic - Next topic
geeignete Hardware vorausgesetzt müsste die opnsense selbst auf APU Boards in der Grundconfig schon mehr als 50 Mbit schaffen. Ich komme per glasfaserdsl (vdsl 30a) locker auf 93Mbit, sobald ich aber den shaper einschalte, sackt die Leistung auf einer AMD 5050e Hardware (2 Kerne) auf 30 Mbit ab. Das liegt aber in der Natur der Dinge und ist nichts aussergewöhnliches. Je mehr spezialisierte Hardware ich habe, um so mehr Durchsatz kommt zu stande. Das sieht man auch am AES-NI, an DMA fähigen Netzwerkkarten, Busmaster PCIe, an Hardware wie in Cisco Routern... usw... Und je mehr Paketbehandlung statt findet, um so langsamer wirds... eine "einfache" MSS/MTU Anspassung kann schon die Leitung um den Faktor 10 - 100 reduzieren weil Pakete komplett neu aufgebaut werden müssen. Von prüfen und weiter leiten mal ganz abgesehen...
Man kann aus einem Fiat 500 kein Formel 1 Auto machen. Und die APU Boards sind nun mal Minisysteme... gute Minisysteme... aber sie bleiben mini!
Wenn ich dann noch so Aussagen lese, das DNS Anfragen an den Forwarder schneller gehen als als den lokalen DNS server... naja... ich sag nur RTFM! Incl. der manpage von "dig".
Ich überlege auch, mir eine APU2D4 anzuschaffen da sie in der Energiebilanz gegen einen PC als Router unschlagbar günstig sind. Aber ob die Boards als Router bei mehr als 50 MBit wirklich brauchbar sind, da habe ich noch so meine Zweifel.
Als die Athener mit ihrem Heer nahten, sandte man der Legende nach die Drohung an die Stadt Sparta:

,,Wenn wir euch besiegt haben, werden eure Häuser brennen, eure Städte in Flammen stehen und eure Frauen zu Witwen werden."

Darauf antworteten die Spartaner:

,,Wenn."

Quote from: hschopp on March 11, 2019, 01:04:51 PM
Meine OPNsense (19.1.3-amd64) läuft auf einem APU.4C4 Board. Im Dashboard-Graph zeigt die CPU kaum Ausschläge, die Auslastung des Arbeitsspeichers liegt ziemlich stabil bei 33%.

Willkommen im Club. Ich habe ebenfalls eine APU.4 (allerdings eine 4B4).
Einfach als Firewall läuft das Ding problemlos. Sobald allerdings Services wie Suricata, Clam oder Proxy laufen geht das Ding in die Knie.

Schau dir per SSH-Konsole mal die CPU-Auslastung per "top" an.... die geht bei der kleinen Kiste schnell durch die Decke. Der CPU-Anzeige im Dashboard traue ich da weniger... wobei ich auch dort oftmals Dauerhaft 100% Auslastung sehe.

Schalter bei dir mal den Proxy und Clam AV aus. Danach das Gerät neu booten... es sollte dann schneller arbeiten. (Ohne Reboot, scheint bei mir auch manchmal etwas zu "hängen", wenn ich Services deaktiviere)

Im Moment habe ich lediglich eine 14MBit-Internetleitung. Da geht es noch. Ende des Jahres kommt Gigabit; da werde ich andere Hardware brauchen. Die APU ist dafür einfach zu langsam (Wenn man mehr als nur die Firewallfuntktionalität haben möchte)

Quote from: WeissNicht on March 27, 2019, 02:57:49 PM
Die APU ist dafür einfach zu langsam (Wenn man mehr als nur die Firewallfuntktionalität haben möchte)
Hmm,
wobei die Firewallfunktionalität incl. DNSBL wohl für die meissten 'normalen' Homeuser vollkommen aussreichen dürfte. Ich brauche für mein Laptop, Tablet und Smartphone weder ClamAV (ist von der Scanperformance/Sicherheit ohnehin grottig) noch IPS/IDS oder Spamfilter.  Ganz davon ab, dass ich mit der richtigen Konfiguration eines IDS/IPS ohnehin überfordert wäre...  ;) Ich will mich ja auch nicht ständig durch irgendwelche Logs arbeiten.
In einem Unternehmen sieht die ganze Sache dann schon wieder ganz anders aus.

Gruß
Dirk

PS: Meine 30€ HW (ebay) reicht locker aus um meine 100/20-Leitung zu bedienen.

Nunja, die Ansprüche sind halt unterschiedlich.

Ich für meinen Teil nutze das IPS; daher ist die Leistung mit aktiviertem Suricata schon ein Kriterium für mich persönlich.
Bei meiner derzeitigen Leitung reicht die APU.4 gerade noch aus. Spätestens im Winter muss sie einer leistungsstärkeren Hw weichen; ab da werde ich die APU.4 nur noch als eine interne Firewall zur inneren Netztrennung verwenden.

Hallo allerseits,

also irgendwie hänge ich momentan auch an diesem Problem. Bisher hatte ich pfSense auf einer Astaro ASM 220 (mit Snort und RADIUS) am laufen. Die 200 Mbit/s Leitung damit auszureißen war nie ein Problem. Aufgrund diverse Umstände der letzten Zeit hatte ich beschlossen auf OPNsense zu migrieren. Nun nachdem ich auf OPNsense umgestellt habe ist bei knapp 100 Mbit/s ende und das selbst wenn ich IDS/IPS vollständig deaktiviert habe. Bis auf die Umstellung von pfSense auf OPNsense hat sich nichts verändert. Vielleicht hat ja jemand von euch die Zündende Idee wo es hängt.

Quote from: Exinus on August 02, 2019, 01:44:09 PM
Hallo allerseits,

also irgendwie hänge ich momentan auch an diesem Problem. Bisher hatte ich pfSense auf einer Astaro ASM 220 (mit Snort und RADIUS) am laufen. Die 200 Mbit/s Leitung damit auszureißen war nie ein Problem. Aufgrund diverse Umstände der letzten Zeit hatte ich beschlossen auf OPNsense zu migrieren. Nun nachdem ich auf OPNsense umgestellt habe ist bei knapp 100 Mbit/s ende und das selbst wenn ich IDS/IPS vollständig deaktiviert habe. Bis auf die Umstellung von pfSense auf OPNsense hat sich nichts verändert. Vielleicht hat ja jemand von euch die Zündende Idee wo es hängt.

Ich würde erst mal einen eigenen Thread aufmachen :)

Und dann mehr Infos rein, CPU Auslastung während der Tests, Verbindung von LAN und LAN2 testen, wie wird getestet etc.

August 02, 2019, 02:04:48 PM #21 Last Edit: August 02, 2019, 02:08:00 PM by Exinus
Quote from: mimugmail on August 02, 2019, 01:48:19 PM
Quote from: Exinus on August 02, 2019, 01:44:09 PM
Hallo allerseits,

also irgendwie hänge ich momentan auch an diesem Problem. Bisher hatte ich pfSense auf einer Astaro ASM 220 (mit Snort und RADIUS) am laufen. Die 200 Mbit/s Leitung damit auszureißen war nie ein Problem. Aufgrund diverse Umstände der letzten Zeit hatte ich beschlossen auf OPNsense zu migrieren. Nun nachdem ich auf OPNsense umgestellt habe ist bei knapp 100 Mbit/s ende und das selbst wenn ich IDS/IPS vollständig deaktiviert habe. Bis auf die Umstellung von pfSense auf OPNsense hat sich nichts verändert. Vielleicht hat ja jemand von euch die Zündende Idee wo es hängt.

Ich würde erst mal einen eigenen Thread aufmachen :)

Und dann mehr Infos rein, CPU Auslastung während der Tests, Verbindung von LAN und LAN2 testen, wie wird getestet etc.

Wozu einen eigenen Thread? Das betrifft doch das gleiche Thema?

Hardware wie gesagt eine Astaro ASM220 (Pentium 4 mit 2,8 Ghz, 2GB Ram, 4 * Intel GBit NIC, 4 * 100 MBit NIC unbenutzt).
Topologie DOCSIS Modem an WAN, Managed Switch mit 2 GBit/s LAGG an der OPNsense, Momentan 3 VLANs die am Managed Switch aufgeteilt werden.
Die CPU Auslastung schwankt am Graphen abgelesen beim test zwischen 50 und 100%.
Gemessen wird von LAN über WAN auf das Internet. So zwischen 80 bis 100 MBit ist ende.

Was mich an dem ganzen so irritiert, tausche ich die Platten und fahre pfSense (mit aktivem Snort) wieder hoch
knallt der direkt auf jenseits der 200 Mbit/s. Mit OPNsense muss das doch auch möglich sein. Hab schon IDS/IPS deaktiviert, auch testweise den RADIUS Dienst aber das macht absolut keinen Unterschied.


ich gabe bei mir die hardware ausgetsuscht, nachdem ich mit der Leistung unzufrieddn war. Jetzt kann ich inkl. Proxy, Icap+Clamav, Sensei und Suricata meine 400/200 Mbit voll nutzen. Hatte vorher ein Celeron-Board (Sylbek) und jetzt einen I3 auf Supermicro Board und 16G RAM. Bei mir war es definitiv die Hardware..

Hi

muss dieses Thema mal wieder aus der Versenkung holen:

mir ist gestern auch aufgefallen, das der Datendurchsatz mit aktivierten Proxy das APU.1D Board so an seine Leistungsgrenze bringt.
Hab mir iperf auf der Opnsense installiert und mal einen speedtest gemacht und obwohl ich jeweils 3 GB LAN Schnittstellen habe passt der Speedtest überhaupt nicht


Connecting to host 192.168.0.1, port 40387
[  4] local 192.168.0.202 port 4340 connected to 192.168.0.1 port 40387
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-1.00   sec  43.0 MBytes   360 Mbits/sec
[  4]   1.00-2.00   sec  45.6 MBytes   383 Mbits/sec
[  4]   2.00-3.00   sec  46.5 MBytes   390 Mbits/sec
[  4]   3.00-4.00   sec  45.5 MBytes   382 Mbits/sec
[  4]   4.00-5.00   sec  45.6 MBytes   383 Mbits/sec
[  4]   5.00-6.00   sec  45.8 MBytes   383 Mbits/sec
[  4]   6.00-7.00   sec  46.0 MBytes   386 Mbits/sec
[  4]   7.00-8.00   sec  46.5 MBytes   390 Mbits/sec
[  4]   8.00-9.00   sec  44.8 MBytes   376 Mbits/sec
[  4]   9.00-10.00  sec  46.5 MBytes   390 Mbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec   456 MBytes   382 Mbits/sec                  sender
[  4]   0.00-10.00  sec   456 MBytes   382 Mbits/sec                  receiver

iperf Done.


Hab dann einen Speedtest von Vodafone gemacht mit aktivierten Proxy und es kommen "nur" 33mbit von möglichen 300mbit an.

Dann mal den Proxy deaktiviert und schon passte das mit dem Speed auch.

Will jetzt beizeiten mal auf die neue IPU von NRG umrüsten: https://www.ipu-system.de/, hat da jemand schon Erfahrung mit gemacht?

Opnsene läuft ja darauf oder?

OPNsense läuft da ja, aber mit Proxy bekommst du NIE reale Werte ..

Hi

ja mag sein, aber mehr als 13% vom möglichen sollte ja schon drin sein oder?

Das der Proxy blockt ist mir bewusst, aber hab jetzt mit Proxy 30mbit vom möglichen 300mbit... das sollte mit aktueller Hardware zu topen sein oder?

@Thargor, mal eine dummer frage, wozu brauchst du einen proxy bei deiner leitung?
ich hatte vor ca.1 jahr mal eine apu4d4 und die fande ich schon richtig langsam auch ohne proxy, aber ich habe da andere ansprüche an hardware.
Internet: Willy.tel Down: 1Gbit/s, UP: 250Mbit/s Glasfaser  |
Router/Firewall: pfSense+ 23.09  |
Hardware: Netgate 6100

hi

gibt keine dummen Fragen :-)

meine natürlich den opensense internen proxy...

Wenn ich die Sense ohne laufen lasse, stimmt der speedtest...

Habe das ja mit der Fritzbox direkt verglichen... die Sense blockt da ganz schön...

Ein Proxy läd erst Mal auf die Firewall und gibt das nach Abschluss an den Client weiter. Da wirst du niemals ein nur annähernd gutes Ergebnis bekommen