Netzwerkprobleme mit aktivem Suricata IPS

[ottokar]

Hallo zusammen,

Habe schon verschiedene Beiträge in dem Forum und dazu gefunden, jedoch konnte ich mein Problem bisher nicht lösen und hoffe auf eure Hilfe.

Habe die OPNsense in der Version 20.7.5 im Einsatz mit einem WAN Interface und einem LAN Interface konfiguriert. Auf dem LAN Interface habe ich diverse Subnets konfiguriert und soweit funktioniert alles.
Sobald ich bei Suricata jedoch die Option "IPS Mode" aktiviere, erhalte ich bei sämtlichen VLANs keine Netzwerkverbindung mehr.

Suricata läuft nur auf dem LAN Interface und Promiscuous Mode ist aktiviert.

In den Interface Settings sind die Optionen "Disable hardware checksum offload", "Disable hardware TCP segmentation offload" und "Disable hardware large receive offload" selektiert sowie "VLAN Hardware Filtering" auf "Disable VLAN Hardware Filtering" gestellt.

Konfiguration meines Erachtens nach somit gemäss https://docs.opnsense.org/manual/ips.html?highlight=intrusion%20detection

Habe ich hier ein Setting übersehen? Wie kann ich dieses Problem sinnvoll weiter analysieren?

Danke euch :-)

[micneu]

läuft deine sense auf echtem blech oder als vm, bitte mehr infos, auch zur verwendeten hardware

[mimugmail]

Wenn du keine VLANs machst brauchst du promisc mode nicht aktivieren. Das macht man nur auf dem Hauptinterface, z.B. ix0, nicht aber auf einem assigned wie LAN oder WAN

[ottokar]

Hallo zusammen

Danke für eure Rückmeldungen.
Die OPNsense läuft auf Hardware
CPU: Intel Core i5-7200U
Memory: 16 GB
SSD: 120 GB
NIC: Intel i211AT

Auf dem LAN Interface (igb1) sind aktuell 6 VLANs definiert und in den Suricata Settings Promiscuous Mode aktiviert.

[ottokar]

Screenshots noch attached.

[mimugmail]

Schick mal Screenshot von General komplett.

Und von console mit monitor dran.

[ottokar]

Sorry für die verspätete Antwort, im Anhang noch der Screenshot von Suricata komplett

Habe noch ein paar Tests durchgeführt:
- mit Suricata ohne IPS Mode läuft einwandfrei
- sobald IPS Mode Mode aktiv, habe ich Netzwerkprobleme
- Clients in den VLANs erhalten eine IP via DHCP, jedoch funktioniert der Zugriff z.B. ins Internet nicht.
- Clients in den VLANs mit fixer IP haben ebenfalls keinen Internetzugriff
- von den VLANs komme ich auch nicht mehr auf die OPNsense
- Client direkt via RJ45 an LAN Port angeschlossen hat Zugriff auf die OPNsense

Folgende Meldungen sehe ich im Suricata Log:

Code: [Select]

suricata[96235] [100187] <Notice> -- all 2 packet processing threads, 4 management threads initialized, engine started.
suricata[96235] [100457] <Notice> -- opened netmap:igb1/T from igb1: 0x543035fc300
suricata[96235] [100457] <Notice> -- opened netmap:igb1^ from igb1^: 0x543035fc000
suricata[96235] [100448] <Notice> -- opened netmap:igb1^ from igb1^: 0x542c2674300
suricata[96235] [100448] <Notice> -- opened netmap:igb1/R from igb1: 0x542c2674000
suricata[83500] [100090] <Notice> -- This is Suricata version 5.0.4 RELEASE running in SYSTEM mode

Leider habe ich keinen Monitor zur Hand den ich anschliessen kann während das Problem auftritt.
Kann jedoch via LAN Port & SSH auf die OPNsense zugreiffen, wenn ich hier irgendwelche Screenshots oder Logs ziehen soll.

[Raketenschnecke]

ein ähnliches Problem habe ich auch - könnte sogar die selbe Ursache haben. Es äußert sich bei mir so, dass die Firewall nach wenigen Minuten nicht mehr ansprechbar ist. in der Konsole sind dann massenhaft folgende Meldungen zu sehen:

Code: [Select]

netmap_transmit lagg0 drop mbuf that needs checksum offload
auf der Schnittstelle "lagg0" (2x 1GBit/s aggregiert) liegt ein ungetaggtes LAN sowie ein getaggtes VLAN.
Ich habe testweise die Anzahl der IPS-Regeln auf 1 Satz reduziert (welcher, weiß ich aktuell nicht mehr), keine Änderung im Verhalten.

Zu dem Thema habe ich schon folgenden Thread gefunden, bin aber selbst noch nicht weiter gekommen (IPS ist derzeit deaktiviert):
https://forum.opnsense.org/index.php?topic=19141.0
UPNSense-Version bei mir: 20.7.5-amd64

[mimugmail]

Und das ganze offloading und vlan filtering ist aus?

[ottokar]

Ja, HW Offloading und VLAN Filtering ist aus

- Hardware CRC: Disable hardware checksum offload selektiert
- Hardware TSO: Disable hardware TCP segmentation offload selektiert
- Hardware LRO: Disable hardware large receive offload selektiert
- VLAN Hardware Filtering: Disable VLAN Hardware Filtering selektiert

Müsste meines Erachtens so korrekt sein.

[mimugmail]

Sorry für die verspätete Antwort, im Anhang noch der Screenshot von Suricata komplett

Habe noch ein paar Tests durchgeführt:
- mit Suricata ohne IPS Mode läuft einwandfrei
- sobald IPS Mode Mode aktiv, habe ich Netzwerkprobleme
- Clients in den VLANs erhalten eine IP via DHCP, jedoch funktioniert der Zugriff z.B. ins Internet nicht.
- Clients in den VLANs mit fixer IP haben ebenfalls keinen Internetzugriff
- von den VLANs komme ich auch nicht mehr auf die OPNsense
- Client direkt via RJ45 an LAN Port angeschlossen hat Zugriff auf die OPNsense

Folgende Meldungen sehe ich im Suricata Log:

Code: [Select]

suricata[96235] [100187] <Notice> -- all 2 packet processing threads, 4 management threads initialized, engine started.
suricata[96235] [100457] <Notice> -- opened netmap:igb1/T from igb1: 0x543035fc300
suricata[96235] [100457] <Notice> -- opened netmap:igb1^ from igb1^: 0x543035fc000
suricata[96235] [100448] <Notice> -- opened netmap:igb1^ from igb1^: 0x542c2674300
suricata[96235] [100448] <Notice> -- opened netmap:igb1/R from igb1: 0x542c2674000
suricata[83500] [100090] <Notice> -- This is Suricata version 5.0.4 RELEASE running in SYSTEM mode

Leider habe ich keinen Monitor zur Hand den ich anschliessen kann während das Problem auftritt.
Kann jedoch via LAN Port & SSH auf die OPNsense zugreiffen, wenn ich hier irgendwelche Screenshots oder Logs ziehen soll.

Output von dmesg?

[ottokar]

Nun bin ich endlich dazu gekommen hier weiter zu testen. Habe mir den Output von dmesg angesehen, das Problem reproduziert und nochmals ins dmesg geschaut - dort konnte ich keinen neuen Eintrag feststellen.

Jedoch sind diverse ältere Einträge aufgefallen, die immer wieder ersichtlich sind:

Code: [Select]

generic_netmap_attach     Emulated adapter for igb1_vlan50 created (prev was NULL)
generic_netmap_dtor       Emulated netmap adapter for igb1_vlan50 destroyed
generic_netmap_attach     Emulated adapter for igb1_vlan50 created (prev was NULL)
generic_netmap_register   Emulated adapter for igb1_vlan50 activated


Code: [Select]

pflog0: promiscuous mode disabled
pflog0: promiscuous mode enabled
pflog0: promiscuous mode disabled
pflog0: promiscuous mode enabled

Da beim Reproduzieren des Problems keine neuen Meldungen im system.log wie auch in dmesg aufgetaucht sind, kann ich diese nicht genau zuordnen - hab ich hier irgend was falsch gemacht?