Messages

Servus,

sorry hatte länger nicht mehr rein geschaut.

Die IPv6 Connectivität stirbt bei mir nicht - die Zuverlässigkeit was dynamische v6 angeht hat sich mit den letzten Updates aber weiterhin erhöht. Davor konnte ich mit folgendem Workaround ohne einen Reboot die v6 Erreichbarkeit wiederherstellen:

Wenn ich die IPv6 Konfiguration entferne und erneut auf Track interface [WAN] setze ist die v6 Konfiguration korrekt übernommen worden. Seit dem letzten Update hier keine Probleme mehr.

Die von dir erwähnten Fehlermeldungen habe ich auch, jedoch stehen sie in keinem unmittelbaren Zusammenhang mit dem mbuf Fehler. (dieser Tritt vorher und danach auf)

2020-09-21T18:02:00   configctl[21612]   error in configd communication Traceback (most recent call last): File "/usr/local/opnsense/service/configd_ctl.py", line 68, in exec_config_cmd line = sock.recv(65536).decode() socket.timeout: timed out

Werde deine Fixes nach einem Konfig Backup die Tage mal versuchen und mich dann nochmal melden.

[2020-05-12T05:20:05 dhcp6c[27238]: status code: no binding]

Nach weiteren Prüfungen (mehrfache Reboots und Beobachten) konnte ich die Ereignisse hierauf eingrenzen:

2020-05-12T05:27:50   kernel: 070.009398 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-05-12T05:20:05   dhcp6c[27238]: status code: no binding
2020-05-12T05:20:05   dhcp6c[27238]: Received REPLY for REBIND
2020-05-12T05:20:05   dhcp6c[27238]: Sending Rebind
2020-05-12T05:02:05   dhcp6c[27238]: status code: no binding
2020-05-12T05:02:05   dhcp6c[27238]: Received REPLY for RENEW
2020-05-12T05:02:05   dhcp6c[27238]: Sending Renew
2020-05-12T04:32:05   dhcp6c[27238]: Received REPLY for RENEW
2020-05-12T04:32:05   dhcp6c[27238]: unknown or unexpected DHCP6 option opt_86, len 16
2020-05-12T04:32:05   dhcp6c[27238]: Sending Renew
2020-05-12T04:02:05   dhcp6c[27238]: Received REPLY for RENEW
2020-05-12T04:02:05   dhcp6c[27238]: unknown or unexpected DHCP6 option opt_86, len 16
2020-05-12T04:02:05   dhcp6c[27238]: Sending Renew

Sobald er das Binding verliert / ein neues erhält fangen die Probleme erneut an.

Habt ihr Lösungsvorschläge, wie ich das Problem angehen kann?

MfG

Das ist das Ergebnis mit csum ON:

hn1: flags=28943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=48001b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,LINKSTATE,TXCSUM_IPV6>
        ether 00:15:5d:b2:19:11
        hwaddr 00:15:5d:b2:19:11
        inet 192.168.178.254 netmask 0xffffff00 broadcast 192.168.178.255
        inet6 fe80::215:5dff:feb2:1911%hn1 prefixlen 64 scopeid 0x6
        inet6 2001:a62:15d1:c801:215:5dff:feb2:1911 prefixlen 64 autoconf
        nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL>
        media: Ethernet autoselect (10Gbase-T <full-duplex>)
        status: active
        groups: IFG_Local


hier mit CSUM off:

hn1: flags=28943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
        ether 00:15:5d:b2:19:11
        hwaddr 00:15:5d:b2:19:11
        inet 192.168.178.254 netmask 0xffffff00 broadcast 192.168.178.255
        inet6 fe80::215:5dff:feb2:1911%hn1 prefixlen 64 scopeid 0x6
        inet6 2001:a62:15d1:c801:215:5dff:feb2:1911 prefixlen 64 autoconf
        nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL>
        media: Ethernet autoselect (10Gbase-T <full-duplex>)
        status: active
        groups: IFG_Local

das passt soweit. hab es gestern wohl einfach übersehen  :-\

gibt es in der OPNsense die Möglichkeit die Custom Checks per WEB-IF einzusteuern oder muss ich hierfür ein Script bauen, welches per IF Bedingung die werte setzt und dieses durch einen Cron-Job regelmäßig ausführen?


Nachtrag: heute morgen scheint es die Fehler auch durch die Kommandos nicht abzustellen. Probiere noch einmal etwas weiter.

Nachtrag2: Weder ein Neustart des IDS/IPS noch die Befehle erbrachten heute eine Lösung. Muss wohl von vorne anfangen zu suchen  ???


Teilweise kommt es im Zusammenhang mit diesen Meldungen auch zu merkwürdigen Einträgen im FW-Log, in denen keine weiterführenden Informationen enthalten sind - mir erschließt sich ebenfalls nicht was diese Meldungen aussagen und wodurch diese generiert werden.

Hier die Links zu Screenshots von den Logs und Meldungen.
https://drive.google.com/file/d/1gR_QHAIbNoK9vUBJZRBlfJeZMvAX2eZH/view?usp=sharing
https://drive.google.com/file/d/1XIu66DYNvZRBolfWnpvPx8pub3uouv2q/view?usp=sharing

sieht nicht so aus:

hn1: flags=28943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST,PPROMISC> metric 0 mtu 1500
        options=80018<VLAN_MTU,VLAN_HWTAGGING,LINKSTATE>
        ether 00:15:5d:b2:19:11
        hwaddr 00:15:5d:b2:19:11
        inet 192.168.178.254 netmask 0xffffff00 broadcast 192.168.178.255
        inet6 fe80::215:5dff:feb2:1911%hn1 prefixlen 64 scopeid 0x6
        inet6 2001:a62:156d:fe01:215:5dff:feb2:1911 prefixlen 64 autoconf
        nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL>
        media: Ethernet autoselect (10Gbase-T <full-duplex>)
        status: active
        groups: IFG_Local


ka ob das an Hyper-V liegt

habe grad mal getestet - das problem scheint im Rahmen des abgesetzten Kommandos zu entstehen.

Es ist weg nachdem ich in Suricata den promiscous mode aktiviere, danach deaktiviere:

2020-04-26T19:45:34   kernel: 133.982921 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T19:44:39   kernel: 078.975395 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T19:44:00   kernel: 039.969652 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T19:43:32   kernel: pflog0: promiscuous mode enabled
2020-04-26T19:43:32   kernel: pflog0: promiscuous mode disabled
2020-04-26T19:43:31   opnsense: /usr/local/etc/rc.filter_configure: ROUTING: keeping current default gateway 'fe80::de39:6fff:fe15:90aa%hn1'
2020-04-26T19:43:31   opnsense: /usr/local/etc/rc.filter_configure: Ignore down inet6 gateways : FritzBox_IPv4
2020-04-26T19:43:31   opnsense: /usr/local/etc/rc.filter_configure: Ignore down inet gateways : FritzBox_IPv4
2020-04-26T19:43:25   kernel: 005.857636 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T19:42:37   sshd[76285]: Accepted keyboard-interactive/pam for root from 192.168.100.220 port 64160 ssh2
2020-04-26T19:42:37   opnsense: user root authenticated successfully for sshd [using OPNsense\Auth\Services\System + OPNsense\Auth\Local]
2020-04-26T19:24:57   dhcp6c[60625]: Received REPLY for RENEW

generell gab mir ifconfig zu keinem Zeitpunkt ne Zeile mit Informationen aus, die csum enthält.

edit: wenn ich es mit deinem Befehl aktiviere tritt der Fehler erneut auf - wenn ich mit

Code Select Expand

ifconfig hn1 -txcsum -rxcsum -txcsum6 -rxcsum6 das offloading deaktiviere ist es wieder weg. aber keine Ahnung wieso es mir im ifconfig nicht angezeigt wird - weder wenn aktiv, noch inaktiv.
Wird also schwierig für mich einen Check über ifconfig in nem Script oder Cronjob umzusetzen.

Kannst ja nächstes Mal, wenn es auftritt mal versuchen:

Code Select Expand

ifconfig hn1 txcsum rxcsum txcsum6 rxcsum6

Damit sollte Offloading wieder aktiviert werden und die Meldung sofort aufhören.

Wenn das hilft, wäre nächster Schritt dann eines, das regelmäßig prüft, ob die Flags gesetzt sind und ggf. setzt.

Code Select Expand

ifconfig hn1 | grep csum

Wenn Return code ungleich Null, dann wieder setzen.

Aber noch besser wäre, wenn Software wie suricata oder Sensei, die netmap nutzen, nicht diese Flags verändern würden. Evtl. liegt es auch an der netmap Emulation. Wer weiß.

werde ich testen - vielen Dank für die Unterstützung!

Wie ich es manuell gefixt bekomme hab ich noch nicht ganz herausgefunden. Die zusammenhänge hab ich dahingehend noch nicht erkannt.  Bin im Umgang mit BSD nicht wirklich konform und vermisse viele Systemwerkzeuge aus RHEL / CentOS.

scheinbar hat es sich heute mittag aber wieder gelegt

2020-04-26T12:24:57   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T12:24:57   dhcp6c[60625]: unknown or unexpected DHCP6 option opt_86, len 16
2020-04-26T12:24:57   dhcp6c[60625]: Sending Renew
2020-04-26T11:57:35   /flowd_aggregate.py: vacuum done
2020-04-26T11:57:35   /flowd_aggregate.py: vacuum interface_086400.sqlite
2020-04-26T11:57:35   /flowd_aggregate.py: vacuum interface_003600.sqlite
2020-04-26T11:57:35   /flowd_aggregate.py: vacuum interface_000300.sqlite
2020-04-26T11:57:35   /flowd_aggregate.py: vacuum interface_000030.sqlite
2020-04-26T11:57:35   /flowd_aggregate.py: vacuum dst_port_086400.sqlite
2020-04-26T11:57:34   /flowd_aggregate.py: vacuum dst_port_003600.sqlite
2020-04-26T11:57:34   /flowd_aggregate.py: vacuum dst_port_000300.sqlite
2020-04-26T11:57:34   /flowd_aggregate.py: vacuum src_addr_086400.sqlite
2020-04-26T11:57:34   /flowd_aggregate.py: vacuum src_addr_003600.sqlite
2020-04-26T11:57:34   /flowd_aggregate.py: vacuum src_addr_000300.sqlite
2020-04-26T11:57:34   /flowd_aggregate.py: vacuum src_addr_details_086400.sqlite
2020-04-26T11:54:57   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T11:54:57   dhcp6c[60625]: unknown or unexpected DHCP6 option opt_86, len 16
2020-04-26T11:54:57   dhcp6c[60625]: Sending Renew
2020-04-26T11:53:10   kernel: 790.371015 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T11:53:07   kernel: 787.158400 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T11:53:04   kernel: 783.951156 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T11:53:01   kernel: 780.952413 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T11:53:00   kernel: 779.947998 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T11:52:57   kernel: 776.945067 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload

könntest du mich bezüglich des Scripts unterstützen?

Morgen allerseits,

ich habe bei meiner opnsense Installation leider ein paar kleine Probleme mit Kernel Meldungen bezüglich mbuf drops. Heute morgen konnte ich endlich mal den Zusammenhang zw. anderen Ereignissen auf der opn herstellen.

wie man in den Logs sehen kann tritt der mbuf drop auf nachdem gegen 04:20 die IPv4, sowie IPv6 Adressen vom Provider erneuert wurden. Habt ihr eine Idee wie man dem entgegenwirken kann?
hn1 ist hierbei das WAN Interface hinter der FritzBox mit einer privaten v4 und globalen v6 Adresse.

Als module / plugins und Funktionen habe ich Netflow, Suricata (non-promiscous) im IPS mode, HAProxy und Unbound DNS im Einsatz.

2020-04-26T04:39:26   kernel: 766.578990 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:39:23   kernel: 763.572963 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:39:21   kernel: 761.568016 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:39:20   kernel: 760.570687 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:53   kernel: 373.568258 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:50   kernel: 370.351749 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:47   kernel: 367.112605 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:44   kernel: 364.119766 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:43   kernel: 363.105042 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:40   kernel: 360.107560 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:38   kernel: 358.104026 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:32:37   kernel: 357.104500 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:26:10   kernel: 970.090883 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:26:07   kernel: 966.889159 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:26:03   kernel: 963.686943 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:26:00   kernel: 960.681870 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:25:59   kernel: 959.679564 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:25:56   kernel: 956.671972 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:25:54   kernel: 954.667823 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:25:53   kernel: 953.669286 [3884] netmap_transmit hn1 drop mbuf that needs checksum offload
2020-04-26T04:24:56   dhcp6c[60625]: status code: no binding
2020-04-26T04:24:56   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T04:24:56   dhcp6c[60625]: Sending Renew
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum done
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum interface_086400.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum interface_003600.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum interface_000300.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum interface_000030.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum dst_port_086400.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum dst_port_003600.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum dst_port_000300.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum src_addr_086400.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum src_addr_003600.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum src_addr_000300.sqlite
2020-04-26T03:56:35   /flowd_aggregate.py: vacuum src_addr_details_086400.sqlite
2020-04-26T03:54:56   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T03:54:56   dhcp6c[60625]: unknown or unexpected DHCP6 option opt_86, len 16
2020-04-26T03:54:56   dhcp6c[60625]: Sending Renew
2020-04-26T03:24:56   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T03:24:56   dhcp6c[60625]: unknown or unexpected DHCP6 option opt_86, len 16
2020-04-26T03:24:56   dhcp6c[60625]: Sending Renew
2020-04-26T02:54:56   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T02:54:56   dhcp6c[60625]: unknown or unexpected DHCP6 option opt_86, len 16
2020-04-26T02:54:56   dhcp6c[60625]: Sending Renew
2020-04-26T02:24:56   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T02:24:56   dhcp6c[60625]: unknown or unexpected DHCP6 option opt_86, len 16
2020-04-26T02:24:56   dhcp6c[60625]: Sending Renew
2020-04-26T01:54:56   dhcp6c[60625]: Received REPLY for RENEW
2020-04-26T01:54:56   dhcp6c[60625]: unknown or unexpected DHCP6 option opt_86, len 16
2020-04-26T01:54:56   dhcp6c[60625]: Sending Renew


Bin über jeden Lösungsvorschlag dankbar.