Plötzlich jede Menge Packet Loss zwischen OPNsense und Fritzboxen

[cyberganny]

Hallo Community,

seit 3 Tagen habe ich massive Probleme im Zusammenspiel zwischen meinem OPNSense Cluster und den zwei dahinter liegenden Fritzboxen.
Ich habe massive Packet Loss Raten bis zu 50% in der Verbindung zwischen den einzelnen Clusterknoten und den Fritzboxen. Die Fritzboxen sind direkt über Kabel angebunden, kein Switch dazwischen. Die Kabel sind ok, habe auch schon getauscht kein Unterschied. Wenn ich die OPNSense Knoten aus dem LAN anpinge sind die Ping raten Top. Logge ich mich auf den OPNSense Knoten ein und pinge die Fritzboxen an sieht das so aus:

Code: [Select]

root@fw-master:~ # ping 192.168.188.1
PING 192.168.188.1 (192.168.188.1): 56 data bytes
64 bytes from 192.168.188.1: icmp_seq=0 ttl=64 time=78.418 ms
64 bytes from 192.168.188.1: icmp_seq=1 ttl=64 time=4.887 ms
64 bytes from 192.168.188.1: icmp_seq=2 ttl=64 time=0.585 ms
64 bytes from 192.168.188.1: icmp_seq=3 ttl=64 time=30.765 ms
64 bytes from 192.168.188.1: icmp_seq=4 ttl=64 time=99.968 ms
64 bytes from 192.168.188.1: icmp_seq=5 ttl=64 time=285.366 ms
64 bytes from 192.168.188.1: icmp_seq=6 ttl=64 time=0.715 ms
64 bytes from 192.168.188.1: icmp_seq=8 ttl=64 time=0.585 ms
64 bytes from 192.168.188.1: icmp_seq=9 ttl=64 time=227.395 ms
64 bytes from 192.168.188.1: icmp_seq=10 ttl=64 time=0.746 ms
64 bytes from 192.168.188.1: icmp_seq=11 ttl=64 time=3.116 ms
64 bytes from 192.168.188.1: icmp_seq=12 ttl=64 time=0.603 ms
64 bytes from 192.168.188.1: icmp_seq=13 ttl=64 time=0.787 ms
64 bytes from 192.168.188.1: icmp_seq=14 ttl=64 time=0.543 ms
Ein total inkonsistentes Ping-Bild. Die RTTd Werte sind entsprechend hoch im 3 stelligen Bereich.

Die Adaptereinstellungen sind wie folgt:

Code: [Select]

root@fw-master:~ # ifconfig em1
em1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=852098<VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
ether 00:e0:67:09:5d:05
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>

Code: [Select]

root@fw-master:~ # ifconfig lagg0
lagg0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=852098<VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
ether 00:e0:67:09:5d:04
inet6 fe80::2e0:67ff:fe09:5d04%lagg0 prefixlen 64 scopeid 0x9
inet 10.x.x.101 netmask 0xffffff00 broadcast 10.x.x.255
inet 10.x.x.1 netmask 0xffffff00 broadcast 10.x.x.255 vhid 1
laggproto failover lagghash l2,l3,l4
laggport: em0 flags=5<MASTER,ACTIVE>
groups: lagg
carp: MASTER vhid 1 advbase 1 advskew 0
media: Ethernet autoselect
status: active
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
Kann es sein, dass mit den Updates sich etwas an den Ethernet Treibern oder Einstellungen geändert hat, das zu Problemen mit Fritzboxen führt?

Aktuell installiert:

Code: [Select]

OPNsense 21.1.4-amd64
FreeBSD 12.1-RELEASE-p15-HBSD
OpenSSL 1.1.1k 25 Mar 2021

Bin ich der Einzige mit diesem Phänomen?
Für jeden hilfreichen Tip dankbar.

-Micha

[Patrick M. Hausen]

Was hängt auf der anderen Seite des lagg0? Die Fritzbox kann kein Port-Bundling/LCAP ...

[cyberganny]

Was hängt auf der anderen Seite des lagg0? Die Fritzbox kann kein Port-Bundling/LCAP ...

Ja eine Fritzbox, aber die Config hat bis vor 5 Tagen problemlos funktioniert.
Ich habe auch keine Ports gebundelt. Das lagg ist nur zur virtualisierung der physischen Ports configuriert, da die Clusterknoten unterschiedliche Server sind und somit sonst unterschiedliche Device Names hätten.

[JeGr]

> Ich habe auch keine Ports gebundelt. Das lagg ist nur zur virtualisierung der physischen Ports configuriert, da die Clusterknoten unterschiedliche Server sind und somit sonst unterschiedliche Device Names hätten.

Das ist doch völlig unrelevant? OPNsense packt doch eh nochmal(!) ne Schicht Naming drüber. Aber LACP ist eben nicht nur einfach so eine Virtualisierung sondern ein komplexes Konstrukt auf dem Interface. Nur weil das so läuft, heißt das nicht, dass es gut ist/war Und mit unnötiger Verkappung in Bundles hatte ich schon genug Ärger als dass das toll wäre. Würde das schnellstens loswerden und dann nochmal testen.

Allerdings haben IMHO einige FritzBoxen eh nen Schuß weg. Bei einigen Modellen habe ich unerklärlich immer wiederkommend packet loss wenn eine externe monitoring IP angepingt wird. Das kann man "besser machen" mit anderen check settings, aber sobald der pinger service nicht gg. die Fritte sondern nach darüber nach draußen pingt kann das vorkommen. Wenn es der Fall ist, dann liegts potentiell an der Box, nicht an der Sense. Trotzdem würde ich LACP überall wo es nicht sein muss dringend loswerden

[cyberganny]

Problem gelöst - es war eine NAT Regel in der Multi-WAN Config nicht sauber gesetzt, daher sind einige Pakete fehlgeleitet worden.