OPNsense Forum

International Forums => German - Deutsch => Topic started by: cyberganny on April 14, 2021, 07:32:26 pm

Title: Plötzlich jede Menge Packet Loss zwischen OPNsense und Fritzboxen
Post by: cyberganny on April 14, 2021, 07:32:26 pm: Hallo Community,

seit 3 Tagen habe ich massive Probleme im Zusammenspiel zwischen meinem OPNSense Cluster und den zwei dahinter liegenden Fritzboxen.
Ich habe massive Packet Loss Raten bis zu 50% in der Verbindung zwischen den einzelnen Clusterknoten und den Fritzboxen. Die Fritzboxen sind direkt über Kabel angebunden, kein Switch dazwischen. Die Kabel sind ok, habe auch schon getauscht kein Unterschied. Wenn ich die OPNSense Knoten aus dem LAN anpinge sind die Ping raten Top. Logge ich mich auf den OPNSense Knoten ein und pinge die Fritzboxen an sieht das so aus:

Code: [Select]
root@fw-master:~ # ping 192.168.188.1 PING 192.168.188.1 (192.168.188.1): 56 data bytes 64 bytes from 192.168.188.1: icmp_seq=0 ttl=64 time=78.418 ms 64 bytes from 192.168.188.1: icmp_seq=1 ttl=64 time=4.887 ms 64 bytes from 192.168.188.1: icmp_seq=2 ttl=64 time=0.585 ms 64 bytes from 192.168.188.1: icmp_seq=3 ttl=64 time=30.765 ms 64 bytes from 192.168.188.1: icmp_seq=4 ttl=64 time=99.968 ms 64 bytes from 192.168.188.1: icmp_seq=5 ttl=64 time=285.366 ms 64 bytes from 192.168.188.1: icmp_seq=6 ttl=64 time=0.715 ms 64 bytes from 192.168.188.1: icmp_seq=8 ttl=64 time=0.585 ms 64 bytes from 192.168.188.1: icmp_seq=9 ttl=64 time=227.395 ms 64 bytes from 192.168.188.1: icmp_seq=10 ttl=64 time=0.746 ms 64 bytes from 192.168.188.1: icmp_seq=11 ttl=64 time=3.116 ms 64 bytes from 192.168.188.1: icmp_seq=12 ttl=64 time=0.603 ms 64 bytes from 192.168.188.1: icmp_seq=13 ttl=64 time=0.787 ms 64 bytes from 192.168.188.1: icmp_seq=14 ttl=64 time=0.543 ms
Ein total inkonsistentes Ping-Bild. Die RTTd Werte sind entsprechend hoch im 3 stelligen Bereich.

Die Adaptereinstellungen sind wie folgt:
Code: [Select]
root@fw-master:~ # ifconfig em1 em1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=852098<VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO> ether 00:e0:67:09:5d:05 media: Ethernet autoselect (1000baseT <full-duplex>) status: active nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
Code: [Select]
root@fw-master:~ # ifconfig lagg0 lagg0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500 options=852098<VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO> ether 00:e0:67:09:5d:04 inet6 fe80::2e0:67ff:fe09:5d04%lagg0 prefixlen 64 scopeid 0x9 inet 10.x.x.101 netmask 0xffffff00 broadcast 10.x.x.255 inet 10.x.x.1 netmask 0xffffff00 broadcast 10.x.x.255 vhid 1 laggproto failover lagghash l2,l3,l4 laggport: em0 flags=5<MASTER,ACTIVE> groups: lagg carp: MASTER vhid 1 advbase 1 advskew 0 media: Ethernet autoselect status: active nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
Kann es sein, dass mit den Updates sich etwas an den Ethernet Treibern oder Einstellungen geändert hat, das zu Problemen mit Fritzboxen führt?

Aktuell installiert:
Code: [Select]
OPNsense 21.1.4-amd64 FreeBSD 12.1-RELEASE-p15-HBSD OpenSSL 1.1.1k 25 Mar 2021

Bin ich der Einzige mit diesem Phänomen?
Für jeden hilfreichen Tip dankbar.

-Micha
Title: Re: Plötzlich jede Menge Packet Loss zwischen OPNsense und Fritzboxen
Post by: Patrick M. Hausen on April 14, 2021, 07:49:30 pm: Was hängt auf der anderen Seite des lagg0? Die Fritzbox kann kein Port-Bundling/LCAP ...
Title: Re: Plötzlich jede Menge Packet Loss zwischen OPNsense und Fritzboxen
Post by: cyberganny on April 14, 2021, 10:25:43 pm: Quote from: pmhausen on April 14, 2021, 07:49:30 pm
Was hängt auf der anderen Seite des lagg0? Die Fritzbox kann kein Port-Bundling/LCAP ...

Ja eine Fritzbox, aber die Config hat bis vor 5 Tagen problemlos funktioniert.
Ich habe auch keine Ports gebundelt. Das lagg ist nur zur virtualisierung der physischen Ports configuriert, da die Clusterknoten unterschiedliche Server sind und somit sonst unterschiedliche Device Names hätten.
Title: Re: Plötzlich jede Menge Packet Loss zwischen OPNsense und Fritzboxen
Post by: JeGr on April 15, 2021, 06:16:30 pm: > Ich habe auch keine Ports gebundelt. Das lagg ist nur zur virtualisierung der physischen Ports configuriert, da die Clusterknoten unterschiedliche Server sind und somit sonst unterschiedliche Device Names hätten.

Das ist doch völlig unrelevant? OPNsense packt doch eh nochmal(!) ne Schicht Naming drüber. Aber LACP ist eben nicht nur einfach so eine Virtualisierung sondern ein komplexes Konstrukt auf dem Interface. Nur weil das so läuft, heißt das nicht, dass es gut ist/war ;) Und mit unnötiger Verkappung in Bundles hatte ich schon genug Ärger als dass das toll wäre. Würde das schnellstens loswerden und dann nochmal testen.

Allerdings haben IMHO einige FritzBoxen eh nen Schuß weg. Bei einigen Modellen habe ich unerklärlich immer wiederkommend packet loss wenn eine externe monitoring IP angepingt wird. Das kann man "besser machen" mit anderen check settings, aber sobald der pinger service nicht gg. die Fritte sondern nach darüber nach draußen pingt kann das vorkommen. Wenn es der Fall ist, dann liegts potentiell an der Box, nicht an der Sense. Trotzdem würde ich LACP überall wo es nicht sein muss dringend loswerden :)
Title: Re: Plötzlich jede Menge Packet Loss zwischen OPNsense und Fritzboxen
Post by: cyberganny on April 16, 2021, 08:16:45 pm: Problem gelöst - es war eine NAT Regel in der Multi-WAN Config nicht sauber gesetzt, daher sind einige Pakete fehlgeleitet worden.