Gateway monitoring -> packet loss & offline

[cwt]

Guten Morgen zusammen.

Ich hoffe, dass alle gesund sind und von dem k*ck Corona verschont wurden 

Folgendes Setup (siehe auch angehängtes Diagramm):

- OPNSense 20.7.3
- CPU:  i3-7350K 4x4.2GHz
- RAM: 2x4GB DDR4 3200
- Board: ASUS Z270M-Plus
- NICs: 1x Intel® I219V (onboard), 2x Intel T350 Dual Port
- WAN1: FritzBox 6591 (Kabel Business 1.000), angebunden über Port 1 der Box an CAT6a, IP: 192.168.23.254
- WAN2: FritzBox 7590 (VDSL Business 100), angebunden über Port 1 der Box an CAT6a, IP: 192.168.24.254

- Aktivierte Plugins: ACME client, HAProxy

In der Sense sind IGB0 & IGB1 (1x Intel T350) jeweils als WAN eingerichtet, EM0 (Intel onboard 1Gbit) als LAN. Die beiden anderen Ports der 2. T350 sind noch ungenutzt.

Die Sense ist als jeweils einziger Client in den jeweiligen Fritten als vorhanden, immer an LAN Port 1 und als "Exposed Host".

WAN1/GW1: Priorität 1
WAN2/GW2: Priorität 2.

Dual Gateway mit Failover habe ich (vorerst) nicht konfiguriert.

Das Problem:

Aktiviere ich für WAN1 (Kabelanschluss) das Gateway Monitoring, meldet die Sense selbst bei geringer Last nach kurzer Zeit erhöhte RTT und RTTd sowie packet loss auf dem Gateway. Steigt der Traffic, gehen diese Werte ebenfalls in die Höhe bis hin zum Status "Offline". Dann springt die Sense auf WAN2 (VDSL) um.

Nun gab es wochenlang im Kabelnetz Probleme und ich hatte Vodafone mal wieder im Verdacht. Aber die sind dieses Mal unschuldig. Deaktiviere ich das Monitoring für WAN1, gibt es keinerlei Probleme. Ironischerweise interessiert es die Sense auf WAN2 (VDSL) überhaupt nicht, wenn da Last drauf kommt und das Gateway auf active gesetzt ist. Dort bleiben RTT/RTTd ruhig und es tritt auch kein loss auf.

Die Monitoring-IPs habe ich schon fröhlich durchprobiert (die üblichen Verdächtigen, bspw. 8.8.8.8, 8.8.4.4, usw.). Btw: die Monitoring-IPs werden auch nicht gleichzeitig als DNS-Server im General Setup der Sense verwendet. In die Falle bin ich früher mal bei der pfSense getappt.

Im Log findet sich bei Verbindungsabbruch folgender Eintrag:

kernel   pflog0: promiscuous mode enabled
kernel   pflog0: promiscuous mode disabled

Versuchte Problembehebung:

- 3 verschiedene Fritten (2x 6591 & 1x 6660) und 2 Kabelmodems probiert, Ergebnis immer gleich
- Verkabelung (CAT6a) von der Fritte zur Sense getauscht
- OPNSense neu installiert, mit und ohne Import der Config
- OPNSense auf komplett anderer Hardware neu installiert
- Kekse zum Kaffee gegessen, hat auch nix gebracht (waren aber lecker, da selbstgebacken)

Ich habe zwischendurch mal einen NUC an LAN2 der Kabelfritte gehangen und mittels iPerf für 12 Stunden einen Test laufen lassen, in das LAN der Sense. Mit aktiviertem Monitoring bricht das verständlicherweise irgendwann ab, da die Sense das Gateway vorübergehend deaktiviert. Ohne Monitoring bleibt der Transfer rock solid.

Any hints?

Danke 

[micneu]

- danke für den tollen netzwerkplan,
- bitte einen screenshot von deinen outbound regeln

[cwt]

Gerne 

Anbei der gewünschte Screen von NAT -> Outbound. Habe ich nichts dran verändert.

LG

[Seb]

Hallo Forum,

same problem here.

Mein Setup ist genau so.
Bis gestern habe ich noch eine Unitymedia 600 / 20 Leitung mit Hitron Modem gehabt. MultiWAN, Gateway Monitoring, keine Probleme.

Seit gestern Abend habe ich meine neue FritzBox 6591 mit Vodafone Cable 1000 / 50 dran.
Und schwups: Das gleiche Problem, wie beschrieben.

Mache ich das Gateway Monitoring aus, ist alles super. Sobald es an ist, springt das GW nach wenigen Sekunden auf Offline.

Habt ihr da schon eine Lösung gefunden?

Grüße
seb

[Seb]

Hallo nochmal,

das Problem bei mir konnte gelöst werden, indem man bei der Gateway Config unter Probe Interval 5 Sekunden einträgt.

Jetzt läuft es sauber!