[SOLVED] MultiWAN - WAN Ausfall - kein Traffic mehr über OPNsense 17.7.x

[flehmann]

Hallo,

wir haben das Problem seit ca. 2 Monaten mit OPNsense aktuell 17.7.10, das wenn ein WAN kurz ausfällt, komplett kein Datenverkehr über die OPNsense mehr durch geht.

Wir haben 4 WAN (Kabelmodems) (WAN0 bis WAN3) und WAN0 ist mit fester IP, die anderen 3 sind dynamisch.
Alle 4 Interfaces beziehen die IP vom Modem per DHCPv4.
Default Gateway ist aktuell WAN2.

Unser Problemkind ist WAN0 (feste IP).
Dort haben wir schon das Modem tauschen lassen, da dieses immer mehrmals am Tag neu gestartet hat. Jetzt verliert die OPNsense täglich den DHCP-Lease und erneuter den Lease:

Code: [Select]

Dec 22 08:20:28 opnsense: /usr/local/etc/rc.newwanip: On (IP address: xx.xx.xx.xx) (interface: WAN0_xxxx[wan]) (real interface: igb0).
Dec 22 08:20:28 opnsense: /usr/local/etc/rc.newwanip: IP renewal is starting on 'igb0'
Sobald das passiert, geht kein Traffic mehr durch die OPNsense über die anderen WANs raus, auch nicht über das default WAN.

Wir haben jetzt raus gefunden, wenn wir unter System - Gateways - All das GW WAN0 disable - Apply - der Ping und Traffic nach extern wieder möglich ist. Dann folgt enable - Apply und die Dienste sind von extern auch wieder erreichbar. (Vorher haben wir immer ein oder mehrere Interfaces disable/enable und es lief wieder)

Es ist für uns sehr nervig, da wir das Prozedere täglich durchführen müssen und es immer eine unschöne Downtime des gesamten Internet Traffics im Haus nach sich zieht.

Das Log spuckt leider nicht viel mehr aus als die beiden Zeilen oben.

Der Interface Status von WAN0 ist auch normal, nach dem IP renew hat er die IP korrekt bezogen. (siehe Anhang).

Kennt jemand dieses merkwürdige Verhalten bei MultiWAN Umgebungen mit der OPNsense?

Für Tipps und Hinweise wäre ich sehr dankbar.

Vielen Dank

[mimugmail]

Ja, kenne ich. Bin mit Franco auch schon auf der Fehlersuche.
Habt ihr das Problem schon immer oder seit einer bestimmten Version?

Wenn ihr nen Ausfall habt, schau bitte mal in den Routes ob du noch ein default gateway hast, vermutlich nicht.

Kannst du hier noch n Screenshot von den Gateways, Gatewaystatus und Gatewaygroups posten? Gerne IPs verpixelt.

[flehmann]

Hallo, schön das das Problem bekannt ist. Licht am Ende des Tunnels.

Wir setzten seit August 2017 OPNsense ein, das Image müsste v17.7.1 gewesen sein.

Ja beim nächsten Ausfall schaue ich mal in die Routes.

Nach dem letzten Ausfall und Gateway disable/enable gibts noch diesen Logeintrag:

Code: [Select]

Dec 22 09:06:25 opnsense: /system_gateways.php: ROUTING: setting IPv4 default route to 178.24.xx.xx
Hier die gewünschten Screenshots:
Gateways - ALL
Gateways - Status
Gateways - Group (aktuell keine eingerichtet)

Vielen Dank und wenn weitere Infos benötigt werden, gerne melden.
Grüße

[flehmann]

Wenn ihr nen Ausfall habt, schau bitte mal in den Routes ob du noch ein default gateway hast, vermutlich nicht.

Der Nächste Ausfall ließ nicht lange auf sich warten. Wie du bereits vermutet hast, fehlt zu diesem Zeitpunkt des Ausfalls die "default" Route und ist erst nach dem disable von einem Gateway wieder vorhanden.

[flehmann]

Ja, kenne ich. Bin mit Franco auch schon auf der Fehlersuche.

Hallo,
ich habe gelesen (https://forums.freebsd.org/threads/55619/#post-315692) das

Code: [Select]

service routing restart die Route wieder anlegen soll.

Ggf. kann man das nach einem Ausfall:

Code: [Select]

"opnsense: /usr/local/etc/rc.newwanip: IP renewal is starting on 'igbx'"mit ausführen oder als cron etc.?

Ich würde es bei Gelegenheit mal testen.

Gibt es noch einen anderen Workaround? Wir sind aktuell mächtig hilflos, mit der OPNsense im Produktivbetrieb.

Vielen Dank

[mimugmail]

Das mit dem Cron hatte ich auch mal drin, hatte aber paar schräge Nebeneffekte. Wenn Zugriff über remote nicht zwigend nötig ist (VPN) dann probier es einfach mal. Oder du kickst einfach die Leitung die dauernd zickt. 

[flehmann]

Da das Problem ja bei jedem Modem Reboot (AutoUpdate vom Anbieter) oder DHCP Lease renew auftritt, und quasi jede Leitung betrifft, kann ich leider schlecht WANs raus nehmen.

Ich bin jetzt auf diesen Post gestoßen: https://github.com/opnsense/core/issues/1874

Code: [Select]

it looks like opnsense disable old default route and does not enable new one
Ich habe jetzt "Use sticky connections" aktiviert und beobachte mal, ob es was hilft.

Die Frage ist, ob eine Gateway Failover Group etwas bringen würde...

[mimugmail]

Wir gehen das Problem in Q1, nach 18.1, gemeinsam an. Du kannst den Fortschritt hier verfolgen:
https://github.com/opnsense/core/issues/1821

[flehmann]

Wir gehen das Problem in Q1, nach 18.1, gemeinsam an. Du kannst den Fortschritt hier verfolgen:
https://github.com/opnsense/core/issues/1821

Ich konnte das Problem temporär mit dem Aktivieren des Gateway switching  --> Allow default gateway switching lösen.

Code: [Select]

Jan 17 08:12:43 opnsense: /usr/local/etc/rc.newwanip: Switching default gateway to WAN1_xxx_WLAN_DHCP (178.x.x.x)
Jan 17 08:12:43 opnsense: /usr/local/etc/rc.newwanip: On (IP address: 24.x.x.x) (interface: WAN0_xxx[wan]) (real interface: igb0).
Jan 17 08:12:43 opnsense: /usr/local/etc/rc.newwanip: IP renewal is starting on 'igb0'
Eventuell hilft es ja dem ein oder anderen weiter, bis nach der v18.1 und dem endgültigen Fix.

Grüße

[d33jay]

Hallo, hänge mich auch mal mit dran. Auch ich habe MultiWAN aktiviert und das verhalten feststellen können.

Wie bzw. wo konfiguriere ich das Gateway switching?

LG, d33jay

[mimugmail]

Firewall Settings Advanced