LAN -> WANGWGROUP (MultiWAN) nutzt Source WAN-IP vom anderen WAN-Interface

[Udo]

Hallo zusammen,

ich habe auf zwei Servern OPNsense 19.7 installiert und die neusten
Updates eingespielt. Auf beiden Servern (identische HW) wurden in
der gleichen Reihenfolge die Interfaces angelegt und identisch
zugeordnet (gleiche Benennung). Zudem habe ich ein HA-Cluster (CARP)
inkl. der VIPs konfiguriert.

FW1:
PFSYNC = 192.168.1.1/24
LAN (VLAN) = 192.168.150.1/24 (VIP 192.168.150.3/24)
WAN1 = 37.X.114.66/28 (VIP 37.X.114.68/28)
WAN2 = 37.X.116.66/28 (VIP 37.X.116.68/28)

FW2:
PFSYNC = 192.168.1.2/24
LAN (VLAN) = 192.168.150.2/24 (VIP 192.168.150.3/24)
WAN1 = 37.X.114.67/28 (VIP 37.X.114.68/28)
WAN2 = 37.X.116.67/28 (VIP 37.X.116.68/28)

Firewall -> NAT -> Outbound -> "Manual outbound NAT rule generation"
1. WAN1; (Source: LAN net); (Translation / target: 37.X.114.68/28)
2. WAN2; (Source: LAN net); (Translation / target: 37.X.116.68/28)

Die beiden Gateways der zwei WAN-Verbindungen habe ich als WANGWGROUP
zusammengefasst (MultiWAN). Dabei sind beide GWs als Tier1 (Loadbalance)
konfiguriert und haben ansonsten auch die gleichen Prioritäten.

Firewall -> Settings -> Advanced
- Sticky Connections ist aktiviert
- Shared forwarding ist aktiviert

In der Firewall ist in der LAN-Rule (Default-Rule) als Gateway die
WANGWGROUP zugewiesen.

Der HA-Cluster funktioniert einwandfrei, wie die Tests zeigten.

Ich sah nun im packet capture auf WAN1 und WAN2, dass sehr häufig die
VIP des anderen WAN-Interfaces für Pakete (LAN -> WAN*) genutzt wird,
worauf dann natürlich keine Antwortpakete kommen!
Manchmal wird aber auch die korrekte Absenderadresse verwendet.

Ich ging eigentlich davon aus, dass durch die o.g. NAT-Outbound Rules
die abgehende Source-IP klar definiert ist.

Mein Verdacht war, dass es am HA-Setup liegt, daher habe ich HA für
die WAN-Interfaces deaktiviert und die VIPs gelöscht.

Firewall -> NAT -> Outbound -> "Automatic outbound NAT rule generation"

Ich habe nun erwartet, dass jetzt nur noch die dem WAN-Interface zugeordnete
IP-Adresse als Absenderadresse verwendet wird.

Der Fehler trat weiterhin auf und packet capture zeigte, dass nun
sehr häufig statt zuvor der VIP, die IP des anderen WAN-Interfaces für
(LAN -> WAN*) als Absenderadresse verwendet wird. Hierauf können
natürlich auch keine Antworten kommen, da es eine andere Leitung mit
einem eigenen Subnetz ist. Es wird aber manchmal auch die korrekte
Absenderadresse verwendet.

Eine Internetrecherche brachte mich zu folgendem Beitrag:

https://github.com/opnsense/core/issues/2376

Daraufhin habe ich unter Firewall -> Settings -> Advanced

- Shared forwarding deaktiviert

Das Problem ist damit deutlich besser und wesentlich seltener geworden!
Allerdings ist es nicht 100% gelöst, da ich es anschließend trotzdem noch
ein paar Mal bemerkte und auch in dem Zusammenhang im packet capture
wieder sah.

Erst eine Deaktivierung von "Sticky connections" (hier kann dann anscheinend
"Shared forwarding" problemlos aktiviert sein) scheint derzeit eine
100 prozentige Lösung für das Problem zu sein! In der Konstellation konnte
ich das Problem bis jetzt nicht mehr reproduzieren.

Ich möchte aber sehr gern "Sticky connections" nutzen, da einige Webseiten und
Onlineshops dies benötigen. Daher ist die o.g. Konstellation für mich auch
keine wirkliche Lösung.

Habt Ihr eine Idee, was die Ursache für diese Problematik ist?

Warum nutzt OPNsense nicht einfach die manuellen Outbound-NAT rules?

Viele Grüße

Udo

[GOCE]

Wow, seit ein paar Tagen kaempfe ich exakt mit den gleichen Symptomen!
Mein Setup ist interssanterweise nahezu identisch. Werde jetzt ebenfalls
ein paar Packet Captures durchfuehren um ganz sicher zu gehen.

Sollte es ein Fix geben bin ich gerne Bereit beim Testen zu helfen.

Gruesse,

GOCE