WAN - CARP - Gateway Lost bei Standbye Firewall ?

[almo]

Hallo Zusammen,

ich betreibe zwei OPNSense 19.7.3 als Cluster in einem RZ. Und habe daher für die WAN zum Router CARP im Einsatz. Soweit funktioniert auch alles. Mir ist jetzt nur was aufgefallen was vor einigen Monaten noch nicht so war.

Die Firewall die nicht aktiv prio ist verliert immer die WAN Gateway und zeigt diese im Dashboard als Offline an.
Das hatte ich bis her nicht, auf der Standbye war die Gateway in der Überwachung auch immer aktiv online.

Wenn ich jetzt die Prio in den CARP Wartungsmodus schicke, geht die Standbye ja diret online und wird Master. Dann ist das Gateway auch plötzlich sofort online.

Auch reagiert die Webgui auf der Standbye sehr langsam wenn Sie nicht Master ist.

Im Anhang noch eine Skizze vom Aufbau im RZ.

Wie kommt dieses Verhalten und wie kann ich dafür sorgen das auch die Gateway in der Überwachung der Standbye wieder dauerhaft online ist.

Danke

[mimugmail]

Hast du auch einen Sync gemacht? Bei mir mit 19.7.3 gehts ...

[almo]

Hast du auch einen Sync gemacht? Bei mir mit 19.7.3 gehts ...

Also wenn du den Sync zwischen den Firewall meinst der läuft.

[mimugmail]

Aber den musst du ja nach fast jeden Änderung noch mal manuell nachziehen. Gateway configs werden ja auch gesynct.

[almo]

Aber den musst du ja nach fast jeden Änderung noch mal manuell nachziehen. Gateway configs werden ja auch gesynct.

Ich habe das ganze jetzt nochmal manuell geprüft und manuell den Sync nochmal ausgelöst. Aber es ändert sich nicht.

Firewall 1: (Master)

Gateway Online, CARP Status: Master
Ping zum RZ Router: funktioniert

---

Firewall 2: (Secondary)

Gateway Offline, CARP Status: BACKUP
Ping zum RZ Router: funktioniert nicht


Erst wenn ich den CARP auf der Master in die Wartung schicke und de Secondary Master ist funktioniert auf der Firewall 2 auch der Ping zum Router.

Ich frage mal beim RZ Dienstleister nach ob der Router nicht den zweiten Port irgendwie offline nimmt ...

[mimugmail]

Ich hab hier nen Azubi das aufsetzen lassen und sogar der hat das hinbekommen.
Entweder passt was an der Config nicht, z.B. alter Wert auf 17.7 mit jedem Update mitgezogen, oder im RZ ist was komisch.

Logs wären auch nicht verkehrt :)

[almo]

Mir ist gerade folgendes aufgefallen:

Wenn ich die Funktion in den presistenten CARP Wartungsmodus wechseln benutzer auf der Master passiert nichts. Wenn ich auf der Master den CARP temporär deaktivierer schwenkt alles auf de Secondary auf Master.

Ich habe auf LAN und WAN folgende Regel:

Code Select Expand

IPv4+6 CARP * * * * * *

Und auf der pfSync Schnittstelle die von FW zu FW eine direkte Verbindung ist eine:

Code Select Expand

IPv4+6 * * * Diese Firewall * * *

Wo würde ich den passende Logs fürs CARP finden?

Ich habe die FW dieses Jahr komplett bei 0 Angefangen, auf neuer Hardware mit einer frischen Setup von Version 19.0 im Januar.

[mimugmail]

Via console: clog -f /var/log/system.log


Sind das virtuelle Maschinen? Bin mir nicht sicher ob das CARP sauber läuft bei dir.

[almo]

Sind zwei echte Maschinen.

Ich hab dir die Syslog per PN geschickt.

Was ich auch komisch finden ist das hier:

"Sep 6 09:03:42   opnsense: /usr/local/etc/rc.syshook.d/carp/20-openvpn: Resyncing OpenVPN instances for interface 10.100.15.240 - .
Sep 6 09:03:42   opnsense: /usr/local/etc/rc.syshook.d/carp/20-openvpn: Carp cluster member "10.100.15.240 - (2@lagg0)" has resumed the state "BACKUP" for vhid 2"

Es ist keine OpenVPN Instanz eingerichtet.

[almo]

Ich suche immer noch Hilfe :(

Update: Es ist jetzt Version 19.7.4 im Einsatz auf beiden.

Beim Anbieter sind es direkt zwei Routerports, da ist kein Switch dazwischen. Kann es sein das der Cisco Switch auf den LWL Modulen CARP blockiert oder unterdrückt?

[mimugmail]

Routerports? Aber im gleichen Subnetz? Wie soll das denn funktionieren? Du musst sagen dass du ein Vlan brauchst, und als WAN mind. /29, dann kann man das sauber machen. Bitte auch darauf hinweisen dass igmp snooping Probleme macht. Grosse virtuelle Hoster wie IONOS unterstützen das z.B. grundsätzlich nicht.

[almo]

Ich habe ein VLAN für meine 129. WAN Adressen und ich habe dort eine ganzes Subnetz.

Die beiden Routerports befinden sich im selben VLAN und im selben Subnetz.

Bei IONOS bin ich zum Glück nicht. Ich werde jetzt einfach mal beim RZ Betreiber nachfragen ob am Cisco Router irgendwas aktiviert oder eingestellt ist was auf CARP Auswirkungen hätte.

[mimugmail]

CARP ist mehr oder weniger das Gleiche wie VRRP (falls die CARP nicht kennen)

[almo]

Die Antwort vom RZ Support:

wenn ich Monitore sehe ich weder von der x.x.x.250 noch von der x.x.x.251 pings bei der x.x.x.254 (Router) ankommen (ich sehe nur pings von der x.x.x.253). Deshalb gehe ich davon aus das die Firewalls das über das falsche Interface versuchen oder nur von der virtuelle IP passiert. Dann wäre es normal wenn die Standby nichts anzeigt.

Gateway-Monitoring ist im allgemeinen eine schlechte Idee, da dies im Regelfall
mittels icmp gemacht wird. Unserer Router antworten aufgrund der CPP nicht
(https://www.cisco.com/c/en/us/td/docs/ios/12_2sb/feature/guide/cpp.html)
immer auf icmp. Da es sich hier um öffentliche IPs handelt kann es durchaus
passieren, dass mal auf icmp geantwortet wird und mal halt nicht.

Entweder Sie Monitoren ein oder mehrere Ziele hinter dem Gateway (nicht das
Gateway selber) oder sie deaktivieren das Gateway-Monitoring (so machen wir es bei unseren virtuellen Firewalls).

Sollten Sie die Firewall auf einer virtuellen Umgebung einsetzen, müssen Sie beachten,
dass ggf. noch entsprechende vSwitch-Einstellungen gemacht werden müssen.

Ist dann so gesehen das verhalten der Firewall richtig ? Oder habe ich eine Konfigurationsfehler.

[mimugmail]

Wie sieht denn die Anfrage an den Support aus? Bei vSwitch braucht man evtl. promisc mode