Hallo Zusammen,
ich betreibe zwei OPNSense 19.7.3 als Cluster in einem RZ. Und habe daher für die WAN zum Router CARP im Einsatz. Soweit funktioniert auch alles. Mir ist jetzt nur was aufgefallen was vor einigen Monaten noch nicht so war.
Die Firewall die nicht aktiv prio ist verliert immer die WAN Gateway und zeigt diese im Dashboard als Offline an.
Das hatte ich bis her nicht, auf der Standbye war die Gateway in der Überwachung auch immer aktiv online.
Wenn ich jetzt die Prio in den CARP Wartungsmodus schicke, geht die Standbye ja diret online und wird Master. Dann ist das Gateway auch plötzlich sofort online.
Auch reagiert die Webgui auf der Standbye sehr langsam wenn Sie nicht Master ist.
Im Anhang noch eine Skizze vom Aufbau im RZ.
Wie kommt dieses Verhalten und wie kann ich dafür sorgen das auch die Gateway in der Überwachung der Standbye wieder dauerhaft online ist.
Danke
Hast du auch einen Sync gemacht? Bei mir mit 19.7.3 gehts ...
Quote from: mimugmail on September 05, 2019, 12:12:49 PM
Hast du auch einen Sync gemacht? Bei mir mit 19.7.3 gehts ...
Also wenn du den Sync zwischen den Firewall meinst der läuft.
Aber den musst du ja nach fast jeden Änderung noch mal manuell nachziehen. Gateway configs werden ja auch gesynct.
Quote from: mimugmail on September 05, 2019, 01:36:23 PM
Aber den musst du ja nach fast jeden Änderung noch mal manuell nachziehen. Gateway configs werden ja auch gesynct.
Ich habe das ganze jetzt nochmal manuell geprüft und manuell den Sync nochmal ausgelöst. Aber es ändert sich nicht.
Firewall 1: (Master)
Gateway Online, CARP Status: Master
Ping zum RZ Router: funktioniert
---
Firewall 2: (Secondary)
Gateway Offline, CARP Status: BACKUP
Ping zum RZ Router: funktioniert nicht
Erst wenn ich den CARP auf der Master in die Wartung schicke und de Secondary Master ist funktioniert auf der Firewall 2 auch der Ping zum Router.
Ich frage mal beim RZ Dienstleister nach ob der Router nicht den zweiten Port irgendwie offline nimmt ...
Ich hab hier nen Azubi das aufsetzen lassen und sogar der hat das hinbekommen.
Entweder passt was an der Config nicht, z.B. alter Wert auf 17.7 mit jedem Update mitgezogen, oder im RZ ist was komisch.
Logs wären auch nicht verkehrt :)
Mir ist gerade folgendes aufgefallen:
Wenn ich die Funktion in den presistenten CARP Wartungsmodus wechseln benutzer auf der Master passiert nichts. Wenn ich auf der Master den CARP temporär deaktivierer schwenkt alles auf de Secondary auf Master.
Ich habe auf LAN und WAN folgende Regel:
IPv4+6 CARP * * * * * *
Und auf der pfSync Schnittstelle die von FW zu FW eine direkte Verbindung ist eine:
IPv4+6 * * * Diese Firewall * * *
Wo würde ich den passende Logs fürs CARP finden?
Ich habe die FW dieses Jahr komplett bei 0 Angefangen, auf neuer Hardware mit einer frischen Setup von Version 19.0 im Januar.
Via console: clog -f /var/log/system.log
Sind das virtuelle Maschinen? Bin mir nicht sicher ob das CARP sauber läuft bei dir.
Sind zwei echte Maschinen.
Ich hab dir die Syslog per PN geschickt.
Was ich auch komisch finden ist das hier:
"Sep 6 09:03:42 opnsense: /usr/local/etc/rc.syshook.d/carp/20-openvpn: Resyncing OpenVPN instances for interface 10.100.15.240 - .
Sep 6 09:03:42 opnsense: /usr/local/etc/rc.syshook.d/carp/20-openvpn: Carp cluster member "10.100.15.240 - (2@lagg0)" has resumed the state "BACKUP" for vhid 2"
Es ist keine OpenVPN Instanz eingerichtet.
Ich suche immer noch Hilfe :(
Update: Es ist jetzt Version 19.7.4 im Einsatz auf beiden.
Beim Anbieter sind es direkt zwei Routerports, da ist kein Switch dazwischen. Kann es sein das der Cisco Switch auf den LWL Modulen CARP blockiert oder unterdrückt?
Routerports? Aber im gleichen Subnetz? Wie soll das denn funktionieren? Du musst sagen dass du ein Vlan brauchst, und als WAN mind. /29, dann kann man das sauber machen. Bitte auch darauf hinweisen dass igmp snooping Probleme macht. Grosse virtuelle Hoster wie IONOS unterstützen das z.B. grundsätzlich nicht.
Ich habe ein VLAN für meine 129. WAN Adressen und ich habe dort eine ganzes Subnetz.
Die beiden Routerports befinden sich im selben VLAN und im selben Subnetz.
Bei IONOS bin ich zum Glück nicht. Ich werde jetzt einfach mal beim RZ Betreiber nachfragen ob am Cisco Router irgendwas aktiviert oder eingestellt ist was auf CARP Auswirkungen hätte.
CARP ist mehr oder weniger das Gleiche wie VRRP (falls die CARP nicht kennen)
Die Antwort vom RZ Support:
Quotewenn ich Monitore sehe ich weder von der x.x.x.250 noch von der x.x.x.251 pings bei der x.x.x.254 (Router) ankommen (ich sehe nur pings von der x.x.x.253). Deshalb gehe ich davon aus das die Firewalls das über das falsche Interface versuchen oder nur von der virtuelle IP passiert. Dann wäre es normal wenn die Standby nichts anzeigt.
Gateway-Monitoring ist im allgemeinen eine schlechte Idee, da dies im Regelfall
mittels icmp gemacht wird. Unserer Router antworten aufgrund der CPP nicht
(https://www.cisco.com/c/en/us/td/docs/ios/12_2sb/feature/guide/cpp.html)
immer auf icmp. Da es sich hier um öffentliche IPs handelt kann es durchaus
passieren, dass mal auf icmp geantwortet wird und mal halt nicht.
Entweder Sie Monitoren ein oder mehrere Ziele hinter dem Gateway (nicht das
Gateway selber) oder sie deaktivieren das Gateway-Monitoring (so machen wir es bei unseren virtuellen Firewalls).
Sollten Sie die Firewall auf einer virtuellen Umgebung einsetzen, müssen Sie beachten,
dass ggf. noch entsprechende vSwitch-Einstellungen gemacht werden müssen.
Ist dann so gesehen das verhalten der Firewall richtig ? Oder habe ich eine Konfigurationsfehler.
Wie sieht denn die Anfrage an den Support aus? Bei vSwitch braucht man evtl. promisc mode
Das war meine Anfrage:
Quote
Sehr geehrter Herr xyz,
auf unseren neuen Firewall benutzen wir CARP(https://de.wikipedia.org/wiki/Common_Address_Redundancy_Protocol ) Interfaces für die Konfiguration zwischen den Firewalls. Mir ist jetzt vor kurzem aufgefallen das auf der Stand-by Firewall immer das Gateway vom VLAN 809 als offline angezeigt wird. Mache ich aber die Stand-by zur Masterfirewall ist das Gateway erreichbar. Vor einiger Zeit war bei beiden das Gateway immer aktiv. So wie bei den anderen VLAN's auch. (Siehe Screenshots)
Folgende Konfiguration ist im Einsatz:
Master Firewall IP VLAN 809 Interface: 129.X.X.250/24
Backup Firewall IP VLAN 809 Interface: 129.X.X.251/24
CARP Interface für WAN: 129.x.x.253/24 (Was immer auf einer Firewall Master und auf der anderen Backup ist)
Bei den VLANs 2606, 2673, 2070, ist es auch eine CARP Konfiguration da funktioniert das mit der Gateway ohne Probleme auf beiden Firewall Einheiten.
Haben Sie einer Erklärung? Blockiert evtl. irgendwas am Router im VLAN 809 die CARP-Funktionalität ?
Evtl. haben Sie auch mehr Informationen von der Gegenseite für mich um das Problem zu finden.
Screenshots:
Prime FW:
Backup Firewall:
Hi,
warum geht man mit dem Uplink direkt in die Firewall?
Ich habe bei mir im RZ vom Provider 2 Kabel mit 3 IPs (2x router, 1x VRRP) von deren Seite in einem LAN. Mit den zwei Kabeln gehe ich zuerst in den switch cluster (eins oben eins unten rein, per trunk verbunden).
Der Trunk bekommt eine VLAN-ID und dann geht es in die firewalls per VLAN über ein LACP lagg mit beiden switches. Und von da aus dann weiter über andere VLANs wieder zurück in den gleichen switch cluster.
Wenn beim Provider was nicht ok ist, kommt es deswegen nicht zu einem Problem bei den Firewalls.
Wenn ich nicht sicher bin, ob bei mir oder dem Provider was nicht stimmt, bekommt der Port auf dem Switch eine IP und dann wird pro Strecke getestet.
Und so weiter.
Wenn da noch zwei Ports auf dem Switch (cluster?) frei sind, dann würde ich das mal so probieren.
QuoteHi,
warum geht man mit dem Uplink direkt in die Firewall?
Weil es beim Dienstleister des RZ nicht anders möglich war. Und da können wir jetzt so viel diskutieren wie wir wollen, so wie die Leitungen stehen stehen sie nun mal daran kann ich nichts ändern. Ich versuche nur eben raus zu finden warum ich dieses CARP Problem auf dem VLAN für WAN habe. Auf den anderen VLANS die auch vom Router kommen aber interne Netze sind zu anderen RZ-Räumen oder Standorten habe ich dieses Problem nicht.