OPNSense HA -> Apply Changes dauert bis zu 60 Sekunden

[itkoa]

Hallo zusammen,

ich habe zwei virtuelle OPNSense unter vsphere 6.0 am laufen. Beide OPNSense laufen im HA Verbund. Nach VMware vSwitch Aktivierung von Promiscuous funktioniert auch CARP und die Bereitstellung der Virtuellen IP`s ohne Probleme.

Solange ich beide OPNSense Firewalls auf dem gleichen VMware Host betreibe verhaltet sich der HA Cluster  einwandfrei. Einstellungen an der der Primären Firewall z.B. Änderungen der Firewallregeln werden in ca. 1 Sekunde an den redundanten Partner übergeben. Der Failover funktioniert ohne oder mit max. einem Pingverlust.

Wird nun eine der beiden Firewalls auf den zweiten Host verschoben gibt es Probleme beim HA Abgleich von Konfigurationsänderungen. Die gleichen Firewall Regeländerungen die zuvor ca. 1 Sekunde benötigen dauern nur bis zu 60 Sekunden. Genauer gesagt nur die Rückmeldung im Webbrowser, die eigentliche Einstellung ist nach ca. 5-10 Sekunden durch.

Aus meiner Sicht handelt es sich um ein Problem mit CARP wenn CARP den vSwitch verlässt über Physik zu einem anderen vSwitch geleitet wird und dort ankommt. Solange CARP innerhalb von einem vSwitch gehalten wird ist alles ok. Inzwischen wurde die Redundanzverbindung zwischen den Host Servern ohne physischem Switch direkt verbunden. Auch dies bewirkt keine Besserung. Der eigentliche Firewall Failover usw. funktioniert ohne Probleme.

Bitte um kurzes Feedback ob jemanden das Problem bekannt ist.

Danke vielmals

ITKOA

[greg124816]

I do not speak German, but I think I understand your comments from reading the translation by Chrome browser. Hopefully you will be able to translate my reply, or someone could translate it for us

I see a similar situation with firewall rule changes taking up to 60 seconds to complete from the moment I hit save/apply. I frequently enable/disable several firewall rules to control  internet access for several users throughout the day. So several times a day I wait up to 60 seconds for a rule to be confirmed as applied. It's every time and not once in a while.

If I switch to non-HA setup(remove the IP/URI for HA sync partner), rule changes are applied within 1 or 2 seconds. I have Quad Core Celeron J1900 physical hardware for each firewall, not VMs.

I have monitored the actual pf ruleset from command line via ssh/shell into the machines while making a change via the web gui. The pf rules are modified quickly (less than 5 seconds as you say), the delay is only in the web response to the browser to indicate the changes are complete.

I believe it has nothing to do with CARP itself, as my translation of your post suggests. The changed settings are sent over via XMLRPC to the HA partner IP as set on the HA Settings page. I am using the IP of the HA Partners SYNC interface. Are you using the "LAN IP" of the partner as the HA Sync IP?

I have not had time to troubleshoot thoroughly but since no one has replied to your post, I wanted to say I see similar behavior... without VMs so I think your problem is not VM related. Although, I do not have any solution for you.

[RainerR]

Hi ITKOA,

hast du zwischenzeitlich eine Lösung gefunden?

Falls nicht dann beschreib doch mal die Netzwerkkonfiguration von deinen ESXi und füge eine Topologie Skizze hinzu.
Ich würde mir das Szenario dann mal in einer Laborumgebung nachbauen und versuchen dies zu reproduzieren.

Interessant ist auch die VM Konfiguration.
Hast du die VMware Tools installiert, wieviel Netzwerk Adapter hast du konfiguriert, welchen Netzwerk Adaptertyp nutzt du in der VM, welches Gastbetriebssystem hast du für die VMs gewählt, wieviel RAM hast du zugewiesen, wieviel CPU/Cores hast du zugewiesen, ... ?

Grüße,
Rainer.