HA mit CARP: LAN VIP wird auf beiden Knoten im Modus BACKUP angezeigt

[TheExpert]

Hallo zusammen,

ich habe mich entschlossen, meinen seit vielen Jahren zuverlässig laufenden Sophos UTM HA-Cluster in meinem IT-Homelab nun auf OPNsense umzustellen. Daher habe ich heute die beiden OPNsense Firewall Knoten mit der ISO von OPNsense installiert und auch HA eingerichtet. Ich bin dazu nach der Anleitung von Thomas Krenn vorgegangen (https://www.thomas-krenn.com/en/wiki/OPNsense_HA_Cluster_configuration). Für das WAN- und DMZ-Interface funktioniert das auch richtig, aber mit dem LAN-Interface nicht - beide Firewall-Knoten zeigen die CARP-VIP für LAN im Modus BACKUP an.

Die beiden Knoten befinden sich als VMs jeweils auf einem separaten ESXi 8.0 Host. Cluster, LAN, WAN und DMZ sind separate VMXNET3 Netzwerkkarten in der VM und sind an separaten vSwitches angeschlossen, an denen wiederum jeweils eigene physikalische Netzwerkkarten des Hosts angebunden sind - für LAN sogar 2 physikalische Netzwerkkarten. Für LAN habe ich auf den ESXi-Hosts einen vSwitch mit mehreren VLANs eingerichtet. Die VLAN-ID der Portgruppe ist 4.095 (Trunk). Das Standard-LAN ist untagged, die weiteren LANs sind tagged. Die beiden physikalischen Netzwerkkarten für LAN sind jeweils an zwei unterschiedlichen physikalischen Switchen angebunden.

Mit dieser Konfiguration erreiche ich ohne Probleme die Management-IPs der beiden Firewall-Knoten. Die Management-IPs befinden sich im untagged LAN. Dementsprechend komme ich auch auf die Admin-Oberfläche der beiden Systeme.

Auf den beiden Knoten habe ich die VLANs noch nicht angelegt. Hier weiß ich noch nicht, ob ich hier auch jedes Mal eine CARP-Konfiguration vornehmen muss oder ob dafür auch ein IP-Alias ausreichen würde. Ich habe derzeit lediglich eine CARP-VIP für das untagged LAN eingerichtet. Die weiteren LANs würde ich erst einrichten, wenn das HA für das Standard-LAN funktional habe.

Nun frage ich mich, warum die beiden Firewall-Knoten die CARP-VIP für das LAN im Modus Backup anzeigen? Aus einem mir nicht ersichtlichen Grund können die beiden Firewall-Knoten nicht über die LAN-Interfaces miteinander kommunizieren.

Was kann ich tun, um den Fehler zu beheben?

Vielen Dank und viele Grüße

TheExpert

[Patrick M. Hausen]

- tagged und untagged nicht mischen
- generell das Tagging dem Hypervisor überlassen, also eine Port Group pro VLAN, eine virtuelle Netzwerkkarte pro VLAN im OPNsense Gast
- natürlich auf jedem Interface eine CARP-Adresse

[TheExpert]

Vielen Dank. Ich habe mir schon fast gedacht, dass alle VLANs getagged sein müssen.

Die derzeitige beschriebene Konfiguration habe ich von der Sophos UTM übernommen, bei der das interne LAN nicht getagged sein darf.

Ich werde heute einen neuen Trunk in den ESXi-Hosts anlegen, in dem alle LANs getagged sind. Dazu nehme ich dann einfach die redundanten physikalischen Netzwerk-Verbindungen zu einem der beiden Switche aus den bisherigen vSwitches heraus und ordne diese den neuen vSwitches zu.

Die Konfiguration von je einer virtuellen Netzwerkkarte pro VLAN halte ich für sehr komplex. Klar, in OPNsense muss pro VLAN ein Gerät eingerichtet werden. Hast Du vielleicht das mit virtueller Netzwerkkarte gemeint?

[Patrick M. Hausen]

Ich hab gemeint, alle VLANs im Hypervisor anzulegen und dem OPNsense-Gast für jedes VLAN eine eigene Netzwerkkarte zu konfigurieren. Dann ist zum einen tagged/untagged egal, die OPNsense sieht ja nirgendwo VLANs. Zum anderen funktioniert es. Das ist die empfohlene Konfiguration, wenn man eine Firewall virtualisiert. Virtuelle Switche, VLANs, Gedöns ... macht alles der Hypervisor.

[TheExpert]

OK, danke.

Ich kann jetzt schon mal sagen, dass nun auch die CARP-VIP für LAN korrekt funktioniert, nachdem ich die redundanten physikalischen Netzwerkkarten aus dem Trunk für die Sophos entnommen, auf dem Switch die entsprechenden Ports auf "Tag all" gesetzt und in den ESXi-Hosts einen neuen vSwitch mit 2 Portgruppen erstellt habe:

1. Trunk-Portgruppe mit VLAN-ID 4.095
2. LAN-Portgruppe mit der VLAN meines LANs

Die virtuelle Netzwerkkarte für LAN der beiden OPNsense VMs habe ich dann mit jeweils mit der Trunk-Portgruppe verbunden und in OPNsense habe ich für das LAN ein VLAN eingerichtet und der LAN-Schnittstelle der OPNsense zugewiesen.

Den Failover und Faultback habe ich bereits erfolgreich testen können.

Nun werde ich in der OPNsense die weiteren VLANs einrichten und dafür die CARP-VIPs anlegen. Da es sich auch hier um LAN-Netzwerke handelt, packe ich diese ebenfalls auf die LAN-Schnittstelle der OPNsense. Dann gehen alle LAN-VLANs über eine Netzwerkkarte. Ich sehe nicht viel Mehrwert, für jedes VLAN eine eigene virtuelle Netzwerkkarte anzulegen, denn letztlich wird der Datenverkehr für die LANs immer über ein und die selbe Netzwerkverbindung geleitet.

[Patrick M. Hausen]

Ich sehe nicht viel Mehrwert, für jedes VLAN eine eigene virtuelle Netzwerkkarte anzulegen,

Der Mehrwert ist, dass es funktioniert. Man macht das seit Jahrzehnten in Hypervisor-Umgebungen genau so. Wenn bei deinem geplanten Setup Probleme auftreten, wird dir wahrscheinlich niemand helfen können.