Hallo zusammen,
ich habe mich entschlossen, meinen seit vielen Jahren zuverlässig laufenden Sophos UTM HA-Cluster in meinem IT-Homelab nun auf OPNsense umzustellen. Daher habe ich heute die beiden OPNsense Firewall Knoten mit der ISO von OPNsense installiert und auch HA eingerichtet. Ich bin dazu nach der Anleitung von Thomas Krenn vorgegangen (https://www.thomas-krenn.com/en/wiki/OPNsense_HA_Cluster_configuration). Für das WAN- und DMZ-Interface funktioniert das auch richtig, aber mit dem LAN-Interface nicht - beide Firewall-Knoten zeigen die CARP-VIP für LAN im Modus BACKUP an.
Die beiden Knoten befinden sich als VMs jeweils auf einem separaten ESXi 8.0 Host. Cluster, LAN, WAN und DMZ sind separate VMXNET3 Netzwerkkarten in der VM und sind an separaten vSwitches angeschlossen, an denen wiederum jeweils eigene physikalische Netzwerkkarten des Hosts angebunden sind - für LAN sogar 2 physikalische Netzwerkkarten. Für LAN habe ich auf den ESXi-Hosts einen vSwitch mit mehreren VLANs eingerichtet. Die VLAN-ID der Portgruppe ist 4.095 (Trunk). Das Standard-LAN ist untagged, die weiteren LANs sind tagged. Die beiden physikalischen Netzwerkkarten für LAN sind jeweils an zwei unterschiedlichen physikalischen Switchen angebunden.
Mit dieser Konfiguration erreiche ich ohne Probleme die Management-IPs der beiden Firewall-Knoten. Die Management-IPs befinden sich im untagged LAN. Dementsprechend komme ich auch auf die Admin-Oberfläche der beiden Systeme.
Auf den beiden Knoten habe ich die VLANs noch nicht angelegt. Hier weiß ich noch nicht, ob ich hier auch jedes Mal eine CARP-Konfiguration vornehmen muss oder ob dafür auch ein IP-Alias ausreichen würde. Ich habe derzeit lediglich eine CARP-VIP für das untagged LAN eingerichtet. Die weiteren LANs würde ich erst einrichten, wenn das HA für das Standard-LAN funktional habe.
Nun frage ich mich, warum die beiden Firewall-Knoten die CARP-VIP für das LAN im Modus Backup anzeigen? Aus einem mir nicht ersichtlichen Grund können die beiden Firewall-Knoten nicht über die LAN-Interfaces miteinander kommunizieren.
Was kann ich tun, um den Fehler zu beheben?
Vielen Dank und viele Grüße
TheExpert
- tagged und untagged nicht mischen
- generell das Tagging dem Hypervisor überlassen, also eine Port Group pro VLAN, eine virtuelle Netzwerkkarte pro VLAN im OPNsense Gast
- natürlich auf jedem Interface eine CARP-Adresse
Vielen Dank. Ich habe mir schon fast gedacht, dass alle VLANs getagged sein müssen.
Die derzeitige beschriebene Konfiguration habe ich von der Sophos UTM übernommen, bei der das interne LAN nicht getagged sein darf.
Ich werde heute einen neuen Trunk in den ESXi-Hosts anlegen, in dem alle LANs getagged sind. Dazu nehme ich dann einfach die redundanten physikalischen Netzwerk-Verbindungen zu einem der beiden Switche aus den bisherigen vSwitches heraus und ordne diese den neuen vSwitches zu.
Die Konfiguration von je einer virtuellen Netzwerkkarte pro VLAN halte ich für sehr komplex. Klar, in OPNsense muss pro VLAN ein Gerät eingerichtet werden. Hast Du vielleicht das mit virtueller Netzwerkkarte gemeint?
Ich hab gemeint, alle VLANs im Hypervisor anzulegen und dem OPNsense-Gast für jedes VLAN eine eigene Netzwerkkarte zu konfigurieren. Dann ist zum einen tagged/untagged egal, die OPNsense sieht ja nirgendwo VLANs. Zum anderen funktioniert es. Das ist die empfohlene Konfiguration, wenn man eine Firewall virtualisiert. Virtuelle Switche, VLANs, Gedöns ... macht alles der Hypervisor.
OK, danke.
Ich kann jetzt schon mal sagen, dass nun auch die CARP-VIP für LAN korrekt funktioniert, nachdem ich die redundanten physikalischen Netzwerkkarten aus dem Trunk für die Sophos entnommen, auf dem Switch die entsprechenden Ports auf "Tag all" gesetzt und in den ESXi-Hosts einen neuen vSwitch mit 2 Portgruppen erstellt habe:
1. Trunk-Portgruppe mit VLAN-ID 4.095
2. LAN-Portgruppe mit der VLAN meines LANs
Die virtuelle Netzwerkkarte für LAN der beiden OPNsense VMs habe ich dann mit jeweils mit der Trunk-Portgruppe verbunden und in OPNsense habe ich für das LAN ein VLAN eingerichtet und der LAN-Schnittstelle der OPNsense zugewiesen.
Den Failover und Faultback habe ich bereits erfolgreich testen können.
Nun werde ich in der OPNsense die weiteren VLANs einrichten und dafür die CARP-VIPs anlegen. Da es sich auch hier um LAN-Netzwerke handelt, packe ich diese ebenfalls auf die LAN-Schnittstelle der OPNsense. Dann gehen alle LAN-VLANs über eine Netzwerkkarte. Ich sehe nicht viel Mehrwert, für jedes VLAN eine eigene virtuelle Netzwerkkarte anzulegen, denn letztlich wird der Datenverkehr für die LANs immer über ein und die selbe Netzwerkverbindung geleitet.
Quote from: TheExpert on February 08, 2026, 01:09:58 PMIch sehe nicht viel Mehrwert, für jedes VLAN eine eigene virtuelle Netzwerkkarte anzulegen,
Der Mehrwert ist, dass es funktioniert. Man macht das seit Jahrzehnten in Hypervisor-Umgebungen genau so. Wenn bei deinem geplanten Setup Probleme auftreten, wird dir wahrscheinlich niemand helfen können.
Quote from: TheExpert on February 08, 2026, 01:09:58 PMIch sehe nicht viel Mehrwert, für jedes VLAN eine eigene virtuelle Netzwerkkarte anzulegen, denn letztlich wird der Datenverkehr für die LANs immer über ein und die selbe Netzwerkverbindung geleitet.
Wenn der Hypervisor die auch ohne ordentlich durchschleift, sollte das auch nicht nötig sein. Aber eventuell muss ihm das erst beigebracht werden.
Ich habe meine OPNsense hier auf KVM virtualisiert und auf dem Netzwerkport zum WLAN AP mit 5 VLANs auch nichts davon am Host eingerichtet, nachdem der nicht mehr damit tun soll, als die Hardware-Schnittstelle mit der VM zu verbinden. Das läuft seit Jahren so ohne Probleme.
Wenn du aber den kompletten Trunk an OPNsense anbindest, musst du auf jeder OPN jedes VLAN samt einer IP einrichten und sicherstellen, dass beide über diese eine Layer 2 Verbindung haben, damit CARP funktioniert.
Quote from: viragomann on February 08, 2026, 05:06:34 PMQuote from: TheExpert on February 08, 2026, 01:09:58 PMIch sehe nicht viel Mehrwert, für jedes VLAN eine eigene virtuelle Netzwerkkarte anzulegen, denn letztlich wird der Datenverkehr für die LANs immer über ein und die selbe Netzwerkverbindung geleitet.
Wenn der Hypervisor die auch ohne ordentlich durchschleift, sollte das auch nicht nötig sein. Aber eventuell muss ihm das erst beigebracht werden.
Ich habe meine OPNsense hier auf KVM virtualisiert und auf dem Netzwerkport zum WLAN AP mit 5 VLANs auch nichts davon am Host eingerichtet, nachdem der nicht mehr damit tun soll, als die Hardware-Schnittstelle mit der VM zu verbinden. Das läuft seit Jahren so ohne Probleme.
Wenn du aber den kompletten Trunk an OPNsense anbindest, musst du auf jeder OPN jedes VLAN samt einer IP einrichten und sicherstellen, dass beide über diese eine Layer 2 Verbindung haben, damit CARP funktioniert.
Ja, genau so habe ich es jetzt auch gemacht und das CARP funktioniert sofort für die weiteren VLANs :-).
Passthrough der kompletten Netzwerkkarte ist natürlich auch eine Option. Nur VLANs auf einer virtuellen Karte würde ich bleiben lassen.
Quote from: Patrick M. Hausen on February 08, 2026, 05:45:59 PMPassthrough der kompletten Netzwerkkarte ist natürlich auch eine Option.
Hätte ich auch vorgezogen, aber das macht meine Hardware nicht mit. :-(
Wie hast du dann "die Hardware-Schnittstelle mit der VM verbunden"?
Über eine Linux Bridge.
Habe das vielleicht unglücklich formuliert, aber es ist ja dennoch eine Verbindung.
Also ein virtuelles Interface im Gast-OS? Und da packst du VLANs drauf? Bin ehrlich überrascht, dass das funktioniert.
Ja. Mit einer Linux Bridge kann ich jedes virtuelle Interface von Gast-VMs wie auch Hardware Interface verbinden, von beiden auch mehrere. Das ist dann einfach eine Layer 2 Verbindung wie ein vSwitch auf dem alles offen ist.
Ich habe aber auf jeder Bridge nur eine Hardware NIC und eine VM NIC. Nur auf der LAN Bridge hat der Host auch eine IP.
Da läuft auch PPPoE wunderbar drüber.