Hallo Leute,
ich hab ein eigenartiges Problem mit meinem OPNSense HA Setting. Der Virtual IP Status auf meiner Backup Firewall wechselt ständig zwischen Master und Backup wenn ich diesen aktualisiere (Interfaces->Virtual IPs->Status). Das interessante ist, den Masterfirewall Status interessiert das Null, die bleibt soweit immer auf ihrem Master Status. Aufgefallen ist es mir weil ich seit einiger Zeit Probleme im Netz habe (immer wieder aussetzer bei Streams z.B.) und mich auf die Spurensuche begeben habe. Mittlerweile sind beide OPNSense neu installiert und konfiguriert und trotzdem besteht das Problem weiter.
Anbei auch ein paar Screenshots der Config und die Logs (hier ist die Rede von Timeout)
Die 2 OPNSense sind jeweils in einer Proxmox VM auf jeweils einem Node
Das Board hat 4 LAN Ports und eine SFP+ Plus Karte
LAN 1: vmbr0 PVE01 bzw PVE 02 über Ubiquiti EdgeSwitch 16 XG
LAN 2: vmbr1 - WAN1
LAN 3: vmbr2 - WAN2
LAN 4: vmbr3 - HA Sync Schnitstelle (P2P Verbindung zum anderen Host)
SFP+ Karte: vmbr4 - OPNSense LAn (und VLANs)
vmbr 1-4 sind jeweils den OPNSense VMs zugewiesen, die jeweiligen Interefaces in den Sensen sind exakt gleich eingestellt (opt1 usw)
Der Sync selbst funktioniert interessanter weise aber komplett bei jeglichen Änderungen
Vielleicht hat ja jemand eine Idee.
Danke schonmal
Liebe Grüße Patrick
Master Firewall Settings
Backup Firewall Settings
die Logs sagen was von Time Out, anpingen lassen sie die 2 Firewalls aber über das Sync Interface (any any Regel ist angelegt)
Und wenn ich unter der Backup Firewall den Carp Mode temporär deaktiviere und wieder aktiviere kommt folgende WMeldung
CARP has detected a problem and this unit has been demoted to BACKUP status.
Check link status on all interfaces with configured CARP VIPs
Hallo,
PFSYNC und CARP haben nichts miteinander zu tun, abgesehen davon, dass beide Protokolle meist gemeinsam konfiguriert und genutzt werden.
Damit ein CARP-Interface der Backup Node auch in diesem Status verbleibt, ist es erforderlich, dass es die CARP Advertisements des Masters bekommt. Der Master schickt diese auf jedem CARP-aktivierten Interface per Multicast raus.
Wenn Interfaces der Backup Node also in den Master-Status kippen, obwohl der eigentliche Mast wohlauf ist, solltest du untersuchen, ob die Advertisements am jeweiligen Interface ankommen. Das kannst mittels Packet Capture tun. CARP ist ein eigenes Protokoll, das du da auswählen kannst.
Starte dann das Capture, lasse es ein paar Sekunden laufen und schau anschließend, ob die Pakete ankommen. CARP Advertisements werden standardmäßig im Sekundentakt geschickt.
Falls da nichts da ist, solltest du die Verbindung der beiden Interface überprüfen. Die Interfaces müssen eine Layer 2 Verbindung haben, der die Advertisements durchlässt.
Also wenn ich das Packet Capture auf der LAN Schnitstelle ausführe kommt das was am Screenshot zu sehen ist raus (.11 ist die Master Firewall, .12 die Backup Firewall). Kann mit dem irgendwie nur nix anfangen. Rot ist ja eigentlich prinzipiell schlecht, andererseits schaut das danach aus als würde was ankommen.
Was ich dazusagen muss, bei der 24.x at mit der identischen Config alles ohne Probleme funktioniert. Dachte mir schon vielleicht ist es ein unter bestimmten Voraussetzungen gegebener Bug.
Habe das nämlich auch noch von jemanden geschickt bekommen habe, ist zwar PFSense aber ja - vielleicht ist ja da trotzdem auch bei der OPNSense was dran - ist halt komisch das es bisher funktioniert hat mit der Config
https://forum.netgate.com/topic/172100/ha-randomly-backup-goes-to-master-state/14
Wie gesagt, der Master schickt die Pakete normalerweise im Sekundentakt. Bei dir kommen sie aber nicht so regelmäßig an.
Zwischen 9:13:48 und :51 ist eine Lücke.
Seltsam auch, dass es um 9:13:48 2 Pakete gab.
Ich würde mal parallel am Master und Backup ein Capture machen, währenddessen auch den Backup CARP Status im Auge behalten, und wenn der Status wechselt, die Captures vergleichen.
Wenn der Master die Pakete regelmäßig schickt, sie aber nicht so ankommen, sollte das Problem irgendwo dazwischen zu suchen sein. Aber es ist schon denkbar, dass es auch an den OPNsense liegt. Sind die Schnittstellen sehr ausgelastet? Du hast ja einige VLANs, wenn die alle auf einer Hardware laufen, könnte das vielleicht zu viel sein.
Habs jetzt mal Parallel laufen lassen. Links die Master, rechts die Backup
Wie man sieht schuckt die Maser alle Sekunden aber die Backup Firewall empfängt nicht immer.
Auslastung kann ich jetzt nicht wirklich behaupten das eine da ist.
Das Sync Interface ist wie gesagt P2P wischen den 2 PVE Nodes mit 2,5 Gbit LAN und die LAN bzw. VLANs hängen mit 10Gbit an den PVEs. Traffic Reporting schaut jetzt auch nicht danach aus als wäre da was ungewöhnliches.
Das Sync-Interface ist für CARP völlig irrelevant. Ich betone das nur nochmal, damit du nicht in der falschen Ecke suchst. Das ganze CARP findet immer auf dem Link statt, auf dem die virtuelle Adresse definiert ist.
Hatten wir schon öfter hier im Forum ;-)
Du schreibst "LAN bzw. VLANs" - hast du auf ein und demselben Interface tagged und untagged gemischt? Das würde ich als erstes mal umbauen, also dann auch das LAN tagged betreiben, wenn das der Fall ist.
Quote from: Patrick M. Hausen on February 25, 2025, 11:02:25 AMDas Sync-Interface ist für CARP völlig irrelevant. Ich betone das nur nochmal, damit du nicht in der falschen Ecke suchst. Das ganze CARP findet immer auf dem Link statt, auf dem die virtuelle Adresse definiert ist.
Hatten wir schon öfter hier im Forum ;-)
Ja danke, vergesse ich immer, aber hab jetzt eh auf der LAN Schnitstelle gesucht.
Quote from: Patrick M. Hausen on February 25, 2025, 11:02:25 AMDu schreibst "LAN bzw. VLANs" - hast du auf ein und demselben Interface tagged und untagged gemischt? Das würde ich als erstes mal umbauen, also dann auch das LAN tagged betreiben, wenn das der Fall ist.
Die Config schaut momentan so aus - Bild vom Assigment im Anhang
Das Board hat 4 LAN Ports und eine SFP+ Plus Karte
LAN 1: vmbr0 verbindung PVE01 bzw PVE 02 zum Ubiquiti EdgeSwitch 16 XG
LAN 2: vmbr1 an die OPNSense durchgereicht - WAN1
LAN 3: vmbr2 an die OPNSense durchgereicht - WAN2
LAN 4: vmbr3 an die OPNSense durchgereicht - Sync Schnitstelle (P2P Verbindung zum anderen Host)
SFP+ Karte: vmbr4 an die OPNSense durchgereicht - LAN und VLANs
Das heißt du meinst ich sollte das LAN z.B. auf vmbr3 legen (und über das dann auch den Sync machen und keine eigene Schnitstelle dafür vergeuden) und alle VLANs auf vmbr4. Das heißt aber auch ich bräuchte 2 Verbindungen von jeder OPNSense zum Switch oder? Wäre jetzt nicht das Problem, wills nur verstehen. Und im Switch müsste ich halt dann den ankommen LAN Port tagged setzen und halt den SFP+ mit den VLANs auch tagged, richtig.
Wenn ja dann sorry für die Blöde Frage aber das bringt dann was? Ausgelastet sind je die Schnitstellen nicht. Will die OPNSense kein untagged/tagged auf einer Schnitstelle. Bilde mir ein schonmal davon gelesen zu haben, habs aber dann nicht weiter verfolgt, weil ja eigentlich alles funktioniert auf der einen Schnitstelle.
Quote from: _patrick_ on February 25, 2025, 11:13:14 AMDas heißt du meinst ich sollte das LAN z.B. auf vmbr3 legen (und über das dann auch den Sync machen und keine eigene Schnitstelle dafür vergeuden) und alle VLANs auf vmbr4.
Nein, du sollst das LAN auch als VLAN mit Tag z.B. 1 fahren und auf dem Switch das "native VLAN" aka "PVID" auf etwas unbenutztes wie etwa 999, 1000, 1001 setzen.
Alle Interfaces auf einem phys. Port sollten tagged sein, wenn mindestens eines davon tagged ist.
Ich dachte eigentlich immer das LAN auf der OPNSense hat quasi den VLAN Tag 1.
Verstehe ich das richtig das ich es so setzen soll - irgendwie habe ich das Gefühl ich stehe nämlich gerade auf der Leitung
Der Gelb markierte Port ist der wo die OPNSense per SFP ankommt.
Auf der OPNsense ist das im Moment nicht VLAN 1 sondern "kein VLAN" und Mischen kann zu komischen Effekten führen.
Leg ein VLAN mit Tag 1 (oder 10, oder 42, ... egal) an.
Weise in den Assignments diesem VLAN die Schnittstelle "LAN" zu.
Damit fliegst du natürlich erstmal aus dem UI raus.
Dann legst du am Switch falls nötig das nämliche Tag in die "allowed-vlans" oder wie auch immer das auf deinem Switch heißt für diesen Trunk-Port zur OPNsense. Und wenn du die 1 beibehalten willst, dann ändere das "native VLAN", manchmal auch "PVID" genannt, für diesen Port auf irgendwas anderes was nicht benutzt wird - hauptsache OPNsense und Switch sind sich einig, welches Tag zukünftig "LAN" sein soll.
Und dann musst du natürlich - falls es nicht 1 ist - alle Access-Ports mit Endgeräten dran in das neue VLAN packen.
Jetzt klarer?