[solved] HA Cluster - keine Web-Verbindung am Backup

[Flar69]

Hallo Gemeinde,

wir haben 2 baugleiche Opensense erfolgreich eingerichtet und am Laufen.

Die Konstellation:
Ein MultiWan-Router für 2 ISP. Dieser hält auch die Zugangsdaten.
Am Router habe ich auch für jedes Wan ein zugeordnetes Lan zur Opensense. So kann ich das Failover auf der Sense machen.
Dazwischen ein L3 Switch mit Portisolation für jedes Netz (Wan1, Wan2, Lan, WLAN, usw.)
HA Cluster erfolgreich eingerichtet (Alle Ports stehen auf Master bzw. Backup)

Nach erfolgreicher Synchronisation bekomme ich aber keine Verbindung mehr vom Backup zum Router bzw. ins Web.
Beide Gateways sind down.
Mit ist klar, dass die Carp-Adressen ja down sind zwecks Backup.
Aber die eigentlichen Netzwerk-Adressen sollten ja noch funktionieren?
Die Lan-Adresse der Backup-Sense ist ja auch erreichbar.

Habe hier den Tipp gelesen, einfach noch ein weiteres Gateway zur Master zu erstellen.
Aber bei der nächsten Synchronisation wird mir das wieder gelöscht.

Die Frage ist, ob das Verhalten normal ist?
Und wenn ja, wie mache ich dann Firmwareupdates auf der Backup ohne Wan?

Mit bestem Dank im Voraus
Ralf

[viragomann]

Hallo,

Habe hier den Tipp gelesen, einfach noch ein weiteres Gateway zur Master zu erstellen.
Aber bei der nächsten Synchronisation wird mir das wieder gelöscht.

Dieser Workaround ist dafür gedacht, dass beide OPNsense nur eine WAN IP haben. Hinter dem Router sollte es aber problemlos möglich sein, jeder eine IP zu geben.
Um das Löschen zu vermeiden, muss die Synchronisation entsprechend konfiguriert werden. Vermutlich muss "Static Routes" abgewählt werden.

Diesen Teil verstehe ich nicht.

Am Router habe ich auch für jedes Wan ein zugeordnetes Lan zur Opensense.

Wie gesagt, jede Instanz braucht eine permanente WAN IP im Router-Netz. Dann sollte sie auch Internetzugriff haben.

[Flar69]

Ich habe mich jetzt mal an einer Zeichnung versucht.
Vielen Dank übrigens für die guten Vorlagen.

Code Select Expand

                WAN                     WAN
                 :                       :
                 : CableProvider         : DSL-Provider
                 :                       :
             .---+---.                .--+--.
         WAN | Cable |     Modems     | DSL | WAN2
             '---+---'                '--+--'
                 |                       |
        Ethernet |                       | PPPoE
                 |                       |
            .----+-----------------------+----.
            |    |   Router (MultiWan)   |    |
            '----+-----------------------+----'
    x.x.101.4/24 |                       | x.x.102.4/24
                 |                       |
            .----+------.          .-----+-----.
            |  Switch 1 |          | Switch 2  |
            '--+-----+--'          '--+-----+--'
CARP x.x.101.3 |     |    x.x.102.1   |     | CARP x.x.102.3
               |     |  +-------------+     |
               |     |  |                   |
               |     +--|-------------+     |
               |        |   x.x.101.2 |     |
     x.x.101.1 |     +--+             |     | x.x.102.2
               |     |                |     |
            .--+-----+--.  PFSync  .--+-----+--.
            | OPNsense1 |----------| OPNsense2 |
            '----+------'          '----+------'
                 |          CARP        |
                 +--------+      +------+
                          |      |         
                          |      |
                       .--+------+--.
                       | LAN-Switch |
                       '-----+------'
                             |
                     ...-----+-----...
                     (Clients/Servers)

Jede Sense hat auch eine eigene WAN-IP zu Router.

Die Sense1 hat also eine x.x.101.1 für Wan1 und eine x.x.102.1 für Wan2
Die Sense2 hat dann eine x.x.101.2 für Wan1 und eine x.x.102.2 für Wan2

Ist vielleicht mein Fehler, dass ich die WAN-IPs dann zusätzlich mit einer CARP-Adresse (x.x.101.3 und x.x.102.3) versehen habe?
Wenn die CARP dann auf der Backup down ist bekomme ich keine Verbindung mehr zum Router?

Mit Dank und Gruss
Ralf

[viragomann]

Ist vielleicht mein Fehler, dass ich die WAN-IPs dann zusätzlich mit einer CARP-Adresse (x.x.101.3 und x.x.102.3) versehen habe?

Wenn du 2 OPNsense parallel im HA betreiben möchtest, ist das schon nötig.

Wenn die CARP dann auf der Backup down ist bekomme ich keine Verbindung mehr zum Router?

Eine mögliche Ursache dafür könnte auch sein, dass du keine Outbound NAT Regel für die FW selbst hast, also lediglich eine Regel, die alles auf die CARP umsetzt, und die ist natürlich für die Backup nicht verfügbar.

Es braucht eine Outbound NAT Regel am WAN für Source = 127.0.0.0/8, die die WAN IP als Translation verwendet.
Wenn du IPSec betreibst, brauchst du zusätzlich eine Regel für Zielport 500 mit statischem Port oberhalb dieser.

Grüße

[Flar69]

Es braucht eine Outbound NAT Regel am WAN für Source = 127.0.0.0/8, die die WAN IP als Translation verwendet.

Wenn ich die Regel so eintrage kann ich immer noch nicht zum Router oder ins Wan pingen.
Ändere ich die Quelle auf "Diese Firewall" kann ich den Router wie auch ins Web pingen - DNS funktioniert auch.

Leider werden mir beide Gateways immer noch als "Down" angezeigt.
Pinge ich die 8.8.8.8 per Diagnose an, funktioniert es.

Eine Suche nach Firmwareupdates läuft immer noch in den Timeout.

Sorry, wenn ich mich da etwas blöd anstelle. Natting habe ich noch nie so richtig verstanden.

Gruss
Ralf

[viragomann]

Wenn ich die Regel so eintrage kann ich immer noch nicht zum Router oder ins Wan pingen.
Ändere ich die Quelle auf "Diese Firewall" kann ich den Router wie auch ins Web pingen - DNS funktioniert auch.

Ja, OPNsense verwendet offenbar standardmäßig andere IP Adressen, und anscheinend unterschiedliche für verschiedene Services. Mit IPSec hatte ich die Erfahrung gemacht, dass die Interface Adresse verwendet wird. Das dürft aber auch da nicht in jedem Fall zutreffen.
This firewall sollte aber immer passen.

Leider werden mir beide Gateways immer noch als "Down" angezeigt.
Pinge ich die 8.8.8.8 per Diagnose an, funktioniert es.

Der Gateway Status wird durch Pings ermittelt. Wenn das Gateway nicht auf Pings antwortet, musst du eine andere Monitoring IP eintragen, am besten eine öffentliche.

Eine Suche nach Firmwareupdates läuft immer noch in den Timeout.

Bist du dir sicher, dass DNS funktioniert? Ich meine auf der OPNsense selbst.
In Interfaces: Diagnostics: DNS Lookup kannst du eine Abfrage testen.

Grüße

[Flar69]

Jetzt funktioniert es. Genau wie Du vorgeschlagen hast.
Habe die 4 NAT-Regeln hinzugefügt (Wan1 mit Port 500, Wan1 alle Ports, Wan2 Port 500, Wan2 alle Ports)

Jetzt sind plötzlich alle beiden Gateways online und es funktioniert wie erwartet.
Vielleicht hat die Firewall für Umsetzung einen Moment gebraucht und ich war zu ungeduldig.

Vielen Dank für Deine Hilfe.
Auf die zusätzlichen Regeln wäre ich nicht gekommen.
Jetzt im Nachgang macht es natürlich Sinn.

Mit Dank an Dich und alle ehrenamtlichen Helfer hier.
Ihr seid Super

Gruss
Ralf