OPNsense HA mit BGP Transfernetzen und asynchronem Routing/NATing Konfig-Problem

[arti]

Hi Zusammen,

wir haben uns die letzten Wochen durch das Internet, Forum und einige Dokus gekämpft und sind leider bisher zu keiner Lösung gekommen. Daher hoffen wir auf eure Schwarmintelligenz

"Firewalls should firewall and routers route." Leider sind wir hier (wie viele andere) von Lieferengpässen betroffen.

Ausgangssituation
- 2 Transfernetze (1.2.10.12/30, 1.2.20.248/30)
- 1 Externes Netz (2.3.30.0/24)
- 2 BGP Sessions (1 pro Firewall)
- HA OpnSense Master-Backup
- Funktionierendes CARP Failover auf allen Interfaces außer EXT
- Auf die Provider-Seite haben wir keinen Einfluss

Interfaces
EXT - Hier hängt unser BGP Uplink
PUB - Hier hängen unsere Server und Switches und das externe Netz (2.3.30.0/24)
OPT1-3 - Hier hängen verschiedene private Netze und VLANs

High availability
Für PUB und die OPT Interfaces ist jeweils eine CARP IP über beide Firewalls eingerichtet, die als Standard-Gateway für alle Server dient.

Beide Firewalls nutzen ihre BGP Sessions (Transfer IPs) um darüber das externe Netz (2.3.30.0/24) zu announcen. Außerdem NATen beide Firewalls über ihre jeweilige Transfer-Netz IP (1.2.10.13 bzw. 1.2.20.249) allen Traffic (auch den des externen Netzes).

Problemstellungen
Laufen beide BGP Sessions (unser Wunschszenario) gibt es ein Problem mit dem Routing des Traffics. Es scheint als ob manche Pakete die Route ROT über Firewall 2 nach innen nehmen und dann vom CARP Standard-Gateway über die Route GRÜN der Firewall 1 wieder nach außen geroutet werden. Wir sind uns aber nicht sicher, ob diese Form von asynchronem Traffic überhaupt ein Problem ist bzw. die Ursache sein kann, dass Pakete gedroppt werden. Dazu spielen hier natürlich die States der Firewalls eine Rolle - um dies als Problemursache auszuschließen, haben wir die States auf beiden Firewalls auf dem entsprechenden EXT Interface vollständig deaktiviert.
Wie können wir einen Zustand erreichen, in dem beide BGP Sessions laufen und der Traffic immer erfolgreich nach draußen geroutet wird - sogar dann, wenn einer der beiden Uplinks (BGP Sessions) ausfällt, um echte Hochverfügbarkeit zu erreichen?

siehe Bild: BGP-Transfernetze.png

BGP-Sessions
Firewall-1

General
BGP-AS: 23456
Route-distribution: Connected

Neighbor
Neighbor-Address: 1.2.10.13
Remote-AS: 1234

Interface-EXT
IPv4: 1.2.10.14
--------------------------
Firewall-2

General
BGP-AS: 23456
Route-distribution: Connected

Neighbor
Neighbor-Address: 1.2.20.249
Remote-AS: 1234

Interface-EXT
IPv4: 1.2.20.250

BGP CARP Failover
Routing -> General -> Enable CARP Failover

Nicht möglich, da die EXT-Interfaces an den beiden Firewalls in zwei verschiedenen Transfernetzen sind und entsprechend kein CARP ausgetauscht werden kann.

Weiterhin dauert der Failover (wenn er über eins der anderen IFs ausgelöst wird) deutlich zu lange, da die BGP Session neu verhandelt wird.

(Funktioniert generell, falls ein NICHT-EXT Interface abgesteckt wird. Hier funktioniert CARP wie gewünscht.)


Beide BGP Sessions

siehe Bild: asynchroner-traffic.png

VPN Verbindung auf beide Firewalls an die Transfer-Netz-IP (1.2.10.14 / 1.2.20.250) möglich.
SSH, Ping, etc. an VM nur möglich, wenn über FW1 (MASTER) rein kommend (GRÜN).

Falls wir FW1-ETH1 abstecken, passiert kein Failover und die Antworten auf NAT-Pakete kommen nicht mehr an. VPN nach FW2 funktioniert natürlich noch.

Die beiden Firewalls sind über ein SYNC Interface direkt miteinander verbunden, um CARP zu ermöglichen. Weitere Verbindungen sind nicht konfiguriert.

[opnsense@radda.cc]

Hallo arti!

Ich bin über Deinen Post gestoßen, nachdem ich etwas für BGP gesucht habe.
Sollen beide "BGP" bzw Internet Sessions wirklich gleichzeitig aktiv sein?

Wir bei uns im Büro haben auch so ein Szenario, zwar mit anderen firewall Hersteller.
Zwei Leitungen zu einem Provider, 1x Glas und 1x Richtfunk. 2 Transfernetze, ein Subnet welches vom Provider zugeordnet wird (via BGP), mit dem wir auch die Clients NATen. Default Gateway wird auch per BGP vom Provider announced.

Bei uns ist das so gelöst, daß beide Leitungen auf einer Firewall terminieren. Beide Leitungen sind auch "aktiv", pro Leitung ist auch eine BGP Session zum Provider aufgebaut. Mit BFD wird aber die GlasfaserLeitung (10G) aktiv geschaltet und wenn diese weg ist, wird auf die Backup Leitung geschwenkt.

sollte  eine Firewall ausfallen, übernimmt die andere Firewall alles. Fällt eben eine Leitung aus, wird das mit BFD gelöst.

Wäre das die Lösung für Dein Problem


lg
Michael