OpenVPN S2S Verbindung

[superwinni2]

Hallo


stehe hier vor einem Merkwürdigem Problem und weiß nicht mehr so ganz weiter...


Habe hier 2 Standorte mit jeweils 2 Firewalls. Diese sind jeweils hochverfügbar konfiguriert.

Standort 1 ist als OpenVPN Server konfiguriert. IP Adresse ist eine CARP Adresse.
Standort 2 ist als OpenVPN Client konfiguriert.


Ich habe eine Site-2-Site VPN Verbindung mithilfe von OpenVPN aufgebaut. Diese ist im Normalfall stabil und ohne Probleme.


Fahre ich nun an Standort 1 die Master-OPNsense herunter, so geht natürlich auch der OVPN Tunnel down. Der Slave am Standort 1 wird zum Master und die Tunnel starten neu und alles funktioniert wieder.


Wird nun die eigentliche Master FW erneut gestartet, bootet diese, erhält die CARP Adressen aber die OVPN Tunnel kommen nicht so recht zueinander. In der log der ClientFW sehe ich folgende Einträge:

Code: [Select]


<27>1 2022-07-31T12:57:30+02:00 OPNsense1.standort2 openvpn 19200 - [meta sequenceId="244"] Authenticate/Decrypt packet error: bad packet ID (may be a replay): [ #184 / time = (1659264564) 2022-07-31 12:49:24 ] -- see the man page entry for --no-replay and --replay-window for more info or silence this warning with --mute-replay-warnings


Erst wenn ich am Standort1 die Slave FW herunterfahre / neustarte klappt alles wieder reibungslos.
Es ist als würde die ClientFW nicht mitbekommen, dass der Server nun woanders läuft(?)
Ich habe schon versucht mithilfe von keepalive Settings dies abzufangen, leider kappt dies nicht oder ich bin zu blöd dafür.

Kann mir jemand sagen warum dem so ist und was man dagegen machen kann?

Danke und Gruß

[JeGr]

Das klingt merkwürdig. Wie ist der OpenVPN Server konfiguriert, der Client, die VIPs?

Das hört sich irgendwie so an, als würde OpenVPN nicht auf der VIP laufen, sondern würde sich mit der Maschinen-IP verbinden und wenn der Master wieder kommt, findet dann natürlich kein Fallback statt weil der Client noch auf der Standby Maschine herumoxidiert. Sowas kenne ich eher von Wireguard als OVPN daher bräuchte man mehr Details wie das ganze aufgesetzt ist.

Cheers

[superwinni2]

Ich würde behaupten, dass alles entsprechend simpel konfiguriert ist.


CARP:
Was ich gestern Abend noch gemerkt habe:
Bei den CARP Interfaces hat bisher immer alles geklappt. Seit Version 22.7_4 kommt es jedoch manchmal vor, dass er behauptet es gäbe ein CARP Problem. Teilweise hilft es dann CARP temporär zu deaktivieren und wieder zu aktivieren. Das Problem bleibt aber bestehen auch wenn die Master FW wieder alle CARP Adressen übernimmt.


Mode: CARP
Interface: WAN
Address: 203.0.113.194 / 28
Allow service binding: angehakt
Virtual IP Passwort: xxxxxxxxx
VHID Group: 2
Advertising Frequency: Base:1 Skew:0
Descitption: VIP WAN


Auf der Backup FW sieht es gleich aus ausser das der Skew bei 100 liegt.


OpenVPN Server:
Description: VPN Server
Server Mode: Peer to Peer (Shared Key)
Protocol: UDP
Device Mode: tun
Interface 203.0.113.194 (VIP WAN)
Local Port: 11199


Shared Key:  abcdefg
Encryption algorithm: AES-128-CBC (128 bit key, 128 bit block)
Auth Digest Algorithm: SHA1 (160-bit)


IPv4 Tunnel Network: 192.168.99.0/29
IPv4 Local Network: 10.66.0.0/16[
IPv4 Remote Network: 10.10.20.0/24
Compression: No Preference

Dynamic IP: Angehakt
Address Pool: Angehakt

Advanced: keepalive 5 30

OpenVPN Client:
Description: VPN Client
Server Mode: Peer to Peer (Shared Key)
Protocol: UDP
Device Mode: tun
Interface: 192.168.178.4 (VIP WAN)
Remote Server: 203.0.113.194  Port: 11199
Retry DNS resolution: Angehakt

Shared Key: abcdefg (Gleich wie bei Server)
Encryption algorithm: AES-128-CBC (128 bit key, 128 bit block)
Auth Digest Algorithm: SHA1 (160-bit)

IPv4 Tunnel Network: 192.168.99.0/29
IPv4 Remote Network: 10.66.0.0/16
Compression: No Preference


Advanced: keepalive 5 30

[superwinni2]

Sowas kenne ich eher von Wireguard als OVPN daher bräuchte man mehr Details wie das ganze aufgesetzt ist.

Habe diesen Absatz irgendwie überlesen... Naja hier kommt der Nachtrag 

FW1 (Master) läuft aktuell als VM auf Proxmox VE. FW2 war anfangs ebenfalls als VM auf einer separaten Proxmox VE. Hatte die FW2 jedoch (aus anderen Gründen) mal als Physikalische Maschine auf neue Hardware umgezogen. Es ist egal ob sie als VM oder Blech läuft, bei beiden Fällen gibt es die OpenVPN S2S Probleme.

Bei der "Roadwarrior OpenVPN" (z.B. für HomeOffice) besteht das Problem nicht. Sobald die CARP Adressen wieder beim Master sind stehen die Roadwarrior VPNs stabil.
Der einzige IP Unterschied ist, dass bei der Roadwarrior Verbindung die IP Adresse auf den Localhost hört (mithilfe von Portforwarding wird dann der Server erreicht) während alle S2S Verbindungen auf die CARP IP hören.

Portweiterleitung an sich funktioniert ebenfalls Problemlos. Nach dem Wechsel der CARP IPs funktionieren diese wie sie sollten.

Rest ist ziemlich simpel... Internet kommt direkt über Netzwerkstecker hinein (Glasfaser) und wir haben einen eigenen /28 Adressbereich.

[JeGr]

Wie ist denn der Status vom OpenVPN Service der da Trouble macht während des Failovers? Bekommt der auf der VIP den FO sauber mit und stoppt auf dem primary und startet auf dem secondary? Oder was sagen die Logs dazu?

Wie gesagt - das sollte eigentlich kein Problem sein, wenn wie du schreibst der Server auf der CARP VIP aufgesetzt ist, aber es klingt so, als würde er es nicht mitbekommen und/oder anfahren auf der zweiten Maschine.

Cheers

[superwinni2]

Wie ist denn der Status vom OpenVPN Service der da Trouble macht während des Failovers? Bekommt der auf der VIP den FO sauber mit und stoppt auf dem primary und startet auf dem secondary? Oder was sagen die Logs dazu?

Wie sehe ich dies?
Habe in Dashboard ja das Widget "Services" hier sind diese sowohl auf der HauptFW als auch auf der BackupFW immer Grün. Bei allen 4 VPN Servern.
Müssen diese somit gestoppt werden?
Soweit ich weiß sehe ich bei einem Switch der CARP IPs nichts in der OpenVPN Logdatei.

Wie gesagt - das sollte eigentlich kein Problem sein, wenn wie du schreibst der Server auf der CARP VIP aufgesetzt ist, aber es klingt so, als würde er es nicht mitbekommen und/oder anfahren auf der zweiten Maschine.

Ich versstehe es eben nicht sso ganz wie das "nicht mitbekommen nicht klappen sollte. Beide Firewalls zeigen ja (nach dem HauptFW erneut gestartet) ist den richtigen CARP Status an.
HauptFW -> Master
BackupFW -> Backup


Kleine Vorwarnung:
Bin bis 25.09.2022 erstmal im Urlaub. Daher wird es etwas schwierig mit testen etc. und die Antworten verzögern sich daher 

[JeGr]

Hmm, das ist seltsam. Da muss ich dann doch mal dringend nen Pärchen OVPN VMs im Lab aufsetzen und das mal durchspielen, denn eigentlich sind die OVPN Server auf dem Standby immer gestoppt da sie ja nicht laufen können - die Maschine hat ja die IP nicht, ergo kann der Service nicht starten da kein IP Binding. Das sieht aber so aus als würde es immer laufen und das wäre dann wirklich ungewöhnlich denn eigentlich gehts nicht