VPN mit Virtueller IP

[TheCritter]

Hallo ,
wir haben in der Firma ein zweistufiges Firewallkonzept. Die innere Firewall ist OPNsense, bzw ein OPNsense Cluster mit HA. Wenn ich ankommende VPN-Verbindungen zur IP meiner Master OPNsense leite, so funktioniert alles prima. Leite ich den Traffic aber zur virtuellen IP, so kommt keine Verbindung zustande. Ich habe auch schon probiert den ausgehenden Traffic über die virtuelle IP zu natten. Leider kein Erfolg. Was mache ich falsch?

Vielen Dank schon mal

[Patrick M. Hausen]

Welches VPN? IPsec, OpenVPN, WireGuard, ...?

Wie genau sieht die HA-Konfiguration aus? Wie ist die VIP konfiguriert?

Da braucht es viel mehr Details für eine Antwort. Also eigentlich alle Details

[TheCritter]

Danke schon mal für die Antwort.
Alle 3 genannten VPNs und alle nutzen UDP.
HA habe ich dies als Vorbild genommen: https://www.thomas-krenn.com/de/wiki/OPNsense_HA_Cluster_einrichten. Also VIP mit CARP
Internes Interface hat VIP: x.x.x.1 ; fw1: x.x.x.2 fw2: x.x.x.3
DMZ (u.a. Übergabe zur externen FW) VIP: y.y.y.254 ; fw1: y.y.y.253 ; fw2: y.y.y.252 ; externe Firewall: y.y.y.1

Leite ich kommend von der externen FW den Traffic an y.y.y.253 so funktioniert es, an y.y.y.254 passiert nichts. Bei der externen FW habe ich auch schon NAT (incomming eingeschaltet, hilft aber auch nicht).
Upstream Gateway bei der OPNsense ist y.y.y.1
Ich habe auch versucht UDP-Traffic der von "This Firewall" kommt über y.y.y.254 zu natten. Aber auch kein Erfolg. Muss man bei UDP eigentlich die Rückwärtsroute natten, oder geht das auch ohne?

So funktionieren die VIP als Gateway, nur nicht mit VPN

[Patrick M. Hausen]

Alle 3 genannten VPNs und alle nutzen UDP.

Dunkel ist deiner Rede Sinn :-)

Alle VPNs können UDP nutzen, aber was genau ist es denn nun. Nochmal: IPsec, OpenVPN, WireGuard ... WAS DAVON?

Und: bitte einmal IP-Adressen und Netzmasken der WAN-Interfaces und der VIPs auf WAN ...

[JeGr]

Da hat Patrick recht, die Infos sind sehr dünn gesäht leider. Problematisch sind da schonmal:

* WAS genau geht dann "nicht" wenn der Traffic von extern auf die .254 geleitet wird?
* Kann die .254 überhaupt sauber angepingt werden von der Firewall davor?
* Sind überhaupt REGELN definiert, die auch auf die .254 (die VIP) reagieren? Sonst ist es ja kein Wunder, dass nichts reagiert
* Was für ein VPN ists denn jetzt?
* Wofür braucht die eigehende Firewall für die Zustellung nach intern denn NAT?

Desweiteren, wenn du das HowTo von TK genutzt hast, müsstest du outbound NAT eh schon auf Hybrid oder Manuell haben und eine outgoing NAT auf die VIP konfiguriert haben, da das Bestandteil des Howtos ist. Laut deiner Angabe geht dann aber nix mehr?

* Warum? Hat die Firewall davor vielleicht schlicht falsche Regeln?
* Soll die OPNsense ausgehend überhaupt NATten oder soll das die Firewall davor tun?
* Wie ist der Plan der 2stufigen Firewall?

Gerade bei 2-steps-firewalling ist es in der Regel nicht unüblich, dass die 2. Schicht - dein OPNsense Cluster - in dem Fall überhaupt nicht NATtet sondern nur routet und das NAT nur die outbound Firewall macht um double NAT zu vermeiden (und weil meistens an der ersten noch eine DMZ dranhängt die eh NAT braucht).

Ergo brauchen wir da noch mehr Details und vielleicht nen kleinen Plan was da wie überhaupt gebaut ist

Cheers
\jens

[TheCritter]

Was ist daran nicht zu verstehen? Ich nutze alle 3 VPNs. Das sind folgende:
- OpenVPN
- IPsec
- WireGuard (das nur testweise)
Bei allen 3 VPNs gibt es das gleiche Problem. Nämlich das wenn der Traffic von draußen an die native IP des Interfaces geleitet wird, das VPN funktioniert, leite ich den Traffic an die VIP, so funktioniert es nicht. Ich hoffe das hat jetzt auch der Letzte verstanden
@JeGr
* WAS genau geht dann "nicht" wenn der Traffic von extern auf die .254 geleitet wird?
Die Verbindung kann nicht aufgebaut werden
* Kann die .254 überhaupt sauber angepingt werden von der Firewall davor?
Yes, she can
* Sind überhaupt REGELN definiert, die auch auf die .254 (die VIP) reagieren? Sonst ist es ja kein Wunder, dass nichts reagiert
Da bin ich mir nicht sicher. An Firewallregeln sollte es nicht scheitern. Ob da was weitergeleitet werden muss, da bin ich mir nicht sicher. Also ob da noch eine Weiterleitung von der .254 auf die .253 gemacht werden muss, oder ob die VPNs (ja es sind mehrere) an allen IPs des Interfaces lauschen
* Was für ein VPN ists denn jetzt?
s.o.
* Wofür braucht die eigehende Firewall für die Zustellung nach intern denn NAT?
Bracuht sie normalerweise nicht. Da hatte ich ja nur getestet
Desweiteren, wenn du das HowTo von TK genutzt hast, müsstest du outbound NAT eh schon auf Hybrid oder Manuell haben und eine outgoing NAT auf die VIP konfiguriert haben, da das Bestandteil des Howtos ist. Laut deiner Angabe geht dann aber nix mehr?
Es steht auf Hybrid. Das Hybrid erstellt aber keine Regeln mit NAT über die VIP. Die habe ich für TCP manuell angelegt. Für UDP habe ich eine separate NAT Regel um die aus oder einschalten zu können. Was soll da aber nicht funktionieren?
* Warum? Hat die Firewall davor vielleicht schlicht falsche Regeln?
Die Firewall davor (Fortigate) dürfte keine falsche Regeln haben. Was von den IPs des OPNsense Clusters kommt wird genattet und über ihre WAN IP rausgeschickt.
* Soll die OPNsense ausgehend überhaupt NATten oder soll das die Firewall davor tun?
Die Fortigate muss auf alle Fälle natten da im Internet niemand was mit IPs aus meiner DMZ anfangen kann. Ich bin mir nur nicht sicher ob die OPNsense auch natten muss. Die Fortigate soll ja die UDP-Pakete an .254 schicken. Die Antwort würde aber ohne NAT von .253 kommen. Daher habe ich bei UDP (outgoing) von OPNsense erst mal disablebar gemacht
* Wie ist der Plan der 2stufigen Firewall?
INET-->ext. FW-->DMZ-->OPNsense-->internes Netz
Die VPNs terminieren an der OPNsense, weil die VPNs primär ins interne Netz sollen

Ja, die DMZ wird von der externen FW gemanaged.

Es stimmt schon das ich vermutlich bei der OPNsense zu viel natte. Leider ist das Konstrukt aber produktiv und historisch so gewachsen. Daher never touch a running system. Es funktioniert auch mit 2x NAT, auch wenn man es vermeiden kann.

Vielen Dank schon mal

Nachtrag, das Fettgedruckte hat geholfen. Es lag also an der fehlenden Weiterleitung da ich annahm das die Dienste auch an den VIPs lauschen

[JeGr]

> Bei allen 3 VPNs gibt es das gleiche Problem. Nämlich das wenn der Traffic von draußen an die native IP des Interfaces geleitet wird, das VPN funktioniert, leite ich den Traffic an die VIP, so funktioniert es nicht. Ich hoffe das hat jetzt auch der Letzte verstanden

JA, aber wenn man es nicht kommuniziert, weiß es jemand der helfen will nicht. Es könnte ja schlicht sein, dass verschiedene VPNs auch verschiedene Ports und Gegebenheiten benötigen wie bspw IPsec mit seinem NAT-T Geraffel. Wilde Theorie, ganz neues Konzept, ich weiß Aber wenn man solche Sachen eben nicht ansagt, weiß jemand nicht WIE er helfen soll und WAS nicht geht.

> Da bin ich mir nicht sicher. An Firewallregeln sollte es nicht scheitern. Ob da was weitergeleitet werden muss, da bin ich mir nicht sicher. Also ob da noch eine Weiterleitung von der .254 auf die .253 gemacht werden muss, oder ob die VPNs (ja es sind mehrere) an allen IPs des Interfaces lauschen

OK lass uns da mal einhaken: Wir haben eine Firewall VOR der Sense soweit ich verstanden habe. Da diese und die Sense sich dann über ein Transfernetz sehen (mit den y's?) muss ja irgendwie der VPN-Traffic von FW A auf FW B (Sense) kommen. Der kommt aber auf die externe IP auf auf A hängt an -> ergo muss es ja Regeln geben in FW A, die die entsprechenden Ports etc. auf FW B schiebt, oder? Ist dafür überhaupt was eingerichtet? Und wenn ja sind alle Ports da? GENAU deshalb die Frage nach den VPNs, denn IPsec will jetzt bspw. 500+4500/udp haben, OpenVPN im Normalfall 1194/udp (wenn nichts anderes definiert) und Wireguard 51820/udp o.ä. - also wenn du auf der externen IP auf der FW A (extern) nicht ein 1:1 NAT und eine entsprechende Regel (alles reinlassen) konfiguriert hast, kommt wahrscheinlich bei FW B bis jetzt erstmal gar nichts an

- - -
jetzt gerade den Nachtrag gelesen - es läuft also?
- - -

Trotzdem mal noch zur weiteren Info und für andere zur Diagnose:

> Die Fortigate muss auf alle Fälle natten da im Internet niemand was mit IPs aus meiner DMZ anfangen kann. Ich bin mir nur nicht sicher ob die OPNsense auch natten muss. Die Fortigate soll ja die UDP-Pakete an .254 schicken. Die Antwort würde aber ohne NAT von .253 kommen. Daher habe ich bei UDP (outgoing) von OPNsense erst mal disablebar gemacht

Also per se kenne ich es recht oft, dass wie gesagt die interne Firewall NUR noch routet, nicht mehr NATtet. Da wird dann lediglich noch die CARP Adresse auf dem WAN bspw. mit NAT konfiguriert aber nur für FW eigenen Traffic, der Rest wird komplett ungeNATtet weil die vordere externe FW NAT macht.

> Es stimmt schon das ich vermutlich bei der OPNsense zu viel natte. Leider ist das Konstrukt aber produktiv und historisch so gewachsen. Daher never touch a running system. Es funktioniert auch mit 2x NAT, auch wenn man es vermeiden kann.

Klar kein großes Problem damit. Ist nur ggf bei der Fehlersuche relevant daher gut zu wissen

Aber schön dass es wohl(?) geklappt hat