Messages

Niemand eine Idee?
Problem besteht immer noch.

Hallo Com!

Ich möchte gerne einen GRE zwischen zwei OPNsense bauen. Durch den GRE sollen die Routen der Standorte über BGP ausgetauscht werden. Soweit so gut, der GRE konnte aufgebaut werden, allerdings sehe ich in den Logs ein merkwürdiges Routing.

Code Select Expand

### OPNsense #1
Parent interface                      WAN
GRE remote address        Public IP
GRE tunnel local address      172.16.20.17
GRE tunnel remote address  172.16.20.18

gre0: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> metric 0 mtu 1476
options=80000<LINKSTATE>
tunnel inet 78.46.81.158 --> 213.188.121.69
inet 172.16.20.17 --> 172.16.20.18 netmask 0xfffffffc
inet6 fe80::250:56ff:fe01:5a9%gre0 prefixlen 64 scopeid 0xf
groups: gre
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>

root@fw01:~ # ping -S 172.16.20.17 -c 10 172.16.20.18
PING 172.16.20.18 (172.16.20.18) from 172.16.20.17: 56 data bytes

--- 172.16.20.18 ping statistics ---
10 packets transmitted, 0 packets received, 100.0% packet loss

Code Select Expand

### OPNsense #2
Parent interface                      WAN
GRE remote address        Public IP
GRE tunnel local address      172.16.20.18
GRE tunnel remote address  172.16.20.17

gre0: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> metric 0 mtu 1476
options=80000<LINKSTATE>
tunnel inet 213.188.121.69 --> 78.46.81.158
inet 172.16.20.18 --> 172.16.20.17 netmask 0xfffffffc
inet6 fe80::2e4:7cff:fe68:1b82%gre0 prefixlen 64 scopeid 0xb
groups: gre
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>

root@fw02:~ # ping -S 172.16.20.18 -c 10 172.16.20.17
PING 172.16.20.17 (172.16.20.17) from 172.16.20.18: 56 data bytes

--- 172.16.20.17 ping statistics ---
10 packets transmitted, 0 packets received, 100.0% packet loss


Die anderen Checkboxen sind nicht ausgewählt.

Ich habe dann den gre0 assigned und dem Interface noch die passende MTU 1476 und MSS 1436 verpasst, dass wars. Die Firewall hat für das GRE erstmal ein IPv4* any any in beiden Richtungen.

Nun kann ich MANCHMAL von der OPNsense #2 durch den GRE die OPNsense #1 erreichen, aber nicht umgekehrt. Meistens ist ein ICMP aber nicht möglich. In den Firewall Logs der OPNsense #2 sieht man nur ausgehende ICMP's von beiden IP's (s. Anhang).
Für das BGP neighboring sehe ich die eigene Local Tunnel IP jeder Firewall eingehend in den GRE senden, welche geblockt werde (s. Anhang).

Hat jemand eine Ahnung was ich falsch gemacht habe?

VG

Nein, nein. Nur wenn die lokale IP-Adresse komplett verschwindet. Also z.B. bei einem Tunnel, bei dem die "innere" IP-Adresse für die Route genutzt wird. Und auch nur dann, wenn das Interface entfernt und neu angelegt wird, nicht, wenn es flappt.

Ich benutze keine routenbasierten Tunnel, deshalb weiß ich nicht, was die Sense da macht ...

Das ist ja definitiv nicht der Fall, dass das Interface des Gateways gelöscht wird. Der Tunnel könnte mal flappen ja, aber das sollte ja nicht den statischen Routing Eintrag löschen. Ich bin weiterhin ratlos.

Sollte das Interface, über das der Gateway für diese Router erreicht wird, komplett verschwinden, ist auch die Route bei einem FreeBSD weg.

Das würde ja heißen, sobald ein Interface flappt, für die auch eine statische Route hinterlegt ist, würde er diese löschen und sobald das Interface wieder vorhanden ist, die statische Route ja dann nicht mehr haben. Das kann ich nicht ganz glauben, um ehrlich zu sein, wieso sollte das so sein?
Das wäre ja als würde ich den Uplink eines Routers in das WWW ab- und anschalten und der Router würde dann daraufhin seine gesamten statischen Routen löschen? Das wäre ja wahnsinn.

Aber Routen über nicht erreichbare Gateways kann man nicht eintragen und wenn ich mich jetzt nicht ganz arg irre, werden die auch entfernt, wenn das lokale Netz verschwindet.

Ich mein das würde einiges erklären definitiv, aber wieso sollte ein System das machen? Anhand welchen Vorraussetzungen triggert das denn? Nach einem timeout am GW oder wie kann man sich das vorstellen?

Nein, genau das dachten wir auch.
Der IPsec besteht ja weiterhin und die Interface sind da, lediglich die Route befindet sich nicht mehr in der Tabelle.
Allerdings sollte die static Route ja generell in der Routingtabelle gehalten werden, auch wenn das Interface down geht, dass eine hat ja nichts mit dem anderen zu tun.

Keiner mit irgendeiner Idee oder selbigen Fehler?

Hallo Com,

ein Kollege und ich nutzen beide OPNsense als ISP Uplink als auch für die Segmentierung des Netzes mit Policyset. Er benutzt einen IPsec (policy based) und ich einen IPsec (routed based) um zwei Standorte zu verbinden. Jetzt haben wir allerdings beide das Phänomen, dass die statische Route zum Zielnetz über den IPsec aus der Routing Table fliegt. Reproduzierbar ist das manuell nicht, passiert aber automatisch alle zwei Wochen einmal.
Meine Verbindung zur Site ist weg und ich sehe die Route auch nicht mehr in der Routing Table. Sobald ich die Konfiguration der statischen Route im OPNsense Menü einfach nur über den Button apply bestätige, dann taucht sie wieder auf.
Im Anhang befinden sich auch zwei Screenshots der statischen Routen.

Wir konnten das Problem auf beiden OPNsense nachstellen. Jemand eine Idee an was das liegen könnte?

Cheers,
jonsch

I have removed also any special characters and white spaces...
The configuration is the same but addresses instead of subnets...

You are right, I have made the phase 2 on a false way.
I have now removed the subnets and add the tunnel source and destination IP.

But there is still now IPsec interface to choose?

and the last one...

Other site is configured the same way.
Attached you will find the screenshots.

No problem.
It is still disabled, thats the strange thing.
Any other ideas?

Are you sure? Take a look to the official documentation by step 5 they add an single gateway with an IPsec interface?

I just bind the subnets by phase 2 to the IPsec tunnel but thats all. The routing part has to be created seperate, right? How else should the firewall route the traffic to the IPsec tunnel and not to the default route.

Yes, the IPsec connection is up and running.
The firewall rule table is also been active with an any any route for testing at the moment.

Cheers,

I've two OPNsense firewalls in two different locations, both of them have a public IP and two different LAN subnets.
The routed IPsec is build up like the documentation told me: https://docs.opnsense.org/manual/how-tos/ipsec-s2s-route.html

The IPsec tunnel is up and running, but I can't set the static routes on both firewalls, because there is no option to create a gateway with the IPsec interface? So how should I route the traffic through the tunnel?

Regards,