Hallo,
meine OPNsense hat zwei Gateways mit jeweils einem aktivierten Monitoring.
Jetzt habe ich zwei gleiche statische Routen auf die jeweiligen GW gesetzt.
Fällt ein GW aus, zeigt die OPNsense den Status des GW auch als Down an, die entsprechende statische Route bleibt aber aktiv und somit kann die zweite gleiche Route nicht aktiv werden.
Hat einer eine Erklärung dafür?
Quote from: Doerchi on January 09, 2025, 04:06:36 PMmeine OPNsense hat zwei Gateways mit jeweils einem aktivierten Monitoring.
Zusätzlich zum Default Gateway, also nicht auf dem WAN?
Quote from: Doerchi on January 09, 2025, 04:06:36 PMJetzt habe ich zwei gleiche statische Routen auf die jeweiligen GW gesetzt.
Was genau ist der Sinn?
Sollen LAN-Geräte für bestimmte Ziel-IPs auf die Gateway geroutet werden? Wenn das eine nicht verfügbar ist, über das andere?
Quote from: viragomann on January 09, 2025, 04:44:17 PMQuote from: Doerchi on January 09, 2025, 04:06:36 PMmeine OPNsense hat zwei Gateways mit jeweils einem aktivierten Monitoring.
Zusätzlich zum Default Gateway, also nicht auf dem WAN?
Nein, ich meine die Default Gateway, also die beiden WAN-Interface
Quote from: Doerchi on January 09, 2025, 04:06:36 PMJetzt habe ich zwei gleiche statische Routen auf die jeweiligen GW gesetzt.
Was genau ist der Sinn?
Sollen LAN-Geräte für bestimmte Ziel-IPs auf die Gateway geroutet werden? Wenn das eine nicht verfügbar ist, über das andere?
Ja, so ist es. Genau gesagt, baue ich über eine LoO einen IP-Sec zu einer Gegenstelle mit einer festen IP-Adresse auf und wenn der eine WAN down ist, soll der IPSec automatisch über das andere WAN gehen.
( Es soll halt aller Traffic in den IPSec Tunnel gehen und daher habe ich die Default Route in den IP-Sec gesetzt und den IPSec Hup möchte ich über die beiden gleichen statischen Routen erreichbar machen )
IPSec läuft vermutlich auf OPNsense, also ist es kein LAN-Gerät, das die Gateways nutzen soll. Das könnte mit Policy-Routing erledigt werden.
Für deinen Zweck, sollte es aber reichen, System: Settings: General "Gateway switching" zu aktivieren.
Erfahrung habe ich damit selbst aber noch nicht.
Moin und Danke für die Rückmeldung,
Danke für den Tip, das hatte ich tatsächlich auch schon gesehen und aktiviert, aber hat leider nichts geändert.
Unter System > Gateways > Configuration > zeigt die OPNsenses den Status des entsprechenden GW auch als Offline an.
Die statische Route die ich auf das Gateway konfiguriert habe, verschwindet aber nicht.
( Als weiteres Phänomen sehe ich, das wenn man zwei gleiche statischen Routen auf unterschiedliche GW anlegt, nicht die Metrik des GW als Routingentscheidung genommen wird, sondern die Reihenfolge der statischen Routen. Die letzte konfigurierte Route ist die aktive )
Fragt man die Routen über die CLI netstat -rn ab, ist auch das U Flag für Up vorhanden
Mit OSPF geht das recht einfach und stabil.
https://docs.opnsense.org/manual/how-tos/dynamic_routing_ospf.html
ja, aber dann müßte ich ja die Routen über OSPF announcen und bräuchte noch ein weiteres Systemen.
Ich glaube ja einfach nur, das ich irgendwo ein Haken vergessen habe, oder das es einfach ein Bug ist, das die statische Route nicht verschwindet, wenn das entsprechende GW down ist. ( Ist ja auch schon komisch, das die Metriken vom GW nicht auf die statischen Routen übertragen werden )
Es kann keine zwei default Routen im gleichen Routing Table geben. Die müssen dort dynamisch eingesetzt werden. Das kann das dynamische Routing Plugin.
Ich verstehe nicht warum es noch weitere Systeme braucht. Wenn die Gegenstelle nicht irgendeine Fritzbox/Speedport ist dann wird OSPF höchst wahrscheinlich unterstützt.
Quote from: Doerchi on January 10, 2025, 07:56:05 AMDie statische Route die ich auf das Gateway konfiguriert habe, verschwindet aber nicht.
Warum braucht es überhaupt statische Routen, wenn die beiden Gateways ohnehin Upstream Gateways sind?
Quote from: viragomann on January 10, 2025, 09:17:36 AMQuote from: Doerchi on January 10, 2025, 07:56:05 AMDie statische Route die ich auf das Gateway konfiguriert habe, verschwindet aber nicht.
Warum braucht es überhaupt statische Routen, wenn die beiden Gateways ohnehin Upstream Gateways sind?
Weil die Default-Route in den Tunnel zeigen soll.
Soweit ich das Verstanden habe, geht es da ja um die Remote-Gateway für die IPSec, nicht um die Default-Route, die IPSec beim Verbinden einrichtet.
Quote from: viragomann on January 10, 2025, 09:32:27 AMSoweit ich das Verstanden habe, geht es da ja um die Remote-Gateway für die IPSec, nicht um die Default-Route, die IPSec beim Verbinden einrichtet.
Ja, ich setzte die statischen Routen um das Remote-GW (Hub-Standort) über beide Uplinks erreichen zu können. Und die Route soll halt immer über den gerade aktiven Uplink aktiviert sein.
Die default-Route 0.0.0.0/0 ist in den IPSec gesetzt, da halt der ganze Traffic der Lokation in den Tunnel gehen soll.
Ja, aber IPSec ist ja nicht vom Bootup weg aktiv. Wird die Verbindung gestartet, setzt IPSec die Routen und überschreibt ggf. existierende.
Also können auf den WAN Interface doch Upstream Gateways konfiguriert sein, die zum Tragen kommen, bevor IPSec aktiviert wird.
Falls das WAN via DHCP oder PPPoE konfiguriert wird, lässt sich das auch gar nicht verhindern.
Das Verhalten verbessern die statische Routen ja auch nicht. Die sind erst aktiv, dann wird IPSec gestartet und setzt neue Routen. Sie sind nur weniger flexibel.
Hi Viragomann,
vielleicht fehlt mir da etwas.
Da ich ja alles in den Tunnel routen möchte, muß ich eine Default-Route auf den Tunnel setzten. Somit routet die OPNsense allen Traffic (für den sie keinen besseren Weg kennt) in den Tunnel.
Mit den more specific static Routes will ich die "Default-Route" übersteuern, damit die OPNsense den IP-Sec Hub erreichen kann.
( Mein IPSec Tunnel ist Route-Based )
Und vom Routing Verständnis her müssen meine Lösung auch gehen, die OPNsense händelt meine statischen Routen nur leider nicht so, wie es ein Router macht :-)
Quote from: Doerchi on January 10, 2025, 01:15:12 PMDa ich ja alles in den Tunnel routen möchte, muß ich eine Default-Route auf den Tunnel setzten.
Ja, nachdem ich nun auch weiß, dass es sich um eine Routed IPSec handelt, kann ich da zustimmen.
Aber was spricht dagegen, dass die beiden anderen Gateways auch als upstream Gateway festgelegt werden?
Wenn gewünscht oder nötig, kannst du für jedes auch eine Priorität definieren, um festzulegen, welches bevorzugt wird und in welcher Reihenfolge.
Dann werden die Gateways entsprechend dessen und ihrer Verfügbarkeit automatisch verwendet (dynamisch).
Eine statische Route ist aber, wie der Name andeutet, statisch. Diese besteht auch, wenn das Gateway nicht erreichbar ist.
Quote from: viragomann on January 10, 2025, 02:17:54 PMQuote from: Doerchi on January 10, 2025, 01:15:12 PMDa ich ja alles in den Tunnel routen möchte, muß ich eine Default-Route auf den Tunnel setzten.
Aber was spricht dagegen, dass die beiden anderen Gateways auch als upstream Gateway festgelegt werden?
Wenn gewünscht oder nötig, kannst du für jedes auch eine Priorität definieren, um festzulegen, welches bevorzugt wird und in welcher Reihenfolge.
Dann werden die Gateways entsprechend dessen und ihrer Verfügbarkeit automatisch verwendet (dynamisch).
Eine statische Route ist aber, wie der Name andeutet, statisch. Diese besteht auch, wenn das Gateway nicht erreichbar ist.
Na die beiden Uplink sind in der Konfiguration als Gateway markiert, aber eine Default Route 0.0.0.0/0 kann ich dort ja nicht setzten, weil die ja in den Tunnel gehen soll. Und mehrere aktive Default Routen kann es nicht geben.
Eine statische Route sollte so lange aktiv sein, wie das Gateway auf das sie zeigt aktiv ist. (So eine art Tracking)
Und wenn man mehrere gleiche statische Routen einträgt, sollte doch die aktiv sein, die auf das Uplink-GW mit der geringsten Metrik (also das aktive GW) zeigt.
Ich frage mich, warum ich der einzige bin, der das Problem hat. Hat kein anderer zwei Uplinks und möchte Routen schwenken, wenn ein Monitoring eines Uplink auslöst und der Uplink als offline markiert wird.
Das mit der einzig möglichen Default Route habe ich schon verstanden. Was ich nicht verstehe, sind die statischen Routen. Die führen zu deinem Problem. Ich habe das schon mehrfach zu erklären versucht.
Wenn du dir die Konfiguration der beiden Gateways ansiehst, ist da "Upstream Gateway" angehakt?
Und wenn du in die WAN Interface-Konfiguration gehst, ist da das jeweilige Gateway als Upstream Gateway ausgewählt?
Und "Gateway switching" ist nun auch aktiviert?
Das sollte eigentlich reichen, dass die WAN Gateways genutzt werden, solange die IPSec Verbindung nicht hergestellt ist.
Wenn du eines der beiden WAN Gateways höher priorisieren möchtest, setze für beide einen entsprechenden "Priority" Wert, wie bereits erwähnt.
Die Route auf das IPSec Gateway sollte nicht aktiv sein, wenn das Interface down ist, was vor dem Verbindungsaufbau der Fall ist.
Vielleicht hilft ja PBR:
https://docs.opnsense.org/manual/firewall.html#policy-based-routing
https://docs.opnsense.org/manual/how-tos/multiwan.html
Quote from: Monviech (Cedrik) on January 10, 2025, 05:21:37 PMhttps://docs.opnsense.org/manual/firewall.html#policy-based-routing
Bezüglich Policy based Routing weiß ich nicht, ob das hier möglich ist, wenn die IPSec von OPNsense selbst aufgebaut wird.
Auf pfSense ist das mit einer ausgehenden Floating Regel machbar, soweit ich mich erinnern, wenngleich diese Methode nicht viele Anhänger hat. ;-)
Quote from: viragomann on January 10, 2025, 05:18:46 PMDas mit der einzig möglichen Default Route habe ich schon verstanden. Was ich nicht verstehe, sind die statischen Routen. Die führen zu deinem Problem. Ich habe das schon mehrfach zu erklären versucht.
Wenn ich die more specific statischen Routen nicht setze, kann er den Tunnel nicht aufbauen, da die statische 0.0.0.0/0er Route schon up ist, obwohl der Tunnel nicht steht ( Du hast ja auch mal geschrieben, statisch ist statisch ( Was ich mit Router Verständnis nicht nachvollziehen kann )
Jetzt kommt etwas neues: setze ich neur eine 10.0.0.0/8 in den Tunnel, kann er den Tunnel aufbauen, da ja dann die Default Route ins Internet zeigt.
Jetzt habe ich einfach mal die Route 0.0.0.0/0 in den Tunnel gesetzt. Der Tunnel bleibt bestehen und es wird alles in den Tunnel geroutet.
Reboote ich die OPNsense kann er den IPSec nicht mehr aufbauen, da die 0.0.0.0/0 in den Tunnel zeigt.
Quote from: viragomann on January 10, 2025, 05:18:46 PMWenn du dir die Konfiguration der beiden Gateways ansiehst, ist da "Upstream Gateway" angehakt?
WAN3_GW (active) WAN3 IPv4 20 (upstream) 10.102.4.1 8.8.4.4 10.8 ms 6.7 ms 0.0 %
WAN2_GW WAN2 IPv4 30 (upstream) 10.102.3.1 1.0.0.1 12.1 ms 2.2 ms 0.0 %
Quote from: viragomann on January 10, 2025, 05:18:46 PMUnd wenn du in die WAN Interface-Konfiguration gehst, ist da das jeweilige Gateway als Upstream Gateway ausgewählt?
Du meinst "IPv4 gateway rules" < ja, ist es
Quote from: viragomann on January 10, 2025, 05:18:46 PMUnd "Gateway switching" ist nun auch aktiviert?
Gateway switching Allow default gateway switching < Ja, war es auch schon vorher
Du könntest mit einem policy based Tunnel arbeiten - local: LAN net, remote: 0.0.0.0/0. Oder ohne Route zum Tunnel-Interface, aber einer Firewall-Regel auf LAN mit Gateway in den Tunnel.
So hätte die OPNsense selbst die normalen Gateways, aber der Traffic aller Clients geht durch den Tunnel durch.
Quote from: Doerchi on January 11, 2025, 12:23:17 PMWenn ich die more specific statischen Routen nicht setze, kann er den Tunnel nicht aufbauen, da die statische 0.0.0.0/0er Route schon up ist, obwohl der Tunnel nicht steht ( Du hast ja auch mal geschrieben, statisch ist statisch ( Was ich mit Router Verständnis nicht nachvollziehen kann )
Und du hast der IPSec instance ein Interface zugewiesen?
Das wäre Voraussetzung, dass das jeweilige Gateway und damit die statische Route nicht benutzt wird.
Du könntest es auch der Gateway Priorisierung versuchen. Dem IPSec Gateway eine 1 geben und den WAN Gateways höhere je nach Wunsch. Und natürlich die statische Route entfernen.
Am IPSec Gateway müsste auch "upstream" aktiviert sein.
Quote from: Doerchi on January 11, 2025, 12:23:17 PMQuoteUnd wenn du in die WAN Interface-Konfiguration gehst, ist da das jeweilige Gateway als Upstream Gateway ausgewählt?
Du meinst "IPv4 gateway rules" < ja, ist es
Ich meinte in den Interface Einstellungen. Da kann untehalb der statischen IP das Upstream Gateway ausgewählt werden.
Aber ja, ich wäre das auch schon bei Patrick und würde das ganze auf Policy-based IPSec (Tunnel Mode) umstellen.
Eine Policy Routing Regel sollte es aber meine Meinung nach nicht brauchen. Wäre auch gar nicht möglich, weil der poliy-based Modus keine Gateway IP bereitstellt.
Das routet dann ohnehin schon der Kernel, wenn als Remote Netzwerk 0.0.0.0/0 gesetzt ist. Und zwar sicher erst, nachdem die Verbindung hergestellt wurde.
.
Quote from: viragomann on January 11, 2025, 12:54:56 PMUnd du hast der IPSec instance ein Interface zugewiesen?
Das wäre Voraussetzung, dass das jeweilige Gateway und damit die statische Route nicht benutzt wird.
Ja, hatte ich
Quote from: viragomann on January 11, 2025, 12:54:56 PMAm IPSec Gateway müsste auch "upstream" aktiviert sein.
Habe ich auch versucht, leider ist die statisch Route 0.0.0.0/0 trotzdem aktiv, obwohl der Tunnel nicht up ist.
Quote from: viragomann on January 11, 2025, 12:54:56 PMQuote from: viragomann on January 11, 2025, 12:54:56 PMUnd du hast der IPSec instance ein Interface zugewiesen?
Das wäre Voraussetzung, dass das jeweilige Gateway und damit die statische Route nicht benutzt wird.
Ja habe ich
Quote from: viragomann on January 11, 2025, 12:54:56 PMDu könntest es auch der Gateway Priorisierung versuchen. Dem IPSec Gateway eine 1 geben und den WAN Gateways höhere je nach Wunsch. Und natürlich die statische Route entfernen.
Am IPSec Gateway müsste auch "upstream" aktiviert sein.
Das scheint für mich die Lösung zu sein. Das Upgstream IPSec GW ist nicht up, deshalb greift das zweitbeste Gateway und der Tunnel wird aufgebaut, dann greift die default Route auf das IPSec Gateway, der IPSec bleibt aber glücklicherweise up.
Quote from: viragomann on January 11, 2025, 12:54:56 PMAber ja, ich wäre das auch schon bei Patrick und würde das ganze auf Policy-based IPSec (Tunnel Mode) umstellen.
Eine Policy Routing Regel sollte es aber meine Meinung nach nicht brauchen. Wäre auch gar nicht möglich, weil der poliy-based Modus keine Gateway IP bereitstellt.
Das routet dann ohnehin schon der Kernel, wenn als Remote Netzwerk 0.0.0.0/0 gesetzt ist. Und zwar sicher erst, nachdem die Verbindung hergestellt wurde.
OK vielen Dank an Euch beide, das schaue ich mir auch noch mal an.
Wobei ich kein Freund von Policy Based Routing bin. ( Komme vom Provider und wir lieben Routen :-) )
Ich komme auch vom ISP (AS16188) und mag policy based, weil
- ham wer schon immer so gemacht
- wir hatten ja nichts
😂