OPNsense HA Stack mit Dual WAN (Fiber/DSL) - Ports kommen auf DSL WAN nicht an

[Tom Tester]

Hallo zusammen,

ich bin zwar echt kein Anfänger, doch auch nach umfangreicher Einarbeitung würde ich mich noch als OPNsense Neuling bezeichnen. Ich habe zu meinem Problem recherchiert, einige Ideen verfolgt, aber ich kann mir beim besten Willen nicht erklären, wo der Hase im Pfeffer liegt. Dass der Fehler jedoch irgendwo bei mir und meinem Setup liegt ist klar und ich hoffe auf Erleuchtung. Grundsätzlich funktioniert ALLES so wie es soll, bis auf die Portweiterleitungen eingehend auf das DSL-Wan Interface. Da kommt nichts an.

Setup:

2 OPNsense Appliances 4x LAN 2x SFP+
-> LAN 1: Zentrale Verwaltung, hat keinerlei Bedeutung im produktiven Betrieb
-> LAN 2: WAN Fiber symmetrisch IP Stack, keine Probleme
-> LAN 3: WAN DSL 100 O2/Telefonica 1 feste IP DMZ (TP-Link ER605) oder Fritz!Box Exposed Host auf CARP VIP des Verbindungs-Lans zwischen dem Router und den Sensen.
(-> LAN 3: DSL 100 via PPPoE auf Master live auf Backup tot, keine Probleme)
-> LAN 4: Sync
-> SFP+ 1 und 2 als LAGG auf Core-Switch Stack über Kreuz, einige V-LANs als produktives Netzwerk.

Es soll hier nur um den Failover des WANs eingehend und die Portweiterleitung auf das DSL-Wan gehen. Alles andere funktioniert problemlos und genau so, wie es soll, aber ich bekomme partout nicht den Knoten aus dem Kopf. Im alten, von mir geerbten Setup läuft im Übrigen eine Fritte im Exposed Host-Modus mit der alten Firewall genauso, wie ich das gern hätte - was mich eben an meinem Verstand langsam zweifeln lässt. Aber es muss eben leider an mir und einem kleinen Teil fehlenden Wissens speziell bei der OPNsense gehen.

Woran also kann es liegen, dass der Exposed Host-Modus der Fritte (+weitergeleitete Ports, was aus meiner Sicht Quatsch sein sollte, aber ich habe gelesen, dass das evtl. Wunder bewirkt) weder auf die VID, noch auf die IP der aktiven Sense die Ports durchreicht. Es kommt einfach kein Signal am WAN Port an. Ich habe alternative Ports für die OpenVPN Server und die sind im freien Bereich nicht irgendwie durch anderes belegt, logisch. Dasselbe Verhalten zeigt auch ein kleiner TP-Link Router mit entsprechenden DMZ-Einstellungen. Es liegt also nicht an der Fritz!Box, sondern muss eine Einstellung in der Sense sein, die ich übersehe oder eben nicht verstehe.

Wenn ich das WAN direkt über ein DSL Modem als PPPoE einrichte, habe ich keinerlei Probleme. Allerdings ist ja klar, dass das Backup nicht zeitgleich eine Einwahl zum Master haben kann, was dazu führt, dass entweder die Einwahl zwischen beiden Geräten nach Zwangstrennung mäandert oder ich das DSL-Wan oder Gateway des Backups deaktivieren muss, um das Mäandern zu verhindern. Dieser Betrieb scheint aber zu viele Fehler im HA-Modus zu produzieren und mir ist das UI des Backups schon abgestürzt.

Aber ich glaube, 90% der Homeuser nutzen das Setup (bis auf die HA) genau so, wie ich das brauche, deswegen erhoffe ich mir hier Hilfe von euch und wäre sehr dankbar für ein Idee außerhalb meines Horizontes!

Habt Dank für eure kreativen Ideen!

Thomas

[viragomann]

Hallo,

Woran also kann es liegen, dass der Exposed Host-Modus der Fritte (+weitergeleitete Ports, was aus meiner Sicht Quatsch sein sollte, aber ich habe gelesen, dass das evtl. Wunder bewirkt) weder auf die VID, noch auf die IP der aktiven Sense die Ports durchreicht.

eine Weiterleitung auf die primäre Interface-IP funktioniert auch nicht?

Kannst du die Interface IP von der FritzBox aus pingen? "Block private networks" in den Interface Settings der OPNsense nicht aktiviert, vorausgesetzt.

Spätestens danach sollte die IP in der ARP Table der FB auftauchen. Dasselbe kannst du mit der VIP versuchen.
Sollten keine Einträge für die IPs zu finden sein, untersuche mal das ARP Protokoll.

Grüße

[Tom Tester]

Moin!

Ich musste mich erst einmal um wichtigere Dinge kümmern, deswegen kommt die Antwort erst so unglaublich spät. Danke aber für die versuchte Hilfestellung! Ich bin im übrigen nicht weitergekommen, hatte gerade heute noch einmal Zeit, mich damit zu beschäftigen, war auch guter Dinge, stehe jetzt jedoch genau so da, wie vorher - ziemlich dumm.

Sowohl bei der Variante mit der Fritzbox und Exposed Host, als auch über die kleine TP-Link Routerkiste werden die IPs/MACs im ARP Table beider Büchsen angezeigt. Ich komme dennoch nicht durch. Komischerweise funktioniert das Ganze problemlos mit nur einer OPNsense, jedoch nicht als Cluster. Es muss also da irgendwie der Hase im Pfeffer liegen.

Ich kann nicht pingen, obwohl ICMP freigegeben ist, was das Ganze für mich noch undurchschaubarer macht.

Weiterhin sind Ideen gern willkommen!

PS: Ich habe aus Zeitgründen bisher PPPoE Verbindungen genutzt und die Schnittstelle auf dem Slave deaktiviert, damit das DSL Signal nicht mäandert. Im CARP modus führt das jedoch zu einem nicht so stabilen Betrieb, wie mir scheint. Deswegen bin ich schin an der Standardlösung interessiert. Irgendetwas ganz simples übersehe ich!

Danek, Thomas