MultiWAN Routingproblem?

[fpausp]

Hallo Forum,

Möchte mein erstes anständiges Projekt mit OPNsense umsetzen und dabei Multiwan mit Loadbalancing realisieren...

In den Anhängen findet Ihr die Netzübersicht und die Routingtabellen von IPFire, OPNsense und Teltonika RUT955.

Leider komme ich vom IPFire (LAN) nicht nach OPNsense (WAN2) Bzw. weiter zu .254 .253 .1 ...


Vom Windows 10 PC sieht das dann so aus:

Code Select Expand

PS C:\Users\admin> tracert 192.168.0.254

Routenverfolgung zu 192.168.0.254 über maximal 30 Hops

  1    <1 ms    <1 ms    <1 ms  ipf.xxxxxxx.lan [192.168.25.254]
  2     1 ms    <1 ms     1 ms  192.168.2.138
  3     1 ms     1 ms     1 ms  192.168.1.254
  4     1 ms     1 ms     1 ms  172.17.0.254


[micneu]

ok, was macht die IPFirer, warum ist die in deinem netz?
dein Internet-2 kommt per WLAN (habe ich so aus dem bild gedeutet)?
Bitte mal die Konfig deiner WANs (als bild)
leider sehe ich die beiden netze (.254 .253) nicht in deiner zeichnung

[fpausp]

@ ok, was macht die IPFirer, warum ist die in deinem netz?
Der IPFire war bis jetzt meine Firewall/VPN-Server Lösung und muss es auch noch einige Zeit bleiben.
Der kann aber leider kein MultiWAN deshalb möchte ich auch die OPNsense einsetzen...

Mit dem Teltonika RUT955 funktioniert zwar das MultiWAN, der kann aber leider nur ~80Mbit/s, brauche aber mind. 180Mbit/s damit ich die ISP-Verbindungen voll ausnutzen kann...

@ dein Internet-2 kommt per WLAN (habe ich so aus dem bild gedeutet)?
@ leider sehe ich die beiden netze (.254 .253) nicht in deiner zeichnung
Bitte den Anhang (Bild) runterladen damit du alles sehen kannst...

@ Bitte mal die Konfig deiner WANs (als bild)
Bis jetzt existiert nur der .254 (ubiquiti litebeam ac gen2) der Rest wird erst errichtet...

[micneu]

ich bin mir nicht sicher ob du richtig vorgehst, da ich mich mit IPFire nicht auskenne.
deine zeichnung ist für mich sehr verwirrend.
jetzt habe ich noch einige fragen:
- dein LAN hat den Adressberecih: 192.168.2.0/24?
- hat es einen Grund warum deine OPNsense die 192.168.2.138/24 (meist ist das Gateway entweder die erste oder letze ip)?
- ist die OPNsense dein Standard Gateway?
- Was ist dein C1 und AP (192.168.0.253/24 und 192.168.0.254/24)?
- Du meinst es ist noch nichts Konfiguriert, nur woher willst du dann wissen das es nicht geht, um dir zuhelfen benötigen wir schon mehr infos (wie sollen wir wissen was du schon gemacht hast und was du für fehlermeldung hast)?
- gerne fehler die du gesehen hast aus log dateinen, oder firewall regeln die du konfiguriert hast die damit was zu tun haben können. so ist es nur raten.


PS: ich hänge dir mal meinen netzwerk plan an, als beispiel (ein wenig strukturierter).

[JeGr]

Kurze Zwischenfrage:

> Der IPFire war bis jetzt meine Firewall/VPN-Server Lösung und muss es auch noch einige Zeit bleiben.

Warum? Was macht sie/kann sie, was du mit der Sense nicht eh abbilden könntest?
Außer unterschiedlichen LAN/VLANs sehe ich nichts auf deinem Bild?

Nochmal die WANs:

Wenn ich das richtig sehe, kommt WAN1 über den Teltonika (entweder über LTE oder WiFi/Richtfunk?) und WAN2 kommt über eine WiFi Richtfunkstrecke wenn die Symbole richtig sind ;) Korrekt so?

Allerdings bin ich auf der Richtfunkstrecke irritiert. Entweder bridgen die beiden Richtfunkantennen (.254 und .253) oder sie routen. So wie du es eingetragen hast, müssten sie aber bridgen, weil sie alle die gleiche IP Range haben. Ich denke die IP ist dann eher fürs Management gedacht und wie bei normalem WiFi wird die Verbindung einfach gebridget vom LAN aufs WiFi und zurück. Somit ist dein Gateway aber nicht die .254 (also die Antenne bei dir), sondern die .1 nämlich das Gateway auf der anderen Seite. Die Antenne könnte zwar wohl auch weiterrouten, ist aber Unfug, weil das gar nicht ihr Job ist :) Wenn sie das doch sollte, dann ist das Netzkonstrukt nicht richtig und die Antennen brauchen auf der WiFi Strecke ein anderes Transfernetz. Aber das würde den meisten Setups die ich kenne widersprechen. Würde die auch wenn die IP eh nur für Mgmt ist, auf andere IPs setzen, damit du wieder generell GW auf .254 oder .1 legen kannst und das nicht so konfus verstreut in jedem Netz anders ist.

Dann würde ich mir die NAT Einstellung der Sense anschauen und von "automagisch" auf manuell schalten und die NAT selbst durchkonfigurieren. Ist anscheinend unbeliebt weil das kaum jemand macht, aber gerade im semiprofessionellen Bereich halte ich das für wichtiger, nicht irgendwas automagisch machen zu lassen und zu vermuten, das etwas passiert, sondern es klar zu definieren und zu wissen :D

Und dann von der Sense mal mit Diagnose testen, ob du einen Ping von der Sense machen kannst via WAN1 und via WAN2. Also das "Senseinterface" mal auf WAN1 und mal auf WAN2 und eine beliebige IP anpingen (nicht eine, die du wie die Google DNSe schon irgendwo fix eingetragen hast). Erstmal sehen ob die Sense selbst beide WANs nutzen kann.

Dann hast du wohl die beiden Google DNSe je auf WAN1 und WAN2 konfiguriert, wenn ich deine Route richtig lese. Dann kannst du vom LAN aus mal den einen und den anderen pingen bzw. einen traceroute/mtr machen. Daran solltest du dann auch sehen, ob du den richtigen Weg nimmst.

Also Stückweise nach Hinten durcharbeiten und debuggen :)

Oh und als Hinweis: ich würde versuchen Transfernetze und ggf. auch die WAN Netze mehr/konkreter vom LAN abzutrennen. Ich hatte es jetzt beim Plan lesen bspw. schon ziemlich schwer zu unterscheiden, was .0.x wohin schickt, was .1.x ist und dass .2.x schon LAN ist. Finde sowas beim Debugging dann etwas schwierig. Da würde ich sofern machbar irgendwo was ändern. ;)

[fpausp]

Zu JeGr

@ Wenn ich das richtig sehe, kommt WAN1 über den Teltonika (entweder über LTE oder WiFi/Richtfunk?) und WAN2 kommt über eine WiFi Richtfunkstrecke wenn die Symbole richtig sind ;) Korrekt so?

Ja das ist korrekt, der Teltonika macht MultiWAN mit LTE und RiFu und hängt am OPNsense am WAN.
Am WAN2 Interface hängt eine ubiquiti litebeam ac gen2 Antenne (192.168.0.254). Die andere Seite wird erst in den nächsten Tagen montiert...

Es ist zwar möglich 192.168.0.254 über die CLI vom OPNsense zu pingen, vom LAN (192.168.25.0/24) über den IPFire kommt aber nix zurück...

Wenn ich im LAN ein traceroute 192.168.0.254 mache dan versucht der OPNsense die 192.168.0.254 über das WAN Interface zu erreichen und findet natürlich nix... Das verstehe ich nicht warum er nicht über WAN2 geht?

@ Allerdings bin ich auf der Richtfunkstrecke irritiert. Entweder bridgen die beiden Richtfunkantennen (.254 und .253) oder sie routen. So wie du es eingetragen hast, müssten sie aber bridgen, weil sie alle die gleiche IP Range haben. Ich denke die IP ist dann eher fürs Management gedacht und wie bei normalem WiFi wird die Verbindung einfach gebridget vom LAN aufs WiFi und zurück.

Ja die RiFu-Antennen/Router machen eine Bridge...

@ Somit ist dein Gateway aber nicht die .254 (also die Antenne bei dir), sondern die .1 nämlich das Gateway auf der anderen Seite.

Ja, wollte ich so einstellen wenn alles fertig gebaut ist...

Also mal danke für die Antworten, werde vermutlich am Sa. die RiFu-Strecke machen und danach weiter testen. Ich melde mich dann wieder...

[fpausp]

Zu micneu:

@dein LAN hat den Adressberecih: 192.168.2.0/24?
Nein, mein LAN hat die 192.168.25.0/24

@ hat es einen Grund warum deine OPNsense die 192.168.2.138/24 (meist ist das Gateway entweder die erste oder letze ip)?
Hat sich so ergeben weil es der geringste Aufwand war. Sollte aber egal sein...

@ ist die OPNsense dein Standard Gateway?
Der hängt jetzt in der Mitte... Meine PC im LAN mit dem IPFire als GW, danach der OPNsense als MultiWAN Router/GW usw...

@ Du meinst es ist noch nichts Konfiguriert, nur woher willst du dann wissen das es nicht geht...
Ich möchte für das Management der RiFu-Strecke den 192.168.0.254 von meinen PCs (192.168.25.0/24) erreichen können. Das funktioniert aber nicht...

Wie schon oben gesagt mache ich mal die RiFu-Strecke fertig und melde mich dann wieder...

[JeGr]

> Ich möchte für das Management der RiFu-Strecke den 192.168.0.254 von meinen PCs (192.168.25.0/24) erreichen können. Das funktioniert aber nicht...

Naja das wird auch schlicht daran liegen, dass die OPNsense KEINE Ahnung vom 25er Netz hat. Darum fragte ich schon, warum die guffelige IPfire da noch zwischenrum hängt.

So wie dus jetzt hast, kennt die OPNsense 192.168.0/1/2.x - mehr nicht. Weil alles andere mit ihr nix zu tun hat. Deine IPfire hat die ganzen LANs

Wenn die jetzt endlich mal sauber an der OPNsense aufliegen würden statt nochmal hinter einem anderen Transfernetz und nem unnötigen Router zu hängen, dann würde wahrscheinlich auch was gehen. So hast du Kommunikation aus einem Netz das nicht lokal ist (.25.x) und daher nicht im Default Pass LANnet to any mit drin ist. Also entweder machst du die pass any Regel auf any any und richtest statische Routen auf der OPNsense ein, was halt aber quatsch ist, wenn die IPfire eh für nichts sinnvoll ist, oder du legst einfach mal alle Netze sinnvoll auf der OPNsense an dann wird auch kein Routing Problem mehr dazwischen grätschen.

Momentan baust du dir selbst Hürden ein, weil du die IPfire dazwischen lässt und nicht sagen kannst, was die noch an der Kommunikation verändert. Sollte die aber "nur" routen ohne outbound NAT zu machen (was sinnvoll wäre, weil überall nur private Netze), dann ists kein Wunder, dass die Pakete nicht zurück kommen, weil die OPNsense keine Ahnung hat, wohin sie mit .25.x hin soll. Dazu müsstest du alle LAN Netze zur IPfire zurückrouten an deren .2.254er Adresse.

Grüße

[fpausp]

Hab die OPNsense nochmal zurückgesetzt und von vorne begonnen...

@ Naja das wird auch schlicht daran liegen, dass die OPNsense KEINE Ahnung vom 25er Netz hat. Darum fragte ich schon, warum die guffelige IPfire da noch zwischenrum hängt.

Habs weiter oben schon mal erwähnt das ich den IPFire jetzt noch nicht ablösen kann...

Meine Erkenntnis von heute:
Solange ich kein Multiwan (Policy based Routing) aktiviere funktioniert das Routing! Erst ab dem Zeitpunkt wo ich die Gatewaygruppe als Gateway verwende greift das Policy based Routing und ich kann danach die Geräte (RiFu)  nicht mehr erreichen...

Mit nur einem Gateway funktioniert alles wie es soll. Werde mir jetzt mal das Thema Policy based Routing ansehen...

[micneu]

Habs weiter oben schon mal erwähnt das ich den IPFire jetzt noch nicht ablösen kann...

Leider hast du noch nicht beschrieben warum du die NICHT abschalten kannst.


Gesendet von iPad mit Tapatalk Pro

[fpausp]

Bin ein Stück weiter gekommen...

Es ist möglich mit drei GW zu arbeiten. Momentan im Failover (Muss ich noch ordentlich testen)...

Wenn ich bei der GW-Gruppe (WANGWGROUP) alle GW auf Tier 1 setze um ein Loadbalancing zu bekommen dann funktioniert das Routing zu den einzelnen GW-Subnetzen nicht mehr. Siehe Screenshot...

Würde gerne wissen wie es dazu kommt. Sind vielleicht zus. Firewallregeln nötig?

[micneu]

Habs weiter oben schon mal erwähnt das ich den IPFire jetzt noch nicht ablösen kann...

Leider hast du noch nicht beschrieben warum du die NICHT abschalten kannst.


Gesendet von iPad mit Tapatalk Pro

@fpausp du hast meine frage noch nicht beantwortet

[fpausp]

Habs weiter oben schon mal erwähnt das ich den IPFire jetzt noch nicht ablösen kann...

Leider hast du noch nicht beschrieben warum du die NICHT abschalten kannst.


Gesendet von iPad mit Tapatalk Pro

@fpausp du hast meine frage noch nicht beantwortet

Es gibt Abhängigkeiten die ich mit OPNsense nicht ersetzen kann. GeoIP, Mac-Filter, usw. Das muss ich erst lernen...

[JeGr]

> Es gibt Abhängigkeiten die ich mit OPNsense nicht ersetzen kann. GeoIP, Mac-Filter, usw. Das muss ich erst lernen...

Gibts alles in der OPNsense, der Satz ist also nicht ganz richtig. Du kannst sie _noch nicht_ ersetzen, weil du nicht weißt wie. Aber technisch gibts dann keinen Grund :)

> Wenn ich bei der GW-Gruppe (WANGWGROUP) alle GW auf Tier 1 setze um ein Loadbalancing zu bekommen dann funktioniert das Routing zu den einzelnen GW-Subnetzen nicht mehr. Siehe Screenshot...
> Würde gerne wissen wie es dazu kommt. Sind vielleicht zus. Firewallregeln nötig?

Sorry der Screenshot ist etwas unnütz, da ich zur Analyse weder sehe, wie die WANs konfiguriert sind, noch welche Regeln du da mit Policy Based Routing wo draufgebastelt hast, noch was dein Default Gateway in deiner Konfiguration ist.

Fakt ist natürlich, dass wenn du Regeln mit spezifischen Gateway anlegst JEDER Verkehr, der auf die Regel zutrifft(!) über dieses GW gepusht wird. Auch wenn du willst, dass er woanders hin geht. Wenn du also willst, dass ALLES vom LAN3 über WAN2 gehen soll, dann genügt dafür zwar eine Regel mit diesem GW, dann erreichst du aus LAN3 aber deine Transfernetze für WAN1 und WAN3 nicht mehr weil du ALLES über WAN2 pushst. Also am Besten für die Transfernetze ein Netz-Alias anlegen, alle Transfernetze da reinpacken und eine Regel ÜBER die andere Regel packen mit "allow von LAN3_net nach <alias_transfernetze>" und hier das default GW (*) nutzen.

Nur wenn das Default GW genutzt wird, wird die "normale" Routingtabelle genutzt, ansonsten wie oben beschrieben drückt eine PBRegel jeden Traffic über das GW raus, das du fix vorgibst, egal ob der da raus soll oder nicht :)

Grüße