Frage zu komplexem Heim-Netzwerk

[wolfman22]

Hallo liebe Leute!

Ich wende mich mich an die Wissenden unter euch in der Hoffnung dass ihr mir mit meinem Heim-Netzwerk helfen könnt.
Wie im Anhang skizziert schaut so mein aktuelles Setup aus.

Die wichtigsten Komponenten davon:

• eine opnsense mit 6 NIC's
• ein Haupt-Internet (IF_SOL) über Kabel
• ein Backup-Internet IF_LTE über LTE
• WAN_OUT als Failover mit Tier1 und Tier2 wenn das Kabel ausfällt
• ein LAN im Bereich 192.168.64.0/24
• Hamnet - eine Funkstrecke mit 30km Luftlinie auf einen Einstiegspunkt am Berg in ein TCP Netzwerk das Funkamateuere nutzen welches keine Verbindung mit dem Internet hat und über diverse Funkstrecken sämtliche europäischen Länder einbindet - Details gibts auf Wikipedia: https://de.wikipedia.org/wiki/HAMNET
• Hamlink - eine Funkstrecke zu einem Funker-Kollegen von mir

So - es gibt jetzt einige Dinge die bereits funktionieren und einige die ich auch nach stundenlangen Versuchen leider nicht hinbekommen habe.

Was funktioniert:

• LAN
• Internet als Multi-WAN mit Umschaltung beim Ausfall vom Kabel-Internet
• policy based routing - damit ich per Firewall Rule steuern kann dass z.B. ein bestimmter PC immer über die LTE Leitung ins Internet geht
• Zugriff vom LAN aufs Hamnet - also z.B. auf die 44.143.32.254
• Zugriff auf die Management IP 192.168.63.1 von meinem LTE Router via IF_LTE

Was nicht funktioniert:

• Zugriff vom LAN auf die Management IP 192.168.67.1 vom Hamnet via IF_HAMNET
• Zugriff vom LAN auf die Management IP 192.168.68.2 vom Hamlink via IF_HAMLINK
• Grundgedanke für das Einrichten des Hamlink Netzes war es einem Bekannten Funkamateur (192.168.1.0/24) der nicht direkt auf den Einstiegspunkt am Berg hinsieht über mein Haus Zugriff aufs Hamnet zu ermöglichen - also ich möchte für ihn eine Route vom Hamlink ins Hamnet

Bei den Dingen die nicht funktionieren kann es jetzt noch sein dass die Geräte hinter den IF_ falsch konfiguriert sind - aber ich würde gerne mal die OS-Firewall so einstellen dass ich sagen kann "jetzt müsste es funktionieren" und dann auf dem Mikrotik bzw. NanoBeam die Einstellungen so vornehmen dass es dann funktioniert und ich auf die jeweiligen Management Seiten auch draufkomme.

Zum Testen hänge ich mich mit einem kleinen Switch + Laptop jeweils z.B. direkt an den NanoBeam mit einer fixen IP 192.168.68.3 und komme dann auf die Management Oberfläche 192.168.68.2 hin, die Firewall IP kann ich aber nicht pingen - und das funktinoniert halt leider nicht vom LAN aus.

Beim LTE geht genau das nämlich nutzen der Route ins Internet und gleichzeitig komme ich auf die 192.168.63.1 um z.B. nachzusehen wieviel Traffic nun schon über LTE gelaufen ist.

Aber ich weiß jetzt z.B. nicht ob ich eine VirtuelleIP einrichten muss, Route eintragen, direkt am IF eine statische IP konfigurieren, ein Gateway einrichten, ... um auf die jeweiligen Management Seiten zu kommen, wo ich welche Regeln in der Firewall einstellen muss.
Ev. ist auch NAT notwendig. Aktuell auf Hybrid NAT eingestellt.

Vorher hatte ich z.B. den Mikrotik Groove für's Hamnet im Router-Mode und in meinem LAN und als statische Route über die LAN-IP eingetragen - aber z.B. das Routing für den Funkerkollegen sollte jetzt wo ich dies als eigene IF's realisiert habe (4 eigene Ethernet Kabel vom Dach zu meinem Router eingezogen) ja eigentlich einfacher und sauberer sein.

Ich weiß dass mein Setup ev. etwas komplexer ist - aber meiner Meinung sollten die Dinge lösbar sein - aber irgendwie schaff ich's auch nach stundenlangem Testen leider nicht - daher mein Hilfe-Aufruf.

Ich bedanke mich schonmal herzlichst für alle die es bis hierher gelesen haben und hoffe dass ihr mir helfen könnt.

Danke & liebe Grüsse
Wolfgang

[Saarbremer]

Hi,

hast du auf OPNSense Routen für die Netzwerke eingetragen? Passende Firewall-Regeln per Interface?

Es hört sich so an, als ob  das Routing nicht funktioniert. Aber dazu braucht man mehr Info.

NAT ist auf den LAN/OPT Schnittstellen nicht aktiv, korrekt?

[wolfman22]

Hallo tron80! Danke!

das sind jetzt genau die Dinge die ich nicht so genau weiß:

muss ich für Hamnet und Hamlink je ein Gateway (System->Gateways->Single) erstellen?
Muss ich beim IF eine IP Adresse hinterlegen?
Was sind die passenden Firewall-Regeln per Interface - welche Regeln auf welchem Interface?
Hier hab ich schon so viel herumprobiert das ich nicht weiß was die richtigen Einstellungen dafür sind

NAT (Firewall->NAT->Outbound) steht auf Hybrid

[Saarbremer]

Also,

die OPNsense weiß nicht, was du da machst, das musst du mit Gateway(s) und Routingregeln definieren.
Für jedes Netzwerk, dass dein Router nicht kennt, brauchst du eine Routing-Regel. Normalerweise gibt es nur ein Default-Gateway, da wird alles hingesendet - klassischer Fall beim Router mit WAN Interface. Aber du willst ja HAMNET und HAMLINK über andere Router senden.

Ein Router kennt Netzwerke, wenn er ein Interface in selbigem hat.

In deinem Fall gibt es einige Netzwerke, die die OPNsense nicht kennt, sondern es gibt Router, die damit verbinden. Diese müsstest du als Gateways definieren und Routen eintragen für die Netzwerke. Das ist nicht sonderlich viel und ist hier erklärt:
https://docs.opnsense.org/manual/routes.html

Die Firewall muss dann den Traffic durchlassen (entweder Allow All oder die Netzwerke, die du erreichen willst oder Hosts darin. Separate Regeln für die Gateways brauchst du nicht. Und prüfe, ob "Block private networks" an allen Schnittstellen, außer WAN ausgeschaltet ist.

Was dann noch fehlt: Die Gateways, die du benutzen willst, d.h. die anderen Router, müssen jeweils Traffic aus deinen Netzen durchlassen. Ggf. ist das schon der Fall oder auch nicht.

Zum test kannst du dann versuchen HAMNET zu erreichen. Die OPNsense müsste diesen Traffic, sichtbar im Packet Capture durchlassen - und zwar auf dem richtigen Interface.

Ich hoffe, das hilft irgendwie weiter.

[Monviech (Cedrik)]

Es gibt noch unbekannte IP Adressen auf der Routing Strecke, fülle das hier bitte mal aus:

Anhand des Schaubilds interpretiere ich das gerade so:

PC:
IPv4 Adresse: 192.168.1.5
Default Route: ?
^
| - 192.168.1.0/24
v
Ubiquiti Router:
IF_1: 192.168.1.?
IF_HAMLINK: 192.168.68.11
Static Routes: ?
Default Route: ?
^
| - 192.168.68.0/24
v
OPNsense Router:
IF_HAMLINK: 192.168.68.2
IF_HAMNET: 192.168.67.?
Static Routes: ?
Default Route: ?
^
| - 192.168.67.0/24
v
Microtik Router:
IF_HAMNET: 192.168.67.1
IF_?: 44.143.32.254
Static Routes: ?
Default Routes: ?
IP-Masquerading (Outbound NAT - SNAT): ?
^
| - 44.0.0.0/8
v
UPSTREAM HAMNET

[wolfman22]

PC:
IPv4 Adresse: 192.168.1.5
Default Route: das ist das Netz meines Freundes - er hat einen eigenen Internet Anschluss (nicht in der Skizze) als default, nur das Hamnet soll über die HAMLINK Strecke ins Hamnet gehen

Ubiquiti Router:
IF_1: 192.168.1.1
IF_HAMLINK: 192.168.68.11
Static Routes: 44.0.0.0/8 auf 192.168.68.11
Default Route: das ist das Netz meines Freundes - er hat einen eigenen Internet Anschluss (nicht in der Skizze) als default, nur das Hamnet soll über die HAMLINK Strecke ins Hamnet gehen

OPNsense Router:
IF_HAMLINK: 192.168.68.1
IF_HAMNET: 192.168.67.1
Static Routes: testweise habe ich hier Routen nach 192.168.67.0/24 über GW_Hamnet und 192.168.68.0/24 über GW_HAMLINK eingetragen - aber ich weiß nicht ob das so stimmt?
Default Route: WAN_OUT entweder über IF_SOL oder IF_LTE ins Internet (Failover)

Microtik Router:
IF_HAMNET: 192.168.67.1
IF_?: 44.143.32.254 - das ist mein Einstiegspunkt am Berg (nicht mehr von mir verwaltet)
Static Routes: ?
Default Routes: ...
IP-Masquerading (Outbound NAT - SNAT): ...

Wie geschrieben Zugriff auf's Hamnet geht seit ich den Mikrotik im Bridged Mode betreibe und dann habe ich auch die 44..143.32.x beim IF_Hamnet Interface anliegen. IF_Hamnet ist als "IPv4 Configuration Type" auf DHCP eingestellt.
Ich würde nur gerne auf die Management Web Oberfläche kommen 192.168.67.1 - aber vielleicht ist hier am Mikrotik nochwas falsch eingestellt

Beim IF_HAMLINK habe ich hier "Static IPv4" eingestellt und als Adresse die 192.168.68.1/32 eingestellt - stimmt das so?

[Monviech (Cedrik)]

PC:
IPv4 Adresse: 192.168.1.5/24
Default Route: 0.0.0.0/0 next hop 192.168.1.1
^
| - 192.168.1.0/24
v
Ubiquiti Router:
IF_1: 192.168.1.1/24
IF_HAMLINK: 192.168.68.11/24
Static Routes: 44.0.0.0/8 next hop 192.168.68.1 - Hinroute
Default Route: 0.0.0.0/0 next hop ISP
^
| - 192.168.68.0/24
v
OPNsense Router:
IF_HAMLINK: 192.168.68.1/24
IF_HAMNET: 44.143.32.xxx/32 via DHCP
Static Routes: 192.168.1.0/24 next hop 192.168.68.11 - Rückroute
Static Routes: 44.0.0.0/8 next hop 44.143.32.254
Default Route: 0.0.0.0/0 via IF_SOL or IF_LTE
Outbound NAT: Interface IF_HAMNET, Protocol any, Source address 192.168.68.0/24, Source port any, Destination address any, Destination port any, Translation/target "IF_HAMNET address"
Outbound NAT: Interface IF_HAMNET, Protocol any, Source address 192.168.1.0/24, Source port any, Destination address any, Destination port any, Translation/target "IF_HAMNET address"
^
| - 44.0.0.0/8
v
UPSTREAM HAMNET
44.143.32.254

Microtik Router:
Nicht interessant da transparente Layer 2 Bridge


Anhand der Informationen sollte das Routing und das IP Masquerading so ablaufen, denke ich. Dann ist nur noch die Firewall interessant. Ich würde empfehlen zu Troubleshooting zwecken temporäre any/any regeln zu machen.
Theoretisch:
- Auf dem IF_HAMLINK Interface der OPNsense muss "direction in" zum Destination NET 192.168.1.0/24 und zum Destination NET 44.0.0.0/8 erlaubt werden
- Auf dem IF_1 Interface des Ubiquiti muss "direction in" zum Destination NET 192.168.68.0/24 und zum Destination NET 44.0.0.0/8 erlaubt werden

[Saarbremer]

Beim IF_HAMLINK habe ich hier "Static IPv4" eingestellt und als Adresse die 192.168.68.1/32 eingestellt - stimmt das so?

Ich denke, du solltest /24 einrichten.

Was die Webgui betrifft:
* Lauscht die auf allen relevanten Schnittstellen?
* Firewallregeln erlauben dies (Target: "This Firewall" erlauben)?

[wolfman22]

Hallo!

Danke an alle Tippgeber!

Es funktioniert nun fast alles:

• ich komme auf die Verwaltungsoberflächen der Hamlink Stationen 192.168.68.2 und .11
• Ping vom 192.168.68.11 auf eine Adresse im Hamnet

Was jetzt noch nicht geht ist der Zugriff auf die Verwaltungsoberfläche vom Hamnet Router 192.168.67.1 - aber hier muss ich noch prüfen ob der überhaupt im Bridged Modus auch auf dieser Adresse aktiv ist. (weil Hamnet Zugriff darüber geht ja) und ich hab direkt die 44.er IP Adresse am IF_HAMNET anliegen.

Aber auf jedenfall schonmal danke an alle!

Liebe Grüsse
Wolfgang

[wolfman22]

jetzt geht auch der Zugriff auf das Webinterface vom Hamnet Router 

Lösung war direkt beim Hamnet-Router der ja im "bridged Mode" läuft eine zusätzliche IP Adresse auf das Bridge Device zu erstellen und dann im Opnsense eine Virtuelle IP mit der Adresse 192.168.67.1/24 auf dem Hamnet Interface hinzugefügt.

Damit hätte ich jetzt alle Wege und Routen wie gewünscht konfiguriert.

Vielen Dank an alle Helfer!
lg
-Wolfgang

[Monviech (Cedrik)]

Freut mich, dass du alles hinbekommen hast. War richtig komplex.

[wolfman22]

zumindestens komplexer als 1x WAN und 1xLAN ;-)

Was halt rauskommt wenn man als Funkamateur und IT'ler in einem Haus alle Möglichkeiten hat ;-)

lg
-Wolfgang