Netzwerk neu aufsetzen - MultiWAN, Failover, VPN, Telefon, weiteres...

[Shihatsu]

Moin!
Ich möchte mein Netzwerk neu aufbauen, was die Konnektivität nach außen angeht.
Im Moment habe ich VDSL von der Telekom an einer Fritzbox, an der Fritzbox hängen meine Telefone, hinter der Fritzbox hängt meine OPNSense. Nicht als exposed host oder PPOE passthrough, sie bietet nur einfach ein Netz an, das die OPNSense als WAN benutzt. WLAN, DHCP oder sonstiges von der Fritzbox wird nicht genutzt, nur WAN und Telefon.
Über die OPNSense mache ich DHCP und DNS, außerdem sind dort meine VLANs definiert. Dieses Setup läuft soweit.
Was ich auch schon hatte, aber im Moment nicht, aber da möchte ich wieder hin, sind 2 OPNSenses im CARP-Failover.
Was ich ebenfalls schon hatte, allerdings nicht funktionell zusammen mit CARP, war DUAL-WAN (DSL+LTE).
Bis hier hin soweit alles klar, aber jetzt kommen ein paar neue Anforderungen:
Ich möchte ein paar Mobilgeräte dauerhaft in meinem Netz haben, damit ich einerseits mit diesen Mobilgeräte Ressourcen in meinem Netz verwenden kann, und anderseits den Netzverkehr dieser Geräte kontrollieren kann (Adblock, Webfilter für Kinder, ...). Also erste neue Anforderung: VPN.
Außerdem würde ich gerne Failover UND Multiwan zusammen nutzen. Meine bisherigen Versuche in diese Richtung waren aber eher weniger geil. Also zweite neue Anforderung: Multiwan + CARP.
Und natürlich - das ist die dritte - aber nicht neue - Anforderung würde ich gerne meine Fritz-Telefone weiterhin nutzen.
Meine beiden OPNSenses laufen auf DELL 210ern, meine Fritzbox ist eine 7530, mein LTE-Zugang stellt ein Mikrotik wAP AC LTE 6 her und als Switch dahinter nutze ich einen Mikrotik CRS 328.
Wie würdet ihr meine Anforderungen umsetzen? Ich kann auch notfalls andere / neue Hardware anschaffen (z.B. ein anderes Modem oder so...), aber was nicht muss muss ja nicht...

[Mabub]

Moin!
Ich möchte mein Netzwerk neu aufbauen,...

Jo dann verleg schon mal Glasfaser wenn Du in meiner Umgebung wohnst, denn da fängt alles an.

Ok, Spass beiseite...
Nach dem was Du schreibst brauchst Du nicht mehr als die Fritz!Box so wie Sie ist, denn das kann Sie schon alles. Einen PiHole dazu und fertig ist die Laube. Du beschreibst nichts was eine OPNsense voraussetzt, also für was soll die dann laufen wenn es keinen Sinn ergibt?

[Shihatsu]

Eine Fritzbox scheitert spätestens an VLANs - die hast du irgendwie überlesen. Genauso CARP-Failover und MultiWAN. Letzteres kann sie zwar, aber bleibt dabei SPOF - genau das will ich ja umgehen mittels Failover und MultiWAN.

[Mabub]

VLAN kannst Du auch direkt mittels Switch erstellen, insofern das deine Geräte können und überhaupt notwendig ist. Was soll seperiert werden? Die Frage bitte sich selbst stellen ob man nicht darauf verzichten kann.
Multi-WAN und Co, sowas können auch Geräte für 50€ z.B. TP-LINK ER605

[Shihatsu]

Ich hab hier 10 VLANs, 2 relativ getrennte physische Netze, MultiWAN Setup und Multi-Firewall-Setup im Failover. Ich hab relativ gut ausgearbeitete Firewallregeln auf den verschiedenen Netzen. Ich nutze meine OPNSense durchaus, danke der Nachfrage. ISt für meine Anfrage aber völlig unerheblich, ich hab ja recht deutlich geschrieben was ich will.
Magst du auch Hilfe anbieten oder stellst du erst einmal nur die Anforderung an sich in Frage? Wenn ersteres: Lass mal hören. Wenn letzteres: Mach das doch bitte woanders - du liest meine Anforderungen nur zur Hälfte, ignorierst die andere und stellst die gelesene in Frage. Keine Plan was du dir davon versprichst, mich störts jedenfalls. Das ist keine Hilfe, in keiner Form.

[Mabub]

Hallo auch... ich lese durchaus was Du schreibt. Du möchtest dein Netzwerk neu aufbauen, Ergo fliegt bei sowas normal alles raus was man nicht braucht. Das ist nicht als Kritik an dein Wissen oder Anforderungen zu verstehen, sonder rein als was macht Sinn. Denn Dinge die man nicht braucht sind in einem Netzwerk überflüssig und kosten Zeit und Geld. Wenn das nicht die Antworten sind die Du möchtest, kann ich dir in der Tat nicht weiterhelfen da die Anforderungen dafür fehlen. 

[Shihatsu]

Nein, die Anforderungen fehlen nicht:
MultiWAN, Multinetz, CARP + VPN auf Basis von OPNsense. Steht da. Wenn ich das nicht auf Basis von OPNsense machen wollen würde, wäre ich nicht hier, wenn was rausfliegen kann, gerne, aber mit Sicherheit NICHT die OPNsense die den Kern meines Netzwerks als Router abbildet. Magst du mir vielleicht noch was hilfreiches dazu schreiben wie man meine neuen Anforderungen erfüllen kann? Dazu hast du noch kein Wort verloren - das was du machst nennt sich im Forensprachgebrauch "derailen" - magst du das bitte lassen? Danke!

[NilsS]

Moin,

Hardware sieht soweit nutzbar aus.
Beide opnsense mit je einem Interface (phy oder vlan) in Fritzbox Netz und LTE Router Netz hängen.
Fritznetz: 192.168.178.x  da kannst du .10 für opnsense1 und .20 für opnsense2 nehmen carp if dann zB. .15
LTE netz: 192.168.0.x                          .10 für opnsense1 und .20 für opnsense2                                     .15

auf Fritzbox legst du die.15 als gerät mit fester IP ein und leitest alle Ports (oder auch nur bestimmte zB 1194 etc je nach belieben) auf dieses Gerät

auf beiden sense legst du dann noch dein eigentliches internes netz an (am besten auch mit .10/.20 und .15 als CARP)
DHCP auf beiden sensen konfigurieren mit GW auf die .15 dest lokalen Netz
Achtung beim einrichten der CARP IP die richtige Subnetzgröße wählen die dem Netz auch wirklich entspricht (manche howtos schreiben was von /32 ... das ist falsch und dann funktioniert DHCP Failover nicht)

Gatewaygruppen auf beiden sense einrichten mit policy wie du es gern hättest (failover oder loadbalance)

Eigentlich sollte das reichen, sonst nochmal nachfragen wenn was fehlt

[Mabub]

Auch wenn ich der Gefahr laufe zu "derailen", da fehlt so einiges.

1. Komplette Anleitung und sogar Config-Download ist unten aufgeführt, das passt man an und gut ists.

2. Du brauchst bei jedem "DELL 210ern"... wovon ich ausgehe das es korrekt um "Dell PowerEdge R210" geht, min. 3 Netzwerkanschlüsse. Ohne weitere LAN-Karte haben die nur 2 Ports.

3. Bei dem wAP ac LTE6 kit bin ich mir jetzt nicht sicher ob der 2. LAN Port auch ein zweites Netz bedienen kann oder nur durchgeschliffen wird, gibt das Datenblatt nicht her. Das Teil an die Fritz an WAN2 (LAN4) zu hängen macht auch keinen Sinn, denn macht die Fritz BUMM ist alles weg. Ergo keine Ausfallsicherheit. Das ist auch scho das größte Problem an dem Ganzen, was wenig Sinn macht. Das wAP ac LTE6 kit gehört unabhängig an die 2. OPNsense, wenn man das machen möchte.

4. Die Fritzbox eigenet sich nur bedingt für CARB dahinter, da Du nur einen "Exposed Host" und oder Portweiterleitungen an ein Endgerät weiterleiten kannst, das erschwert dann min. VPN zur Ausfallsicherheit wenn es BUMM macht. Macht eigentlich nur Sinn bei einem 2. DSL Anschluss.

Es ist wirklich ein gut gemeinter Rat und kein "derailen" oder was auch immer. Überlege dir ob das wirklich Sinn macht eine halbe Ausfallsicherheit zu haben!? Welche Dienste müssen unbedingt 24/7 bei einem Ausfall erreichbar bleiben, oder reicht es nicht das was in evtl. 10 Jahren defekt gehen könnte mal eben schnelll auszuwechseln!? Auch wird das Setup sehr kompliziert und von Fehler behaftet sein...

Mit freundlichen Grüßen 

[NilsS]

zu 2. er schrieb VLAN und VLAN fähiger Switch, daher uninteressant geht auch mit 1 Port
zu 3 und 4. jede sense verhält sich in den Netzen der FB und LTE Router wie ein ganz normaler PC. Portforwading auf die einzelnen Hosts ist nicht nötig, lediglich auf die CARP IP im jeweiligen Netz.

Du wirst bei allen Setups immer den CPE als SPOF haben, solange du nicht vom Provider ein VRRP Setup aufgestellt bekommst.
Als redundanz für den Ausfall der FB kannst du dir einfach eine zweite hinstellen, default Netz jeder FB ist das 192.168.178.x daher kannst du die einfach tauschen, nur den exposed Host auf die CARP IP setzen und Zugang konfigurierien bzw. Autoprovisioning nutzen

Der Switch wäre genauso ein SPOF, könntest du aber auch mittels MLAG fähigen switchen mit besagten r210 mit 2Ports nutzen, wäre aber sicher bloated, denn auch da ließe sich für den ausfall ein zweites gerät mit gleicher config hinstellen.

Es geht nach oben immer viel, Frage ist ob es sich lohnt.

[Mabub]

Hallo NilsS....

Wenn ich (er) eine Redundanz haben möchte, was auch die Absicht in dem Thread ist, dann werden keine VLANs wischen den "Ausfallsicheren" Geräten erstellet, ohne min. über einen 2. physischen Port  das Gleiche zu haben. Denn auch ein Port ist eine Ausfallquelle und dann fehlt dir nicht nur ein Netz sondern alles zusammen. Im Beispiel ist es eigentlich gut erklärt, aber gut... kann ja jeder machen wie er will. Derailen ist grad Offline.

Wenn ich mir eine 2. FB hinstelle die ich auswechseln muss, dann kann ich auch eine 2. OPNsense hinstellen die ich auswechseln muss. Ergibt für mich keine Logik, wenn nicht alles Redundant ist, macht es keinen Sinn.

whatever

[Shihatsu]

Ich hab mit diesen beiden Dells schon Carp am laufen gehabt, daraus erschließt sich einem denkenden Menschen das sie dafür vorbereitet sind - ja, das schließt eine zusätzliche Netzwerkkarte in beiden ein, und das setzt auch voraus das ich die Anleitung gelesen habe. Ich hatte auch schon Mulitwan am laufen, auch das schrieb ich - wenn man jetzt 1 und 1 zusammen zählt stellt man vielleicht fest das der wAP das unterstützt - das war übrigens der Kaufgrund für genau dieses GErät: 2 als WAN verwendbare RJ45 Gigabit Ports. Die Fritzbox eignet sich durchaus dafür, wie ich mitlerweile aus einem anderen Forum gelernt habe.
Fazit: Du liest meine Posts nicht sorgfältig, das NERVT - bitte beteilige dich nicht mehr an diesem Thema.

[Shihatsu]

zu 2. er schrieb VLAN und VLAN fähiger Switch, daher uninteressant geht auch mit 1 Port
zu 3 und 4. jede sense verhält sich in den Netzen der FB und LTE Router wie ein ganz normaler PC. Portforwading auf die einzelnen Hosts ist nicht nötig, lediglich auf die CARP IP im jeweiligen Netz.

Du wirst bei allen Setups immer den CPE als SPOF haben, solange du nicht vom Provider ein VRRP Setup aufgestellt bekommst.
Als redundanz für den Ausfall der FB kannst du dir einfach eine zweite hinstellen, default Netz jeder FB ist das 192.168.178.x daher kannst du die einfach tauschen, nur den exposed Host auf die CARP IP setzen und Zugang konfigurierien bzw. Autoprovisioning nutzen

Der Switch wäre genauso ein SPOF, könntest du aber auch mittels MLAG fähigen switchen mit besagten r210 mit 2Ports nutzen, wäre aber sicher bloated, denn auch da ließe sich für den ausfall ein zweites gerät mit gleicher config hinstellen.

Es geht nach oben immer viel, Frage ist ob es sich lohnt.

Danke, endlich mal jemand der sich mit der eigentlichen Fragestellung beschäftigt, welch Wohltat!
Ja, das CPE / Modem / Router / whatever ist natürlich nicht redundant, daher davon 2. Wenn ich das am Ende alles so aufgesetzt kriege wie ich mir das vorstelle setze ich vielleicht einen 2ten Switch ein. Eine "Reserve" Fritzbox liegt im Rack, LTE habe ich testweise auch mal durch ein Telefon mit USB-Tethering simuliert.
Ich glaube ich habe mitlerweile auch MultiWAN mit CARP fertig, werde das noch ausführlich testen - offenbar kam es hier auf die richtige Reihenfolge an: Erst MultiWAN, dann carpen. Oder ich habe bisher etwas falsch gemacht, ich weiß es nicht, aber fürs erste scheint es zu laufen.
Als nächstes kümmere ich mich dann um den bzw. die VPN Tunnel. Dazu wird es dann wohl 2 VPN Server pro OPNsense, aber wie gesagt: Soweit bin ich noch nicht. Erst einmal will ich jetzt sicher gehen das das jetztige Setup sauber stabil läuft.

[Mabub]

oh oh... dann zerlegen wir mal deine logische Anfrage ins Detail, alles anschnallen!

... Ich möchte mein Netzwerk neu aufbauen, was die Konnektivität nach außen angeht.
Im Moment habe ich VDSL von der Telekom an einer Fritzbox, an der Fritzbox hängen meine Telefone, hinter der Fritzbox hängt meine OPNSense.

Daran wird sich auch nix ändern, außer Du beginnst bei Null und das willst ja nicht!

Nicht als exposed host oder PPOE passthrough, sie bietet nur einfach ein Netz an, das die OPNSense als WAN benutzt. WLAN, DHCP oder sonstiges von der Fritzbox wird nicht genutzt, nur WAN und Telefon.

Geht klar, auch keine Änderung!

Über die OPNSense mache ich DHCP und DNS, außerdem sind dort meine VLANs definiert. Dieses Setup läuft soweit.
Was ich auch schon hatte, aber im Moment nicht, aber da möchte ich wieder hin, sind 2 OPNSenses im CARP-Failover.

Also zurück zu dem was Du schon hattest. Da Du es ja schon mal gemacht hast, ähm... wie war die Frage?

Was ich ebenfalls schon hatte, allerdings nicht funktionell zusammen mit CARP, war DUAL-WAN (DSL+LTE).
Bis hier hin soweit alles klar, aber jetzt kommen ein paar neue Anforderungen:

Ok, dann brauchst Du da auch keine Hilfe.

Ich möchte ein paar Mobilgeräte dauerhaft in meinem Netz haben, damit ich einerseits mit diesen Mobilgeräte Ressourcen in meinem Netz verwenden kann, und anderseits den Netzverkehr dieser Geräte kontrollieren kann (Adblock, Webfilter für Kinder, ...). Also erste neue Anforderung: VPN.

Adblock, Webfilter setzen kein VPN voraus, als amtierender Admin solltest Du das wissen.

Außerdem würde ich gerne Failover UND Multiwan zusammen nutzen. Meine bisherigen Versuche in diese Richtung waren aber eher weniger geil. Also zweite neue Anforderung: Multiwan + CARP.

Wie zum Henker soll einer deinen Fehler finden ohne deine Config offen zu legen? Was hast Du denn alles eingestellt, denn da scheint der Hund begraben zu sein. Am verdrahten scheint es ja nicht zu liegen...

Und natürlich - das ist die dritte - aber nicht neue - Anforderung würde ich gerne meine Fritz-Telefone weiterhin nutzen.

Das Ganze Setup hat mit den Telefonen gar nix zu tun, denn die hängen doch an der Fritz, oder hab ich was überlesen?

Meine beiden OPNSenses laufen auf DELL 210ern, meine Fritzbox ist eine 7530, mein LTE-Zugang stellt ein Mikrotik wAP AC LTE 6 her und als Switch dahinter nutze ich einen Mikrotik CRS 328.Wie würdet ihr meine Anforderungen umsetzen?

In dem Du nur Hardwareangaben machst und keinen fetzen aus deinem Setup schreibst, bei NULL anfangen! Den keiner hier hat eine Glaskugel. Nur wird dir hier keiner ein komplettes Setup mit Firewall/NAT/VPN/ADGUARD und was weiß ich schreiben (können).

Ich kann auch notfalls andere / neue Hardware anschaffen (z.B. ein anderes Modem oder so...), aber was nicht muss muss ja nicht...

Zu deinem Satz habe ich dir bereits Antworten geliefert "was nicht muss muss ja nicht" gell! Und weil dir das nicht gefällt heulst Du rum wie ein Schlosshund. Das ist ein öffentliches Forum, ja hier sind alle erwünscht und das in einem angemessenen Ton, den ich stets versuche zu geben. Ich zweifel auch sehr daran das Du bei dem Kladaradatsch was Du schreibst und machst überhaupt eine Ahnung hast.

Andere Probleme scheinst Du ja nicht zu haben....

[Shihatsu]

Nochmals, ganz freundlich und als Bitte: hilf bitte jemand anderem, du schaffst das, ganz bestimmt, du must dich nicht mehr mit meinem rumgeheule beschäftigen, denn ich werde dir sicherlich nicht mehr antworten und würde dich bitten dieses Thema und mein Anliegen nicht weiter zu beschädigen, danke!