Messages

Erstens: Sorry fürs späte antworten, bin atm etwas überladen...
Zweitens: Danke das du dir Zeit für die Hilfe nimmst!
Drittens: Diese Forensoftware hier macht einem Multiquotes von großen Posts echt schwer...

So, CARP läuft, MultiWAN nicht - egal ob mit oder ohne CARP.

Was genau geht denn nicht? Geht nicht ist keine Fehlerbeschreibung ;)

Nunja, lässt sich schwer genauer beschreiben - sobald ich im Guide an der Stelle bin wo ich die Gatewaygroup statt default Gateway auswählen soll, wars das. Nichts geht mehr, weder DNS noch Routing.

Und zwar soll man dort jedem der Gateways der Gatewaygroup einen DNS server (guides nehmen immer 8.8.8.8 - looool) eintragen. Aber ich will ja keinen externen DNS-server nutzen, ich will Unbound lokal nutzen - habe extra NAT rules dafür das auch alles dahin umgeleitet wird:

Wie erreiche ich denn nu MultiWAN Failover, aber ohne externe DNS server - erst Recht ohne Google....? Klar könnt ich nen vernünftigen DNS server nehmen, aber ich will das doch selber machen...

Das hat alles per se absolut gar nix mit MultiWAN zu tun. Guides tragen DNS Server IPs(!) - nur um die IP gehts - bei den Gateways ein, weil man von denen landläufig annimmt, dass die eben so gut wie immer verfügbar sind. Die werden an der Stelle für das Gateway aber schlicht für die Überwachung genutzt, ob eine Leitung wirklich läuft oder nicht. Wenn du vor jedem WAN bspw. nen Router als Uplink hast, dann ist default der GW monitor eben der Uplink Router. Aber der geht ja meistens, wenn die Leitung nicht geht, liegt es ja meist DAHINTER nicht an dem. Darum also unterschiedliche(!!) Monitor IPs für die beiden Gateways, damit die mit nem echten Ziel im Netz prüfen können, ob die Leitung geht. Damit dann auch ein Failover greifen kann. Sonst wird es ja außer bei Leitung aus/Router aus etc. nie getriggert.

Ich meine nicht die IP die man angeben soll um zu testen ob das Gateway oben ist oder nicht. Mir ist klar das diese Einstellung bei den Gateways nichts mit DNS per se zu tun hat, sondern dort nur DNS server angegeben werden weil diese eine hohe Verfügbarkeit bieten. Darum geht es nicht.
Es geht um die Einstellungen unter System -> Settings -> General, wie hier:
https://www.thomas-krenn.com/de/wiki/OPNsense_Multi_WAN
oder hier:
https://docs.opnsense.org/manual/how-tos/multiwan.html#
beschrieben.

Das ist Punkt 1

Die primäre Sense läuft virtualisiert, die Backup-Sense ist in Hardware und wird eigentlich nur angeschmissen wenn ich sie brauche - etwaige Loss of Service bis die hochgefahren ist nehme ich in Kauf (Kirche im Dorf lassen und so...).

Das Setup ist auch kein Standard und nicht gut. Das ist kein CARP/HA Setup, denn dafür müsste der Standby auch dauerhaft laufen. Dafür ist er da. Wenn der meist aus ist, dann bringt er auch nichts, dann braucht man auch kein CARP/HA Setup - Hochverfügbarkeit besteht ja nur dann, wenn alle Komponenten da sind. Dann kannst du dir auch die Hardware mit ner Sense konfiguriert in den Schrank legen und bei Bedarf eben die aktuelle Config einspielen.
Dabei gibts dann auch den nächsten Haken: das wird nicht ohne Probleme gehen, denn deine Interfaces sind in HW ganz andere als in Virtualisierung. Darum wird auch nicht empfohlen mit zwei unterschiedlichen Boxen HA/CARP zu machen, weil das meistens ärger gibt und bei CARP es dann auch noch bei Interface bound states knallt, denn da stimmt die Zuordnung nicht (weil bspw. WAN nicht vtnet0 sondern igb0 ist).

Ob das gut ist oder nicht spielt keine Rolle. Relevant ist das es funktionieren kann. Zumindest getrennt von einander. CARP läuft wunderbar. Ich benutze die Zweite als Cold Standby. Meine Interfaces sind in VM und BareMEtal gleich, weil ich dafür LAGG nutze.
Nochmal: CARP ist hier nicht das Problem, das läuft - und lief auch vorher sauber, vor meiner jetzigen Umstellung.

Ich hab seid einiger Zeit aber kein Multi-GW mehr am Laufen, da ich damit auf manchen Clients immer wieder auf dem falschen GW landete und bei einigen Clients einfach DNS nicht so wollte. Ich hatte auch immer wieder Probleme mit einem meiner VLANs und zu allem Überfluss nutze ich noch eine .local domain.

Die Domain kann man ja im Normalfall einfach ändern. Warum denn an was Kaputtem wie .local festhalten? Sinnvolle echte Domain rein und gut oder wenns unbedingt local only sein muss - warum? - kann man .home.arpa oder .internal nehmen. Da geht wenigstens kein mDNS und Apple Kram bei kaputt.
DNS sollte nun auch nicht unbedingt ein Drama mit MultiWAN sein. Daher die Frage was genau nicht geht und wie es konfiguriert ist.

Naja, die Domain einfach zu ändern.... war nicht so einfach. Hat tatsächlich gedauert bist jetzt alles auf .lan läuft. Warum ich damals local genommen habe? Weil ich es nicht besser wusste.

Insgesamt sehe ich viele Ideen und Potential, aber aus Unwissen vielleicht(?) falsche Ansätze. Wenn du bspw. Redundanz mit Cold Standby lösen willst - dann fang nicht erst mit CARP und HA an. Völlig unterschiedliche Einsatzzwecke und macht GANZ andere Dinge kaputt wenn nicht korrekt eingerichtet.
MultiWAN genauso. Viel Komplexität weil alles in einem Topf blubbert (CARP, HA, MultiWAN, DNS, DNS redirects, etc.).

Ich würde die einzelnen Steps erstmal hart entzerren:

* Wenn Cold-Standby: dann machst du nicht CARP, sondern richtest ein Gerät sauber ein, machst am Ende nen Backup klar, das automatisch erzeugt wird, damit du notfalls eins zur Hand hast (bspw. GIT oder SFTP Backup automatisch 1-2x am Tag) und dokumentierst dir den Weg, wie du aus dem Backup ne lauffähige Kiste mit alter Backup HW im Schrank hinbekommst. So schwer ist das tatsächlich nicht. Und alle halbe Jahr die Backup Kiste mal an machen, aktuelle Konfig rein und auf neueste Version updaten geht auch. Dann wieder aus und einpacken. Funktionstest. Wie im RZ die Backup Diesel :)
* Wenn Active/Standby Cluster: Nimm zwei gleiche Sachen. HW oder Virtuell aber mische nicht beides, das macht mehr Ärger als dass es Nutzen bringt.
* MultiWAN: Genau definieren, was du haben willst, was es machen soll etc. und dann umsetzen.
* MultiWAN+CARP: Aufpassen, dass du dann zusätzliche Checkpoints hast, wenn du wirklich CARP/HA + MultiWAN machst, denn dann muss jeder Node sauber auch jedes WAN angebunden haben. Laut Plan hast du zwei Router davor, sollte also gehen. Aber sowas wie exposed Host o.ä. muss dann auf die VIP gehen, Outbound NAT muss extra konfiguriert werden, etc.etc. - da gibts einiges zu tun!
* DNS: Genauso, überlegen was du genau haben willst (alles DNS soll die Sense machen, via Unbound und Roots oder via DNSmasq und Forwarder oder oder oder) und dann Stück für Stück umsetzen. Auch das Redirecting erst dann, wenn der Rest Kram schon läuft. Solang die Sense noch kein sauberes DNS bekommt, brauchst du mit Clients dahinter nicht anfangen :)
* Dann braucht es am Ende auch keine dubiosen Regeln deren Sinn man selbst erstmal nicht versteht, sondern es läuft vorher schon alles rund und man kann dann ergänzen was man möchte :)

Cheers! :)

Weder Exposed Host noch sonstewas. Im Moment läuft das Setup auch tatsächlich voll im Carp, das heisst beide sind dauerhaft an. Aber wie gesagt - Sobald ich auf GW-Group gehe wars das mit dem Netzzugang.
Wir können das sogar ganz entzerren: Eine Sense, HA wird ignoriert, MultiWAN, DNS nur durch Unbound - wie einstellen Ohne das man diese Einstellung unter System -> Settings -> General einstellt?

So, CARP läuft, MultiWAN nicht - egal ob mit oder ohne CARP.

Ich glaube das Problem liegt an meinen DNS-Settings - jeder Guide möchte das man hier etwas einträgt:

Und zwar soll man dort jedem der Gateways der Gatewaygroup einen DNS server (guides nehmen immer 8.8.8.8 - looool) eintragen. Aber ich will ja keinen externen DNS-server nutzen, ich will Unbound lokal nutzen - habe extra NAT rules dafür das auch alles dahin umgeleitet wird:

Wie erreiche ich denn nu MultiWAN Failover, aber ohne externe DNS server - erst Recht ohne Google....? Klar könnt ich nen vernünftigen DNS server nehmen, aber ich will das doch selber machen...

Statt auszuprobieren habe ich etwas völlig schockierendes getan: Doku gelesen. Jaja, ich weiß, alle so "Boooooo lame" ;)
Hier stehts: https://docs.opnsense.org/manual/other-interfaces.html#lagg
Wie von dir richtig vermutet ist none NOP - auch iwie logisch, wenn man etwas nachdenkt (was ich selten tue...). Die Lösung lautet "failover" - da ist der erste angegebene der Master und lauscht solange er Link hat - des nemwa, das macht n schlanken Fuss!
Jetzt hab ich Netz, also die andere OPNsense auch nullen und von Grund auf hochziehen. Das wird eher unlustig, aber mei, was kost die Welt...
Dank dir!

Huom, okay, verstanden, die VLANs also weiterhin auf die "physischen" Interfaces. Und nee, echtes LACP hab ich auf der Firewall nicht, nur bei den Servern - Redundanz will ich über CARP abbilden. Liegt wohl auch daran das meine Firewalls nur 4 Ports haben ;)
Ich hab das jetzt mal ausprobierft über das CLI (geht ja nur dort, da man noch kein LAN hat, da nur unassigned devices in ein lagg können). Ich gehe also im CLI auf "assign interfaces", wähle yes bei lagg, wähle em0, näme "none" bei algorithm und hab dann mein LAN-lagg. Dem weise ich dann eine IP zu (also dem lagg, nicht der lan-schnittstelle) und... hab kein Netzwerk. Was mache ich hier falsch?

Okay, also tatsächlich auf den physischen Devicenamen - schade. Ich frag mich nur warum das bei mir lange trotzdem geklappt hat.
Ich nutze zwar durchaus einiges an VLANs, aber eben auch PFSYNC, LAN und 2* WAN "nativ". Wie ist denn da die genaue Herangehensweise? LAGGS für alle 4 physischen Devices anlegen und dann die VLANs auf das entsprechende LAN-LAGG? Oder die VLANs weiterhin auf das "native" LAN?

Brutaler threadnecro, aber: Ich habe kein neueres Topic dazu gefunden (unter Umständen falsche Suchbegriffe...) und genau diesselbe Frage. Ich hatte ein solche Setup auch schon einmal am laufen, aber trotzdem nochmals gefragt: Bezieht sich "as interface names differ" auf den physischen Namen oder den vergeben logischen Identifier? Denn der ist ja anpassbar und sollte gleich sein...

Moin, ich bin gerade dabei mein OPNsense setup neu zu machen.

Mein Ziel ist: MultiWAN mit HA. Erstmal das MultiWAN als Failover, gerne später (wenn ich von LTE auf 5G gewechselt bin) als Loadbalancing.

Die primäre Sense läuft virtualisiert, die Backup-Sense ist in Hardware und wird eigentlich nur angeschmissen wenn ich sie brauche - etwaige Loss of Service bis die hochgefahren ist nehme ich in Kauf (Kirche im Dorf lassen und so...).


Das bisherige (und zukünftige physische) Setup seht ihr im Attachement netzwerk_alt_carp.png

Ich hab seid einiger Zeit aber kein Multi-GW mehr am Laufen, da ich damit auf manchen Clients immer wieder auf dem falschen GW landete und bei einigen Clients einfach DNS nicht so wollte. Ich hatte auch immer wieder Probleme mit einem meiner VLANs und zu allem Überfluss nutze ich noch eine .local domain.


Ziele sind also:

• Dual WAN mit Failover Aufbau
• Nutzung von 10 VLANs
• Bereitstellung von 3 VLANS als WLAN
• DHCP für alle Netze (außer VLAN 10 aka Management LAN)
• mDNS Repeater für einfachen Airprint Druck
• DNS im gesamten Netzwerk inklusive der Sense selber nur via Unbound
• Alles was nicht von selber die Sense als DNS nutzt soll geblockt werden (vergleiche fester google-DNS-Fallback in Android...)
• Wechsel von domain.local auf domain.lan

Optionale Ziele für später:

• Aufbau einer DMZ zwischen Fritzbox und OPNsense für Dienste nach Aussen
• Nutzung von ZFS inkl boot environments für Updates, ZFS Mirror
• Wechsel der Hardware der physischen sense
• Multi-Channel LAGG für meine Mikrotiks

Prämisse bei diesem Vorhaben: Netz sollte durchgehend vorhanden sein - mal für 10 Minuten hier oder da ein Schluckauf ist okay, aber dauerhaft weg darfs net sein. Der Einfachheit halber habe ich OPNsense1 ausgemacht und ziehe sie auf einer VM neu hoch.

Ich ignoriere im LAN IPv6 völlig und deaktiviere es wo ich es kann.


So, nun mein teuflischer Plan:


Als erstes wollte ich jetzt einmal meine Firewall-Regeln auf den neuesten Stand bringen und von euch crosschecken lassen, in diesem Zuge des Neuaufsetzens von (im ersten Schritt ohne CARP) OPNsense1 werde ich auch gleich diese unsägliche .local domain los die ich immer noch benutze.

Als nächstes bräuchte ich dann etwas Mikrotik-Hilfe zum Überprüfen meiner VLANs und ob das so passt, und als letztes dann CARP wierder aufbauen - so mein Gedanke.

Wenn das erst einmal ohne HA und ohne MultiGW läuft, wollte ich als nächstes Multi-GW überprüfen - hierfür muss ich dann irgendwie OPNsense2 ausmachen - das wird also tricky. Ideen dazu wie ich das hin- und her Wechseln mache? Wird ja vermutlich nicht alles auf einmal klappen...


So, Plan haben ist toll, setzen wir gleich mal den ersten Punkt um, DNS + Firewallregeln - sollte ja auch das wichtigste sein.

Ich werde einen Alias "All VLANs" benutzen, einen "All Networks" (also All VLANS + LAN), einen "Print Networks" und einen "Media Networks" . die letzten beiden sollten Selbsterklärend sein.

Ich möchte die Regeln die mehrere Netzwerke betreffen gerne als Floating Rules einbauen, damit ich sie nur einmal pflegen muss.

Das erste was stimmen muss ist also das DNS. Grundsätzlich nutze ich die IP der sense jeweils als ihren eigenen DNS, mit der jeweils anderen als sekundärem DNS.

Dann leite ich jeden DNS-Verkehr in jedem Netz auf die Sense selber um, das ist meine zweite und dritte floating Rule, frei nach https://homenetworkguy.com/how-to/configure-opnsense-firewall-rules/ - siehe Attachement

Passt das erst mal soweit? Gehe ich so in die richtige Richtung? Ich hatte das bisher als Rule pro Interface, mit Destination "Interface Address" statt "This firewall"

Ich stolperte dann auch noch hier über diesen Teil im cheatsheet:
Redirect DNS requests on LAN to Unbound DNS using NAT port forwarding

Das würde ich auch gerne umsetzen, das kann ich ja ohne Probleme zusätzlich zur Floating Rule oben einbauen, oder?
Wenn ich das soweit habe würde ich weiter machen und mit noch mehr Fragen um die Ecke kommen.


Sodele, sorry für die Wall of Text...

Heya, I am on 23.7.6 and just installed WireGuard plugin. It was installed quite some time ago, but now I wanted a fresh, clean start. Thing is: After installation there are only the tabs "General", "Instances" and "Peers" available, so no "local" tab to get things started. I also have this error message in my diagnostics:

Code Select Expand

/usr/local/opnsense/scripts/Wireguard/wg-service-control.php: The command '/sbin/route -q -n add -'inet' '172.1.0.4/24' -interface 'wg1'' returned exit code '1', the output was ''
So, thing is: there ain't no interface "wg1" under assignemnets, nor under interfaces. I then checked to forum for similar issues und stumbled over this one:
https://forum.opnsense.org/index.php?topic=35841.0
But the solution is not changing anything (I have tried "Disable Host Route" under System >> Gateways). As I have no instances available the rest of the solution seems not to fit my issue, so right now I am lost... Pls help?

Nochmals, ganz freundlich und als Bitte: hilf bitte jemand anderem, du schaffst das, ganz bestimmt, du must dich nicht mehr mit meinem rumgeheule beschäftigen, denn ich werde dir sicherlich nicht mehr antworten und würde dich bitten dieses Thema und mein Anliegen nicht weiter zu beschädigen, danke!

zu 2. er schrieb VLAN und VLAN fähiger Switch, daher uninteressant geht auch mit 1 Port
zu 3 und 4. jede sense verhält sich in den Netzen der FB und LTE Router wie ein ganz normaler PC. Portforwading auf die einzelnen Hosts ist nicht nötig, lediglich auf die CARP IP im jeweiligen Netz.

Du wirst bei allen Setups immer den CPE als SPOF haben, solange du nicht vom Provider ein VRRP Setup aufgestellt bekommst.
Als redundanz für den Ausfall der FB kannst du dir einfach eine zweite hinstellen, default Netz jeder FB ist das 192.168.178.x daher kannst du die einfach tauschen, nur den exposed Host auf die CARP IP setzen und Zugang konfigurierien bzw. Autoprovisioning nutzen

Der Switch wäre genauso ein SPOF, könntest du aber auch mittels MLAG fähigen switchen mit besagten r210 mit 2Ports nutzen, wäre aber sicher bloated, denn auch da ließe sich für den ausfall ein zweites gerät mit gleicher config hinstellen.

Es geht nach oben immer viel, Frage ist ob es sich lohnt.

Danke, endlich mal jemand der sich mit der eigentlichen Fragestellung beschäftigt, welch Wohltat!
Ja, das CPE / Modem / Router / whatever ist natürlich nicht redundant, daher davon 2. Wenn ich das am Ende alles so aufgesetzt kriege wie ich mir das vorstelle setze ich vielleicht einen 2ten Switch ein. Eine "Reserve" Fritzbox liegt im Rack, LTE habe ich testweise auch mal durch ein Telefon mit USB-Tethering simuliert.
Ich glaube ich habe mitlerweile auch MultiWAN mit CARP fertig, werde das noch ausführlich testen - offenbar kam es hier auf die richtige Reihenfolge an: Erst MultiWAN, dann carpen. Oder ich habe bisher etwas falsch gemacht, ich weiß es nicht, aber fürs erste scheint es zu laufen.
Als nächstes kümmere ich mich dann um den bzw. die VPN Tunnel. Dazu wird es dann wohl 2 VPN Server pro OPNsense, aber wie gesagt: Soweit bin ich noch nicht. Erst einmal will ich jetzt sicher gehen das das jetztige Setup sauber stabil läuft.

Ich hab mit diesen beiden Dells schon Carp am laufen gehabt, daraus erschließt sich einem denkenden Menschen das sie dafür vorbereitet sind - ja, das schließt eine zusätzliche Netzwerkkarte in beiden ein, und das setzt auch voraus das ich die Anleitung gelesen habe. Ich hatte auch schon Mulitwan am laufen, auch das schrieb ich - wenn man jetzt 1 und 1 zusammen zählt stellt man vielleicht fest das der wAP das unterstützt - das war übrigens der Kaufgrund für genau dieses GErät: 2 als WAN verwendbare RJ45 Gigabit Ports. Die Fritzbox eignet sich durchaus dafür, wie ich mitlerweile aus einem anderen Forum gelernt habe.
Fazit: Du liest meine Posts nicht sorgfältig, das NERVT - bitte beteilige dich nicht mehr an diesem Thema.

Nein, die Anforderungen fehlen nicht:
MultiWAN, Multinetz, CARP + VPN auf Basis von OPNsense. Steht da. Wenn ich das nicht auf Basis von OPNsense machen wollen würde, wäre ich nicht hier, wenn was rausfliegen kann, gerne, aber mit Sicherheit NICHT die OPNsense die den Kern meines Netzwerks als Router abbildet. Magst du mir vielleicht noch was hilfreiches dazu schreiben wie man meine neuen Anforderungen erfüllen kann? Dazu hast du noch kein Wort verloren - das was du machst nennt sich im Forensprachgebrauch "derailen" - magst du das bitte lassen? Danke!

Ich hab hier 10 VLANs, 2 relativ getrennte physische Netze, MultiWAN Setup und Multi-Firewall-Setup im Failover. Ich hab relativ gut ausgearbeitete Firewallregeln auf den verschiedenen Netzen. Ich nutze meine OPNSense durchaus, danke der Nachfrage. ISt für meine Anfrage aber völlig unerheblich, ich hab ja recht deutlich geschrieben was ich will.
Magst du auch Hilfe anbieten oder stellst du erst einmal nur die Anforderung an sich in Frage? Wenn ersteres: Lass mal hören. Wenn letzteres: Mach das doch bitte woanders - du liest meine Anforderungen nur zur Hälfte, ignorierst die andere und stellst die gelesene in Frage. Keine Plan was du dir davon versprichst, mich störts jedenfalls. Das ist keine Hilfe, in keiner Form.

Eine Fritzbox scheitert spätestens an VLANs - die hast du irgendwie überlesen. Genauso CARP-Failover und MultiWAN. Letzteres kann sie zwar, aber bleibt dabei SPOF - genau das will ich ja umgehen mittels Failover und MultiWAN.

Moin!
Ich möchte mein Netzwerk neu aufbauen, was die Konnektivität nach außen angeht.
Im Moment habe ich VDSL von der Telekom an einer Fritzbox, an der Fritzbox hängen meine Telefone, hinter der Fritzbox hängt meine OPNSense. Nicht als exposed host oder PPOE passthrough, sie bietet nur einfach ein Netz an, das die OPNSense als WAN benutzt. WLAN, DHCP oder sonstiges von der Fritzbox wird nicht genutzt, nur WAN und Telefon.
Über die OPNSense mache ich DHCP und DNS, außerdem sind dort meine VLANs definiert. Dieses Setup läuft soweit.
Was ich auch schon hatte, aber im Moment nicht, aber da möchte ich wieder hin, sind 2 OPNSenses im CARP-Failover.
Was ich ebenfalls schon hatte, allerdings nicht funktionell zusammen mit CARP, war DUAL-WAN (DSL+LTE).
Bis hier hin soweit alles klar, aber jetzt kommen ein paar neue Anforderungen:
Ich möchte ein paar Mobilgeräte dauerhaft in meinem Netz haben, damit ich einerseits mit diesen Mobilgeräte Ressourcen in meinem Netz verwenden kann, und anderseits den Netzverkehr dieser Geräte kontrollieren kann (Adblock, Webfilter für Kinder, ...). Also erste neue Anforderung: VPN.
Außerdem würde ich gerne Failover UND Multiwan zusammen nutzen. Meine bisherigen Versuche in diese Richtung waren aber eher weniger geil. Also zweite neue Anforderung: Multiwan + CARP.
Und natürlich - das ist die dritte - aber nicht neue - Anforderung würde ich gerne meine Fritz-Telefone weiterhin nutzen.
Meine beiden OPNSenses laufen auf DELL 210ern, meine Fritzbox ist eine 7530, mein LTE-Zugang stellt ein Mikrotik wAP AC LTE 6 her und als Switch dahinter nutze ich einen Mikrotik CRS 328.
Wie würdet ihr meine Anforderungen umsetzen? Ich kann auch notfalls andere / neue Hardware anschaffen (z.B. ein anderes Modem oder so...), aber was nicht muss muss ja nicht...