Messages

Von Webkram habe ich wenig Ahnung, aber ich bekam von anderer Stelle noch etwas Hilfe beim Debuggen. Die Netzwerkanalyse im Firefox (F12) brachte dann "CORS failed" hervor, was uns eine definitive Antwort brachte.
Die eingeloggte Sitzung bei Matrix habe ich daraufhin verworfen (wieder neu authentifizieren geht mit matrix ja vorzüglich), aber der Servername wurde abgelehnt.

Nachdem mich dann der Rappel gepackt hatte, habe ich alle 3 Senses nochmal frisch aufgesetzt. Irrtümlicherweise anders als von mir angenommen läuft app.element.io mehr lokal als remote, also reicht definitiv ein host overwrite im unbound...und es funktioniert wieder.

Ich vermute, dass es das jetzt nicht mehr default aktivierte "X-Forwarded-For (DEPRECATED)" in Kombination mit einer neuen Sitzung war, kann es aber nicht genau sagen. (Wahrscheinlich war mein Haupt"fehler" nach dem Tausch der Fritzbox zunächst alle senses upzudaten) :D

NAT Reflection?

Mhm, das ist eine Sache mit der ich weniger fit bin und glaube sie nicht so ganz verstanden zu haben. Mir leuchtet auch nicht ein, weshalb app.element.io darauf zugreifen können sollte. Das ist doch ein komplett externer Dienst, der von extern auf mein WAN zugreift und ich greife nur auf deren Homepage zu. Ich bin da auch etwas überfragt auf welcher Sense ich da gucken müsste, bevor ich mir die config zerschieße.

Rein neugierhalber: was soll das ganze? Weshalb einen redundanten HA-Cluster hinter einem einzelnen SPoF?

Ich habe eigentlich MultiWAN, längere Geschichte, Nachbar ist weggezogen, derzeit mindestens aber noch LTE als Fallback. Ansonsten aber persönliche Spielerei. :)

Der Aufbau ist etwas komplizierter als es der Titel vermuten lässt und normalerweise bekomme ich Probleme immer gefixt, nachdem dann der Groschen fällt wenn ich ausreichend lange in die Firewall-logs schaue. Diesmal komme ich aber einfach nicht drauf.

Ich hatte in der Fritzbox lediglich mein PPPOE-Geraffel dringehabt und als exposed host die CARP-IP von meinen beiden bestehenden Sensen drin und dort den ganzen Portfreigabezoo abgeschmatzt. Funktionierte einwandfrei.

Jetzt habe ich die Fritzbox gegen eine weitere Sense (vor den beiden anderen) ausgetauscht. Diese ist online und soweit passend durchkonfiguriert, das Doppel-Nat "raus" hat direkt geklappt, ich konnte von innen heraus direkt surfen.
Um die Dienste von außen wieder verfügbar zu bekommen, habe ich eine One-to-One Regel gesetzt. External meine WAN-IP/32, Internal die CARP-IP/32. Als Firewall-Regel Durchzug von WAN auf die CARP-IP/32.

Das funktioniert auf den ersten Blick, Dienste von außen sind erreichbar, Mails kommen wieder rein und meinen Matrixserver erreiche ich von extern (Der Federation-Tester sagt auch, dass alles ist wie es soll), aber nicht mehr von intern beim Ansurfen auf app.element.io
Der Matrixserver wird via HAProxy rausgeleitet, mit den nötigen Zertifikaten ausgestattet, diese sind auch aktuell. HAProxy selbst lauscht auf der CARP-IP.
Damit das von innen über app.element.io klappte, hatte ich im unbound einen host override von matrixserver.meinedomain.de auf die CARP-IP gesetzt.

Jetzt die Preisfrage...was machte die Fritzbox anders?

Woran könnte es noch liegen, was übersehe ich?

Es gibt teilweise unterschiedliche Firmwares bei Draytek, manchmal ISP-optimiert etc.
Am besten immer http://fw.draytek.com.tw/ durchstöbern, das ist oft auch aktueller als die normale Homepage.

Übrigens gab es gestern eine neue Firmware gegen eine neue Lücke, die als critical eingestuft wurde. Betroffen sind einige Modelle (auch der 165!): https://www.draytek.com/about/security-advisory/cross-site-scripting-vulnerability-(cve-2023-23313)/

http://fw.draytek.com.tw/Vigor165/Firmware/v4.2.4.1/

Guck mal in den settings von HAproxy, da sollte eine anstehende Änderung drinstehen. Solange die nicht bestätigt ist, startet der nicht.
War bei mir auch so, aber im diff stand nichts Weltbewegendes, nur neue Version oä.

Wenn du noch carp hast, muss das auf der zweiten node auch so gemacht werden, danach 1x neu syncen und bestenfalls nochmal sauber durchbooten.

Ja, nur vermeide bei der Netzvergabe intern die, die Fritzboxen automatisch haben. Also 192.168.178.0/24, 192.168.179.0/24 bzw. was für das Gastnetz normalerweise fest vorgegeben wird. Kann auch manchmal die 192.168.180.0/24 sein.

Das sollte aber alles kein Problem darstellen, wenn du auf der protectli opnsense soweit default lässt und der Fritzbox eine statische und eher leicht zu merkende z.B. 192.168.1.100/24 gibst.

Aber wo mache ich dann die freigaben?

Auf der opnsense, auf WAN.

Konfiguriert ist der Anschluss der Fritz an externes Modem oder Router. Die Verbindungsdaten sind aber in der Fritzbox eingetragen.

Das ergibt keinen Sinn, wenn du kein (weiteres) externes Modem hast. Die Fritzbox hat ein Modem integriert, die Protectli nicht.
Also entweder Fritzbox als erstes Gerät nehmen und die die Einwahl machen lassen und die Protectli als Client ggü. der Fritze konfigurieren (ist dann zwangsläufig Doppel-NAT, wenn du auf die Krücke mit exposed host verzichtest) oder die Fritzbox als passthrough/modem-only einstellen und die Protectli die Einwahl machen lassen. Dann müssen aber auch die Zugangsdaten auf die Protectli.

Besser: Du kannst das inexio-Modem vor die Protectli anschließen, die Protectli macht darüber die WAN-Einwahl (die Einwahldaten müssen dann aber auch wieder auf die Protectli drauf). Da konfigurierst du dann dein Zeug, was du so vorhast. Ich denke mal, das war das wie du es im Anfangspost geschrieben hattest.
Die Frage ist dann, was die Fritzbox noch bringen sollte...gängig ist das dann als Voipclient wie schon beschrieben oder als einfacher Accesspoint fürs WLAN.

Mein nicht ganz taufrischer Stand ist, dass suricata auf pppoe generell nicht empfohlen wird, weil das genau solche Probleme macht.

Edit:
Lief es denn vorher sauber durch den reset vom ISP, also ohne deinen cronjob? Ist ja auch wieder was anderes, als das modem zu zupfen, bzw. je nachdem, was du zupfst. Zupfst du das RJ-45, geht die NIC an der sense down, zupfst du das Kabel (TAE? Glasfaser? etc.) vom ISP, geht die NIC nicht down.
Idee dazu, wenn ja: via cronjob suricata stoppen, dann interface resetten, wieder starten und vielleicht dazwischen 10-20 Sekunden delay setzen, damit sich das alles berappeln kann.

Ich bin mir nicht sicher, ob ich die Optionen richtig verstehe, was jeweils das eine oder andere bewirkt und bitte um Aufklärung und Hinweise, wenn ich wo falsch liege. Keine Angst, das artet nicht in multi-WAN vorkauen aus, das rennt grundsätzlich. Mir geht es wirklich nur um die pool options :)

Es sind zwar mehr Leitungen, aber für die Beispiele bleibe ich bei zwei und einem Clientnetz.

Gegeben sind 2x WAN (nennen wir sie mal A und B), jeweils im betreffenden Interface den dazugehörigen (IPv4 Upstream Gateway) explizit gesetzt, weil es da lautet "If this interface is a multi-WAN interface, select an existing gateway from the list or add a new one using the button above."
Unter System>Gateways>Single haben beide das Häkchen bei Upstream Gateway gesetzt. WAN_A hat prio10, WAN_B hat prio11. Wie ich das verstehe, gilt das erstmal nur für OPNsense selber...also bevorzuge WAN_A, wenn der nicht verfügbar ist, nimm WAN_B. Weiterhin habe ich beide explizit auf weight5 gesetzt. Das monitoring läuft, beide dpinger-Instanzen sind auf grün.

In der Gruppe sind beide in tier1 und das trigger level auf "member down".

Für die GW-Gruppe existieren zwei FW-Regeln, also policy based routing, das triggert auf port 80/TCP und 443/TCP.

Firewall>Settings>Advanced hat Sticky connections aktiv, Shared forwarding aktiv, Disable force gateway deaktiviert

Szenario1 (pool options default)
Client_A surft jetzt forum.opnsense.org an. Vom DNS-Traffic mal abgesehen (und wenn nicht bereits eh schon im cache), alles nachfolgende läuft über einen der beiden GWs, der 50/50 ausgewählt wurde. Sagen wir hier mal, dass GW_A getroffen wurde. Die states bleiben also für Client_A via GW_A offen und solange diese bestehen, geht der traffic ausschließlich über GW_A.

Surft jetzt ein Client_B ebenfalls forum.opnsense.org an, dürfte dieser traffic dann ausschließlich über GW_B rausgehen bzw. an GW_B 'kleben', daher die Bezeichnung sticky (auch hier nur solange die states nicht ablaufen)

Szenario2 (pool options default, Sticky connections deaktiviert)
Client_A surft forum.opnsense.org an. Der traffic geht über beide GWs raus und rein (aber nicht über Kreuz, das reply-to habe ich nicht angetatscht! :D), z.B. ganz einfach ausgedrückt das logo und vier der smilies via GW_A und die restlichen smilies über GW_B, eben auch 50/50.

Für Client_B läuft das genau so.

Damit wäre Default: Round Robin, Sticky Address determined by advanced settings abgedeckt, wenn das so stimmt, wie ichs vestehe.

Was bewirken jetzt aber Round Robin: Loops through the translation addresses und Sticky Address: The Sticky Address option can be used with the Round Robin pool type to ensure that a particular source address is always mapped to the same translation address. in den vier weiteren Szenarien mit jeweils Sticky connections an/aus?

Die Frage kam ursprünglich auf, wie ich gegenüber einem free-filehoster die Wartezeit etwas verkürzen kann, wenn man da das trafficlimit aufgebraucht hat.  8)
Verbindung neu aufbauen und IP erneuern empfinde ich als hässlichen workaround, zumal ich nicht überall dynamische IPs habe.

jedoch hat die GUI noch nicht neu geladen

An dem Punkt wenn das Zahnrädchen kommt, gebe ich der sense immer nochmal 20-30 Sekunden extra Zeit, da mehr im Hintergrund abläuft.

Generell empfiehlt sich bei solchen Änderungen zur GUI ein reboot. Wenn man nach z.B. 100 Tagen uptime rebooten muss und die Kiste kommt mit unerwarteten Settings hoch, erinnert man sich selten dran, was man vor 100 Tagen gefummelt hat. Bei HA dann slave runterfahren, master rebooten und alles checken, dann slave wieder booten.

Wenn das dann immer noch nicht wie erwartet läuft, die andere guten Tips mit Browsercache leeren und frischen Client ausprobieren.

Nein, ich wollte das allgemein mal niederschreiben, weil man ja doch desöfteren mit Fritzboxen zu tun hat. (und man wenig über die beiden Modi an sich überhaupt liest)

Sei es auch nur, wenn man sie als sip-gateway degradiert. ;)

Edit:
bei dir klingt das nach einen NAT-Problem bzw. droppt deine Firewall was.
https://www.voispeed.co.uk/voip-calls-drop-30-seconds/

Ich kenne dein Snom explizit nicht, aber STUN solltest du dort deaktivieren. Wenn das ein Gebrauchtgerät aus einem Firmenvertrag ist, könnte es sein, dass man die MAC-Adresse nicht vom Provisioning-Server gelöscht hat. Dh. es zieht sich selber immer die Settings, für die frühere Umgebung.
Dann hilft dir nur, DHCP zu unterbinden und statische Adresse zu fahren.

[kein NAT]

Zunächst mal das Verwirrende:
Es gibt Option 'Vorhandener Zugang über LAN' = Fritze macht NAT
und dann gibt es noch 'Weitere Internetanbieter' -> 'Anderer Internetanbieter' -> Anschluss an externes Modem oder Router -> IP-Client-Modus = kein NAT, Firewall aus

Ebenfalls anschauen sollte man sich mal 'Eigene Rufnummern' -> 'Anschlusseinstellungen' -> Nutzung von Internettelefonie aus dem Heimnetz unterbinden

Letzterer Modus sollte das Problem beheben.