Nach Update auf 19.1.7 funktioniert Internet-Zugriff nicht mehr

[SiggiFR]

Hi, ich habe gestern auf 19.1.7 aktualisiert und danach komme ich von keinem meiner Rechner mehr ins Internet (time-outs). Die OPNsense Box selbst kommt aber noch dran, weil ich testweise schon Reinstalls von einigen Packages gemacht habe.
Was mir im Unterschied zu vor dem Update auffällt sind folgende Punkte:
1. Das Firewall /  Logfile / LiveView oder Plain View wird immer leer angezeigt, obwohl ich ein paar Regeln mit Block oder Pass explizit zum Testen auf Logging gesetzt habe. Es müsste also was auftauchen.
2. Unter Firewall / Diagnostics / pfInfo / Rules wird nur ein leerer Rahmen angezeigt. Aber über SSH Zugriff kann ich sehen, dass /tmp/Rules.debug existiert und gefüllt ist (sieht auf den ersten Blick so aus wie vor dem Upgrade). Ebenso existiert /conf/config.xml und Inhalt sieht korrekt aus.
3. Unter Firewall / Diagnostics / pfTables sehe ich nur noch meine Alias Tabellen. Vorher habe ich immer als erste Tabelle die Bogon-Liste gesehen und ich meine da waren noch andere Tabellen (AV?) zum auswählen.

Ich habe in OPNsense einen Packet Capture aufs WAN Interface gemacht und kann erkennen, dass meine Rechner wohl was raussenden, aber nichts rein kommt. Habe aber im gesamten NAT Bereich nichts geändert. Bei Outbound ist "Automatic outbound NAT rule generation" aktiviert und die Rules finde ich auch .

Ich hänge mit meiner OPNsense Box hinter einer FritzBox 6490 mit 7.02 bei UnityMedia und habe LAN2 als Public Port mit meiner OPNsense dahinter eingerichtet. Das hat bis vorgestern auch funktioniert. Die FritzBox hat vor einigen Tagen den Update auf 7.02 erhalten. Aber da es vorgestern Abend noch funktioniert hat, schließe ich die FritzBox als Fehlerquelle aus (habe auch testweise mal die OPNsense als Exposed Host eingerichtet, obwohl dies ja nur für den Zugriff von außen relevant ist).
Reboots habe ich durchgeführt, Services laufen alle, Gateway (FritzBox) wird als Online angezeigt. Namensauflösung funktioniert (habe Ping auf meine Rechner mit Namen durchgeführt, das funktioniert. Ping von OPNsense auf externe Rechner geht, von meinem Rechner aus nicht.
Was bisher funktioniert hat: Ich habe die FritzBox unter System / Gateways / Single mit ihrer statischen IP Adresse definiert und bei WAN Interface als Upstream-Gateway ausgewählt. Bei meinen anderen Interfaces (LAN und VLANs) habe ich Auto-Detect.

Kann mir jemand noch Hinweise geben, wie und wo ich weitersuchen kann? Vielen Dank!

Meine Linux-Version: FreeBSD 11.2-RELEASE-p9-HBSD

Update im 1. Topic per 14.5.19: Ursache ist eine einzige 1  ;D Ich habe in einer Block Regel einen AllowOpts = 1 gehabt. Solange das System läuft, ist das ok. Wenn aber diese Konfiguration gesichert und wieder für Restore herangezogen wird, ergeben sich die oben beschriebenen Phänomene. Temporäre Lösung: Flag löschen in der Block-Regel. Weitere Behebungsmöglichkeit wird weiter geklärt (siehe unten).

[micneu]

Hast du mal ein Ping auf den Google DNS gemacht (8.8.8.8) von deinem Rechner?

Kannst du mal trotzdem dein Netz skizzieren bitte, hast du es per lan oder wlan getestet.
So können wir besser helfen.


Gesendet von iPhone mit Tapatalk Pro

[SiggiFR]

Hi, Ping geht nicht durch.

Frage: wenn ich auf dem WAN Interface einen Capture mittels OPNsense mache, ist das doch schon nach dem Natting, oder?
In meinem Mitschnitt sehe ich in Wireshark nämlich meinen Rechner-Namen oder auch mal das Handy (und jeweils die lokale IP) als Source an Wikipedia oder andere.
Ich habe jetzt die Vermutung, dass die OPNsense kein Natting macht und deswegen die Nachrichten verworfen werden, weil es ja lokale IPs sind. Kann mir jemand bestätigen, dass meine Vemutung korrekt ist oder sehe ich das falsch? (habe noch nicht so viel Erfahrung mit Capturing-Daten).

[SiggiFR]

Anbei Capture auf WAN Interface. In rot markiert die lokale IP Adresse, die so wie ich NAT verstanden habe, da nciht mehr drin stehen dürfte. Ist das korrekt?

[SiggiFR]

Hier noch meine Netzkonfiguration als Skizze:

Code Select Expand

      WAN / Internet
            :
            : Kabel UnityMedia BaWü (statische IP 37.x.x.17, Businesstarif)
            :
      .-----+----.
      | Fritzbox |  (FB 6490 7.02, hat eigenen IP-Bereich 10.10.92.0/24)
      '-----+----'
            | 37.x.x.18 (an LAN2 als Port mit Public IP Address, nicht als Exposed Host definiert)
        WAN |
            |
      .-----:-----.
      | OPNsense  |
      '-----:-----'       
            |             
     (V)LAN |      (mehrere VLANs mit jeweils 10.10.x.0/24 Range)
            |             
      .-----+------.       
      | LAN-Switch |
      '-----+------'
            |
    ...-----+------... (Clients/Servers)


Die OPNsense muss hier NAT machen (hat sie ja auch schon), weil die FB nur durchreicht. Deswegen meine ich darf bei Capture auf der OPNsense am WAN Interface (zur Fritzbox) keine lokale IP-Adesse mehr im Telegramm stehen.

[hbc]

Schon mal die Outbound-Regeln gecheckt? Viell. nochmal öffnen, speichern und apply?
Check mal auf Console, ob

Code Select Expand

# pfctl -sn
sie Dir noch anzeigt. Ich hätte auch mal Problem, das Regeln in GUI nicht mit denen von pf übereinstimmten.

[SiggiFR]

Hi, mit pfctl -sn kommt rein gar nix. :(
Ich habe schon mehrfach Regeln geändert, Im NAT Outbound mal die Automatic generation auf Disable gesetzt und danach wieder auf Automatic.

Was mich wundert, dass im Capture auf das WAN Interface aber doch Sätze mit Source meiner Rechner und Handies drin stehen. Also muss doch was durchkommen ...

Gibt es außer Backup, Neuinstallation und Restore noch eine Alternative? 

Gruß, Siggi

[vikozo]

ist das WAN Gateway als default Gateway definiert?

[micneu]

Hier noch meine Netzkonfiguration als Skizze:

Code Select Expand

      WAN / Internet
            :
            : Kabel UnityMedia BaWü (statische IP, Businesstarif)
            :
      .-----+----.
      | Fritzbox |  (FB 6490 7.02, hat eigenen IP-Bereich 37.x.x.17/24)
      '-----+----'
            | 37.x.x.18 (an LAN2 als Port mit Public IP Address, nicht als Exposed Host definiert)
        WAN |
            |
      .-----:-----.
      | OPNsense  |
      '-----:-----'       
            |             
     (V)LAN |      (mehrere VLANs mit jeweils 10.10.x.0/24 Range)
            |             
      .-----+------.       
      | LAN-Switch |
      '-----+------'
            |
    ...-----+------... (Clients/Servers)


Code Select Expand


.-----+----.
      | Fritzbox |  (FB 6490 7.02, hat eigenen IP-Bereich 37.x.x.17/24)
      '-----+----'

Ist dein WAN wirklich eine 24 netzmaske oder doch nur eine 30er netzmaske?


Gesendet von iPhone mit Tapatalk Pro

[SiggiFR]

Hallo @micneu, sorry, das war Schreibfehler. Habe meine Skizze oben korrigiert.
Fritzbox hat 10.10.92.0/24 Netz für Verwaltung und deren WAN hat die .17.

[SiggiFR]

ist das WAN Gateway als default Gateway definiert?

Hallo @Vikozo, siehe bitte auch meine geänderte Netzwerkskizze oben. Die IP Adresse der Fritzbox (37..17) habe ich unter System / Gateways / Single angelegt (auf Interface WAN der OPNsense). Und dieses Gateway im WAN Interface als IPv4 Upstream Gateway eingetragen. Das WAN Interface der OPNsense hat die 37..18 public IP Adresse.

[micneu]

du hast in deiner Skizze LAN2 ist das dein WAN oder wie soll man das verstehen?
wenn LAN2 dein WAN ist, bitte mal das bild von dieser Interface Konfiguration Posten.
jetzt nochmal meine frage die du noch nicht wirklich beantwortet hast, hast du von deinem Provider ein /30 Netz bekommen?

[SiggiFR]

LAN 2 ist an der Fritzbox, wo man für die Ports 2 bis 4 angeben kann, ob sie mit einer Public IP Adresse versorgt werden. Von Unity Media habe ich eine /30 Adresse bekommen (also 4 Nummern). Die 37.x.x.17 ist für die Fritzbox, die 37.x.x.18 ist für meine OPNsense an LAN 2 und die anderen beiden sind irgendwas Internes für UM.

Was mich ja brennend interessiert: Wieso sehe ich weder bei

Code Select Expand

pfctl -sn etwas noch in meinen Logfiles (auch keine Blocks, einfach nix) und wieso sind die unter Firewall / Diagnostics angezeigten Rules leer, obwohl die Datei Rules.debug ja da ist und gefüllt ist. Es lief ja schon alles vor dem Update, also kann es nicht total verkehrt konfiguriert sein (wenn überhaupt :-) ). Als hätte der Update mir irgendwie auf Linux-Ebene was kaputt gemacht.

Kann mir jemand vielleicht schreiben, wie ich das, was über Firewall / Diagnostics / pfinfo / Tab "Rules" angezeigt werden soll, anderwie prüfen kann?   Oder ist das obiger pfctl -sn mit leerer Anzeige?
Ich hatte Dienstag mal einen Firewall / Diagnostic / States Reset gemacht. Seitdem sind auch States Dump und States Summary einfach nur leer. Normalerweise bauen sich ja hier bei Zugriffen wieder neue Werte auf ...

Nachtrag: habe gerade pftop auf Console aufgerufen und dann über die Untermenüs 1 bis 8 gesteppt. Alles immer leer.

Nachtrag 2: Ich glaube ich habe gerade selbst die Antwort auf meine obige Frage gefunden:

Code Select Expand

clog /var/log/filter.log zeigt mir nichts an.

[SiggiFR]

Hallo, ich habe die Ursache gefunden: in einer meiner Block-Regeln habe ich wohl irgendwann mal (letzte Änderung war im April) vielleicht durch Kopieren den Parameter AllowOpts angeklickt (=1) gesetzt. Dies ist im laufenden Betrieb nicht schlimm, weil das System unverändert weiterläuft. Erst wenn ich diese Konfiguration sichere und sie wieder für Restore nutze, werden  alle Logfiles leer angezeigt, keine Regeln mehr unter Diagnostics / pfinfo zu sehen und meine Internetverbindung ist auf allen VLANs tot.
Ich habe folgende Tests durchgeführt:

• Erzeugung zweier Konfig-Sicherungen mit genau einer Zeile Unterschied (siehe unten)
• Laden 1. Datei ohne AllowOpts -> alles in Ordnung
• Laden 2. Datei mit   AllowOpts -> Logfiles leer, Regeln nciht angezeigt in Diagnostics, keine Internet-Verbindung.
• Nun in bewusster Regel über das Webmenü das Flag weggenommen, Apply, UND WIEDER GESETZT, System schwingt sich direkt wieder ein und alles läuft.
• Restart System -> alles noch in Ordnung
• Nun Backup dieser Konfiguration vorgenommen (mit Allowopts=1!) und mit genau dieser Datei den Restore durchgeführt -> wieder alles weg!

Meine Regel (hier die mit der allowopts-Zeile):

Code Select Expand

    <rule>
      <type>block</type>
      <interface>opt5</interface>
      <ipprotocol>inet46</ipprotocol>
      <statetype>keep state</statetype>
      <descr>Block This VLAN to  Immels-VLANs</descr>
      <allowopts>1</allowopts>
      <log>1</log>
      <source>
        <network>opt5</network>
      </source>
      <destination>
        <address>Private_IPs</address>
      </destination>
      <updated>
        <username>root@10.10.50.64</username>
        <time>1556230187.622</time>
        <description>/firewall_rules_edit.php made changes</description>
      </updated>
      <created>
        <username>root@10.10.50.64</username>
        <time>1555357507.915</time>
        <description>/firewall_rules_edit.php made changes</description>
      </created>
    </rule>


Für mich ist da irgendwo ein Fehler im System (wohl beim Restore und Upgrade), den es zu beheben gilt. Da muss ich jetzt suchen, wie ich das an einen Entwickler melden kann  :)

Dank auch an @micneu, der mir mit seiner telefonischen Unterstützung den entscheidenden Tip gegeben hat um die Ursache zu identifizieren!

Noch eine Ergänzung, weil sie vielleicht jemandem helfen kann: Der oben von mir gepostete Wireshark-Auszug zeigt ja die 10-er Adressen. Dies ist definitiv FALSCH und lag wohl daran, dass meine Konfiguration defekt war und somit kein Natting durchgeführt wurde. Nachdem ich jetzt mein System wieder am Laufen habe, habe ich einen neuen Capture gemacht. Nur die OPNsense-Adresse steht nun in den Daten ins Internet (mit "Natt-Ports").