Adblocker Probleme (Bind, Unbound, AdGuard Home, DoppelNat)

[High-Tower]

Hallo zusammen,

komme seit 2 Tagen nicht mehr weiter.
1.tes Problem, keine Verbindung mehr von OPNsense zum Internet (SYSTEM - Firmware - Status lädt nicht mehr)
2. bild.de kommt nun die Meldung "Werbeblocker deaktivieren"

Unbound, BIND und AdGuard Home ist aktiv (alle ales PlugIn auf der OPNsense).
Zenarmor Sensei ist auch installiert :-)

Zur Grundkonfiguration:

Selbstbau OPNSense HW (Asus Board, i5-8500t, 16Gig ram, 240gig NVME, Intel X520 Glas PCIe), OPNsense 21.7.4-amd64 ist frisch installiert unter Dateisystem ZFS.

Da leider mein Internet (noch) aus einem Hybrid Telekom Tarif besteht, muss ich wegen der Miserablen Geschwindigkeit den Speedport Hybrid benutzen (mit externen Antennen, da der Empfang grottig ist).
Zukünftig soll Glas ins Haus gelegt werden (und die OPNsense als Router dienen) und bin durch die X520 Karte schon mal drauf vorbereitet (direkt GLAS Anschluss ohne Medienkonverter).

 
       Internet
            :
      .-----+-----.
      |  Gateway  |  (Speedport Hybrid)
      '-----+-----'
            |
        192er Netz
            |
      .-----+------.  RJ45 Anschluss mit Static 192er Adresse und Gateway Static eingetragen von SPH
      |  OPNsense |
      '-----+------'   GLAS Anschluss mit 172er Static Adresse
            |
        LAN 172er /24
            |
      .-----+------.
      | LAN-Switch |
      '-----+------'
            |
    ...-----+------... (Clients/Servers)


Auf der OPNSense ist Unbound aktiv mit "Listen Port" 5353 ; Blocklist Enabled / DNSBL alles
BIND aktiv DNSBL und RPZ aktiv, Type of DNSBL: alle
Listen Port 53530

AdGuard Home als PlugIn Aktiv und in den DNS Einstellungen beide DNSBL PlugIns eingetragen (Upstream-DNS-Server / Bootstrap DNS-Server
127.0.0.1:5353
127.0.0.1:53530

Funktioniert auch fast alles so wie es soll, außer die 2 Punkte von oben.

zu Punkt 1. Wenn ich AdGuard Home deaktiviere und Unbound wieder auf Listen Port 53 setze, funktioniert auch die Status Abfrage inkl. den Aktualisierungen für die PlugIn´s wieder in OPNsense.
D.h. dass theoretisch die OPNsense selbst nicht direkt über den WAN Port ins Internet connected und sich die Daten zieht, sondern über den internen Unbound DNS...

Bei Punkt 2 hab ich versucht, die Seiten als Domain direkt in Unbound und in BIND zu hinterlegen unter  Whitelist Domains, hat aber nicht wirklich funktioniert...

Kann mich hier evtl. einer aufschlauen, damit ich nicht dumm sterbe?
Danke schon mal im Voraus.


EDIT: Das Thema mit Bild hab ich in den griff bekommen... war ein falscher Gedanke, "nur" diese auf die Whitelist zu setzen.
Leider komm ich nicht auf das problem mit dem Interface, bzw. dass OPNsense noch Internet besitzt, wenn in Unbound der Hörende Port geändert wurde...

PS: Unbound hängt sich dauernd auf, und spuckt Fehler aus. Denke das hat damit zu tun, weil einfach keine aktive Internet Verbindung mehr besteht... Hat jemand einen Tipp für mich?

[KHE]

Hi,

was hast du unter System: Settings: General unter Networking als Nameserver eingetragen wenn Services: Unbound DNS: General unter DNS Query Forwarding der Enable Forwarding Mode aktiv ist. Oder hast du im Unbound DoT aktiv?
Warum verwendest du sowohl unbound als auch bind?
Was steht in der /etc/resolv.conf ?
Was für Fehler spuckt der unbound aus?

Gruß
KH

[High-Tower]

Hi KH,

vielen Dank für deine Hilfestellung.
Hab mittlerweile das System nochmal neu aufgesetzt und glaub, dass ich es jetzt geschnallt hab als vollhonk.

Standardmäßig ist in OPNsense kein DNS hinterlegt und Unbound als "eigener" DNS eingeschaltet. Wenn man Unbound deaktiviert und keinen anderen DNS einträgt, kann OPNsense und alle andere Clients im Netzwerk kein DNS mehr auflösen.
Hab testweise in System-Settings-General den 8.8.8.8 als DNS eingetragen und Unbound abgeschalten und den haken bei ""Do not use the local DNS service as a nameserver for this system" gesetzt. Funktioniert wunderbar.

Die Frage, warum BIND zusätzlich zu Unbound, hab hier im Forum einiges gelesen und mal am Rande aufgeschnappt, das BIND irgendwas mit Secure kann, wo Unbound nicht kann.
Wenn das absoluter Blödsinn ist und Unbound BIND ersetzt, lass ich BIND weg...

Hab dann "nurnoch" das Thema mit AdGuard.
AdGuard läuft ja als PlugIN auf der OPNSense.
Nehmen wir mal an ich hab die fixe IP 172.33.33.1 der OPNsense zugeordnet.
Muss ich dann nach der Inbetriebnahme von Adguard (läuft ja als Localhost auf der selben IP) die 172.33.33.1 im DNS eintragen (System-Settings-General).
Darunter gibt es ja die Option (zum anhaken):
"Do not use the local DNS service as a nameserver for this system"

Theoretisch ist das ja der "locale" DNS (Adguard)... Bin dort leider sehr verwirrt, da es ja ein PlugIN ist....
Oder muss ich hier den Zugangsport anpassen (172.33.33.1:8888) und diesen dann auch im DNS mit :8888 eintragen?
DoT war nicht aktiv.



EDIT: Ich komm so langsam immer mehr in das Thema rein.
Glaub auch, dass ich den Fehler gefunden habe, warum OPNsense selbst nicht mehr ins Internet kam.
Hab in AdGuardHome unter "Bootstrap DNS-Server starten" den Unbound und den BIND eingetragen, warum auch immer, aber in den Beiden das DoT nicht aktiviert.... das kann nicht gehen.
Hab nun im AdGuardHome die Standard Adressen drin gelassen und im Upstream-DNS-Server den geänderten Port mit angegeben für Unbound.
Siehe da, funktioniert tadellos...

Vielen Dank noch an yeraycito :-)
https://forum.opnsense.org/index.php?topic=22162.15

EDIT 2: Ich könnt euch knutschen :-) jetzt funktioniert das so wie das wollte, mit allen Sperrlisten und eigenem Upstream DNS 

[KHE]

Hi,

um das ganze noch kurz abzuschließen:
Das AdGuard Plugin braucht zwei Ports, einen für den DNS Dienst (53) und dann den für die Weboberfläche. Wenn du den jetzt in System: Settings: General einträgst ändert sich nichts, die OPNsense nimmt den AdGuard zur Namesauflösung, da der auch auf localhost Port 53 lauscht, sofern du nicht die Konfiguration angepasst hast.

Wenn du jetzt parallel unbound und BIND verwendest, dann nimmt AdGuard in Standart-Konfiguration mal den einen, mal den anderen. Selbst wenn der BIND was sicherer kann, hast du nur in der Hälfte der Fälle was davon. Und in den älteren Versionen von unbound musste man bei DoT zum Überprüfen der Zertifikate noch die CA-Zertifikate manuell einbinden. Das geht jetzt automatisch. Was sonst an BIND noch sicherer sein soll, kann ich nicht sagen.

Es kann sein, dass einige Dienste beim Neustart nicht starten, da die Namesauflösung noch nicht funktioniert weil AdGuard noch nicht läuft (https://forum.opnsense.org/index.php?topic=25384.msg122117#msg122117). Daher habe ich ein VLAN angelegt, welches nur für den unbound ist, dieser läuft auf Port 53 und eben nur auf diesem Netzwerk. Nur auf localhost kann man unbound leider nicht begrenzen. Damit AdGuard dann nicht versucht auf localhost Port 53 zu starten habe ich dann in /usr/local/AdGuardHome/AdGuardHome.yaml in der Sektion dns: die unter bind-hosts die IP eines weiteren Interfaces eingetragen. Es können auch mehrere IPs sein. Das geht aber nur über die Kommandozeile mit einem Editor. Ich musste dann noch Regeln eintragen, damit die anderen Netzwerke an den DNS kommen. Und einen DNS rewrite in AdGuard anlegen, damit die Namesauflösung zur Firewall wieder geht. Format der Konfigurationsdatei: https://github.com/AdguardTeam/AdGuardHome/wiki/Configuration#configuration-file.

Seitdem starten meine Dienste und AdGuard auch wieder automatisch, wenn ich die OPNsense neu starte.

Gruß
KH

PS: Nimm nicht 172.33.33.1 als Beispiel, das ist eine öffentliche (sprich vergebene Adresse). Privat geht nur von 172.16.0.0/16 bis 172.31.254.0/24 bzw. 172.31.0.0/16.

[High-Tower]

Hi,

danke für die Ausführliche Erklärung.
Keine Sorge, hab keine 172.33er IP´s, sry.. dummes beispiel :-)

Hab nach dem aufsetzen kein BIND mehr aktiv oder installiert, sondern "nur" noch Unbound und Sensei.
Agguard hab ich auch nun aktualisiert über das Web Interface.

PS:
Konnte eine Homepage nicht mehr öffnen und habe testweise die Homepage über LTE aufgerufen, was funktionierte.
Also muss es iwo an meinem System "hängen".
In den Logs von Adguard war alles ok, im Log vom Sensei auch.
Dachte mir, dann muss es an Unbound "hängen".
Die Blocklisten hab ich mal deaktiviert und nur den Dienst neu gestartet. Nichts, die Seite ging immer noch nicht auf. Komisch. Hab dann Schlussendlich die Blocksiten wieder aktivieren, unter "Blocklist" in der "Whitelist Domains" die Homepage eingetragen, gespeichert, Dienst neu gestartet, geht immer noch nicht.

Komisch, also, die Firewall mal neu gestartet (und auch mal zu sehen, ob alles automatisch startet, oder ich auch die Probleme habe mit dem Autostart der Dienste). Siehe da, die Homepage funktioniert.
Um hier sukzessiv Fehler eingrenzen zu können, such ich das detaillierte Log File von Unbound (in Adguard und Sensei ist das ja echt super Aufbereitet). In dem Logfile unter dem Dienst Unbound sehe ich keine Detaillierten Anfragen, Blocks, etc... gibt es hier noch ein erweitertes LogFile oder ein Zusätzliches PlugIn für eine detaillierte Log von Unbound?

PS: Seit dem ich das u.a. eingerichtet habe, inkl. dem WebProxy mit i-CAP und ClamAV zeigt mir Windoof in der Taskleiste an, dass ich kein Internet mehr habe, obwohl alles wunderbar funktioniert. Ist wahrscheinlich irgendein Windows Dienst, wo nun geblockt wird, oder?

Danke nochmals! Echt klasse!

[KHE]

Hi,

im unbound kannst du unter Erweiterte Einstellungen den Log-Level hochstellen. Aber es gibt keine getrennten Logs für Queries und den anderen Logs.

Zu Windows, du hast recht, da ist wahrscheinlich dann der Server, über den die Internetverbindung gecheckt wird geblockt.

Gruß
KH

[High-Tower]

Hi,

weis nicht, ob es Interessant ist, für den ein oder anderen....
Da das "Problem" noch bestand, mit Windows, dass u.a. auch der Store nicht mehr ging (wenn Windows sagt, kein Internet, geht kein Spotify und kein Store), hab ich nach längerem googlen erfahren, dass 2 Seiten geblockt werden von den Blocklisten, wo Windows aber eine Antwort erwartet (leider sind die Log files von Unbound nicht so toll, auch nach hochstellen des Log-Levels ist es eher noch unübersichtlicher geworden (und ja, man kann suchen...).

Also hab ich bei Unbound in die "Whitelist" folgende Domains eingefügt:
dns.msftncsi.com
msftncsi.com

und hab auf speichern gedrückt... nach ca. 30Minuten kam immer noch keine Rückmeldung (bzw. der Ladebalken war oben zu sehen), und die OPNsense reagierte nicht mehr. Ping auf die Adresse ging problemlos. Adresse noch mal im Browser eingegeben nichts...
Nach nem Neustart noch mal im Unbound unter Whitelist "vorsichtshalber" speichern gedrückt... Nun kam ein Error (1)... ok. System mal runter gefahren und danach wieder hoch gefahren... selbe von vorne Whitelist gespeichert und nun kam Error (99)...

Zu guter Letzt wurde nun das System nochmals neu aufgesetzt (heute Nacht) und von Anfang an Unbound als DNS Resolver deaktiviert. Aktuell erledigt BIND seinen Dienst tadellos.
Testweise ein paar andere Domains in die Whitelist von BIND eingetragen und siehe da, keine Probleme...
Logfiles sind besser geordnet wie bei Unbound.
Die 2 Domains für Windows hinzugefügt und siehe da, funktioniert wunderbar (nicht nur das speichern, nein, sondern auch mit Windows als Client).

Vielen Dank nochmals für die Hilfe.
Evtl. konnte ich jemanden nun mit meiner Erfahrung und Info iwi n bissle weiterhelfen.

Grüße
High-Tower