[GELÖST] Proxy: Probleme mit "SSL Domain/IP only"

[Reiter der OPNsense]

Hallo allerseits

Ich mache gerade meine ersten Gehversuche mit dem Proxy im transparenten Modus.

1. Enable Transparent HTTP proxy: sieht gut aus.
2. Enable SSL mode: sieht gut aus.
3. SSL Domain/IP only: will irgendwie nicht so.

Gewisse Seiten funktionieren normal, andere gar nicht. Beim Aufruf von heise.de und google.ch erscheint allenfalls noch ein Titel im Tab, aber es wird kein Inhalt geladen. Die Seite lädt unendlich lange, kein Timeout, nichts.
Im Log erscheint folgendes beim Aufruf von google.ch:

Code: [Select]

2016/09/07 21:15:05 kid1|   SECURITY ALERT: on URL: www.youtube.com:443
2016/09/07 21:15:05 kid1|   SECURITY ALERT: Host header forgery detected on local=216.58.210.14:443 remote=192.168.200.122:59133 FD 103 flags=33 (local IP does not match any domain IP)
2016/09/07 21:15:02 kid1|   SECURITY ALERT: on URL: accounts.google.com:443
2016/09/07 21:15:02 kid1|   SECURITY ALERT: Host header forgery detected on local=216.58.210.13:443 remote=192.168.200.122:59130 FD 88 flags=33 (local IP does not match any domain IP)
2016/09/07 21:14:57 kid1|   SECURITY ALERT: on URL: www.google.ch:443
2016/09/07 21:14:57 kid1|   SECURITY ALERT: Host header forgery detected on local=172.217.16.195:443 remote=192.168.200.100:33773 FD 22 flags=33 (local IP does not match any domain IP)
2016/09/07 21:14:42 kid1|   SECURITY ALERT: on URL: www.google.ch:443
2016/09/07 21:14:42 kid1|   SECURITY ALERT: Host header forgery detected on local=172.217.16.195:443 remote=192.168.200.100:23512 FD 14 flags=33 (local IP does not match any domain IP)
2016/09/07 21:14:23 kid1|   Error negotiating SSL connection on FD 25: error:14094416:SSL routines:ssl3_read_bytes:sslv3 alert certificate unknown (1/0)
Liegt das an meiner Konfiguration oder ist das ein Bug? Hat jemand "SSL Domain/IP only" erfolgreich am Laufen?

LG, Stefan

[beclar2]

Hallo Stefan,

ich weiß nicht, ob es dir hilft, aber den Log-Eintrag "(local IP does not match any domain IP)" hatte ich auch und die Devices bekamen keine HTTPS-Verbindung (über Port 443) nach draußen = die Android-Handies beschwerten sich über eine "fehlende Internetverbindung" und der FireTV-Stick konnte keinen Kontakt zum Amazon-Server aufnehmen.

Die Fehlermeldung ist hier beschrieben. Unter anderem heißt es dort: ensure that the DNS servers Squid uses are the same as those used by the client(s).

Und genau hier lag bei mir die Lösung: Unter OPNSense ist bei mir der DNS Resolver aktiviert mit der aktivierten Option "DNS Query Forwarding: Enable Forwarding Mode". Das bedeutet, dass die Nameserveranfragen an den Nameserver weitergeleitet werden, der unter System-Settings-General angegeben ist. Ich hatte dort den Google-Nameserver eingetragen = 8.8.8.8.

Und genau diesen Nameserver darf man mit aktiviertem DNS Resolver NICHT auch via DHCP an die Clients ausgeben. Denn der Proxy nutzt nicht diesen Nameserver, sondern offensichtlich den DNS Resolver der Firewall. Das habe ich erst kapiert, als ich mir die Hilfe-Texte unter System-Settings-General habe anzeigen lassen. Dort heißt es zur letzten Option "Do not use the DNS Forwarder as a DNS server for the firewall":

"By default localhost (127.0.0.1) will be used as the first DNS server where the DNS Forwarder or DNS Resolver is enabled and set to listen on Localhost, so system can use the local DNS service to perform lookups. Checking this box omits localhost from the list of DNS servers"

Meine Lösung zur Beseitigung der o.g. Fehlermeldung war daher, den Clients via DHCP als Nameserver die IP des Firewall-Interfaces mitzuteilen (in meinem Fall die statische IP des WLAN-Interfaces). Dadurch wird sichergestellt, dass sowohl die Clients als auch der Proxy den DNS Resolver als Nameserver nutzen. Und siehe da, obige Fehlermeldung war weg und die Clients haben seither keine Probleme mehr mit SSL-Verbindungen zu externen Servern.

Vielleicht hilft es ja auch bei dir. Hat mich ungefähr eine Stunde Rumprobieren gekostet und eine genervte Gattin, die ihre Lieblingsserie nicht über den FireTV gucken konnte... Aber ich habe wieder etwas mehr über die Firewall gelernt. Immerhin 

Gruß,
beclar2

[Reiter der OPNsense]

Hallo beclar2

Vielen Dank für Deinen Bericht. Ich habe das von wegen denselben DNS-Server verwenden auch gelesen und entsprechend so eingerichtet. Meine ich zumindest, vielleicht habe ich damals etwas übersehen. Ich habe es jetzt nochmals gemäss Deiner Beschreibung und neu mit dem DNS-Resolver statt wie bisher mit dem DNS-Forwarder versucht. Zudem habe ich mal nur den Google-DNS-Server hinterlegt (vorher per DHPC bezogen). Und siehe da, das Ergebnis ist wesentlich besser als vorher. Keine Ahnung, ob es nun am Wechsel zum DNS-Resolver liegt, an den reduzierten DNS-Server oder ob ich vorher irgendetwas anderes übersehen habe.

Ein kurzer Test mit ein paar wenigen HTTPS-Seiten war erfolgreich. Aber die Sicherheitsalarm-Meldung tritt vereinzelt immer noch auf, aber immerhin werden die Seiten geladen und angezeigt, spätestens nach einem Refresh. Allenfalls sind die Seitenaufrufe ein wenig zäh, aber vielleicht bilde ich mir das nur ein. Vielleicht kann man noch die DNS-Resolver-Einstellungen optimieren, habe ich jetzt noch nicht versucht.

Soweit so gut, aber ich bin noch immer nicht bei einer brauchbaren Lösung angekommen. Weil sobald ich die Remote-Blacklist-Filter aktiviere ist Schluss mit lustig. Eigentlich vor allem dann, wenn Werbung gefiltert wird. Auf arg zugemüllten Seiten mit Verweise auf z. B. Google Analytics oder auf Werbedomains geht nichts mehr. Diese Verweise werden offensichtlich erfolgreich geblockt, aber dann lädt auch der Rest der Seite nicht mehr und diese wird nicht angezeigt.
Kommt noch dazu: Wenn eine böse HTTPS-Seite aufgerufen wird, dann wird diese zwar geblockt, aber die Anfrage läuft ins Leere, ohne Timeout, ohne Meldung wie bei blockierten HTTP-Seiten.
Vermutlich müsste man dem Proxy sagen, dass er Anfragen zu solchem Junk komplett verwirft oder so?

LG, Stefan

[beclar2]

Nochmals zum Thema "(local IP does not match any domain IP)": Mir ist aufgefallen, dass diese Warnungen und die Verbindungsprobleme zu https-Seiten via Proxy wieder auftauchten, als ich den DNS-Resolver nur auf das WLAN-Interface gelegt habe.

Seitdem ich DNS-Resolver->General->Network Interfaces wieder auf "All" gesetzt habe, ist keine Fehlermeldung im Proxy-Log aufgetaucht.

Die Einstellungen, die für mich laufen:
DNS-Resolver->General->Network Interfaces: All
DNS-Resolver->General->DNS Query Forwarding: unchecked
System->Settings->Do not use the DNS Forwarder as a DNS server for the firewall: unchecked

Schönes WE,
beclar

[franco]

Hi beclar,

Danke für die Rückmeldung!

Hmm, "Network Interfaces" und "Outgoing Network Interfaces" fällt Anwendern immer wieder auf die Füße. Letzteres haben wir schon unter "Advanced" versteckt und warnen im Hilfe-Text. Vielleicht sollten wir das gleiche auch für "Network Interfaces" machen?

Ja, die Einstellungen machen was sie sollen, aber nicht was man erwartet (in Verbindung mit dem Proxy z.B.). :/


Grüße
Franco

[Reiter der OPNsense]

Hallo beclar

Die Einstellungen, die für mich laufen:
DNS-Resolver->General->Network Interfaces: All
DNS-Resolver->General->DNS Query Forwarding: unchecked
System->Settings->Do not use the DNS Forwarder as a DNS server for the firewall: unchecked

Hab ich bei mir auch so eingestellt. Aber irgendwas läuft bei mir schief. Beim Aufruf von bluewin.ch kommt sowas:

Code: [Select]

2016/09/25 22:03:01 kid1|
SECURITY ALERT: on URL: www.res2ep.scsstatic.ch:443
2016/09/25 22:03:01 kid1|
SECURITY ALERT: Host header forgery detected on local=195.186.145.92:443 remote=192.168.200.100:1164 FD 334 flags=33 (local IP does not match any domain IP)
2016/09/25 22:03:01 kid1|
SECURITY ALERT: on URL: www.res2ep.scsstatic.ch:443
2016/09/25 22:03:01 kid1|
SECURITY ALERT: Host header forgery detected on local=195.186.145.92:443 remote=192.168.200.100:1163 FD 323 flags=33 (local IP does not match any domain IP)
2016/09/25 22:03:01 kid1|
SECURITY ALERT: on URL: www.res2ep.scsstatic.ch:443
2016/09/25 22:03:01 kid1|
SECURITY ALERT: Host header forgery detected on local=195.186.145.92:443 remote=192.168.200.100:1162 FD 310 flags=33 (local IP does not match any domain IP)
2016/09/25 22:03:01 kid1|
SECURITY ALERT: on URL: www.res2ep.scsstatic.ch:443
2016/09/25 22:03:01 kid1|
SECURITY ALERT: Host header forgery detected on local=195.186.145.92:443 remote=192.168.200.100:1160 FD 260 flags=33 (local IP does not match any domain IP)
2016/09/25 22:03:01 kid1|
SECURITY ALERT: on URL: www.res2ep.scsstatic.ch:443
2016/09/25 22:03:01 kid1|
SECURITY ALERT: Host header forgery detected on local=195.186.145.92:443 remote=192.168.200.100:1158 FD 229 flags=33 (local IP does not match any domain IP)
2016/09/25 22:03:01 kid1|
SECURITY ALERT: on URL: www.res2ep.scsstatic.ch:443
2016/09/25 22:03:01 kid1|
SECURITY ALERT: Host header forgery detected on local=195.186.145.92:443 remote=192.168.200.100:1153 FD 165 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:38 kid1|
SECURITY ALERT: on URL: secure-ams.adnxs.com:443
2016/09/25 22:02:38 kid1|
SECURITY ALERT: Host header forgery detected on local=185.33.220.5:443 remote=192.168.200.100:1150 FD 372 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:37 kid1|
SECURITY ALERT: on URL: secure-ams.adnxs.com:443
2016/09/25 22:02:37 kid1|
SECURITY ALERT: Host header forgery detected on local=185.33.220.5:443 remote=192.168.200.100:1149 FD 512 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:37 kid1|
SECURITY ALERT: on URL: secure-ams.adnxs.com:443
2016/09/25 22:02:37 kid1|
SECURITY ALERT: Host header forgery detected on local=185.33.220.5:443 remote=192.168.200.100:1143 FD 350 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:37 kid1|
SECURITY ALERT: on URL: load.s3.amazonaws.com:443
2016/09/25 22:02:37 kid1|
SECURITY ALERT: Host header forgery detected on local=52.216.80.136:443 remote=192.168.200.100:1137 FD 493 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:37 kid1|
SECURITY ALERT: on URL: load.s3.amazonaws.com:443
2016/09/25 22:02:37 kid1|
SECURITY ALERT: Host header forgery detected on local=52.216.80.136:443 remote=192.168.200.100:1136 FD 517 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:37 kid1|
SECURITY ALERT: on URL: secure-ams.adnxs.com:443
2016/09/25 22:02:37 kid1|
SECURITY ALERT: Host header forgery detected on local=185.33.220.5:443 remote=192.168.200.100:1133 FD 459 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:37 kid1|
SECURITY ALERT: on URL: secure-ams.adnxs.com:443
2016/09/25 22:02:37 kid1|
SECURITY ALERT: Host header forgery detected on local=185.33.220.5:443 remote=192.168.200.100:1132 FD 454 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:35 kid1|
SECURITY ALERT: on URL: odr.mookie1.com:443
2016/09/25 22:02:35 kid1|
SECURITY ALERT: Host header forgery detected on local=52.59.104.187:443 remote=192.168.200.100:1116 FD 492 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:35 kid1|
SECURITY ALERT: on URL: sync.adap.tv:443
2016/09/25 22:02:35 kid1|
SECURITY ALERT: Host header forgery detected on local=54.175.97.160:443 remote=192.168.200.100:1105 FD 544 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:34 kid1|
SECURITY ALERT: on URL: track.eyeviewads.com:443
2016/09/25 22:02:34 kid1|
SECURITY ALERT: Host header forgery detected on local=23.23.150.90:443 remote=192.168.200.100:1098 FD 424 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:34 kid1|
SECURITY ALERT: on URL: track.eyeviewads.com:443
2016/09/25 22:02:34 kid1|
SECURITY ALERT: Host header forgery detected on local=23.23.150.90:443 remote=192.168.200.100:1094 FD 529 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:33 kid1|
SECURITY ALERT: on URL: odr.mookie1.com:443
2016/09/25 22:02:33 kid1|
SECURITY ALERT: Host header forgery detected on local=52.59.104.187:443 remote=192.168.200.100:1088 FD 528 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:31 kid1|
SECURITY ALERT: on URL: odr.mookie1.com:443
2016/09/25 22:02:31 kid1|
SECURITY ALERT: Host header forgery detected on local=52.59.104.187:443 remote=192.168.200.100:1063 FD 167 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:31 kid1|
SECURITY ALERT: on URL: odr.mookie1.com:443
2016/09/25 22:02:31 kid1|
SECURITY ALERT: Host header forgery detected on local=52.59.104.187:443 remote=192.168.200.100:1057 FD 499 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:30 kid1|
SECURITY ALERT: on URL: odr.mookie1.com:443
2016/09/25 22:02:30 kid1|
SECURITY ALERT: Host header forgery detected on local=52.59.104.187:443 remote=192.168.200.100:1041 FD 247 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:30 kid1|
SECURITY ALERT: on URL: odr.mookie1.com:443
2016/09/25 22:02:30 kid1|
SECURITY ALERT: Host header forgery detected on local=52.59.104.187:443 remote=192.168.200.100:1040 FD 473 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:28 kid1|
SECURITY ALERT: on URL: track.eyeviewads.com:443
2016/09/25 22:02:28 kid1|
SECURITY ALERT: Host header forgery detected on local=23.23.150.90:443 remote=192.168.200.100:2483 FD 437 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:28 kid1|
SECURITY ALERT: on URL: a.rfihub.com:443
2016/09/25 22:02:28 kid1|
SECURITY ALERT: Host header forgery detected on local=185.31.128.208:443 remote=192.168.200.100:2480 FD 433 flags=33 (local IP does not match any domain IP)
2016/09/25 22:02:28 kid1|
SECURITY ALERT: on URL: a.rfihub.com:443
2016/09/25 22:02:28 kid1|
SECURITY ALERT: Host header forgery detected on local=185.31.128.208:443 remote=192.168.200.100:2479 FD 431 flags=33 (local IP does not match any domain IP)
Ob Webfilter ein oder aus, manchmal werden Seiten via SSL angezeigt, manchmal nicht. Fehlereingrenzungen sind so schwierig. Bin ratlos. 

LG, Stefan

[beclar2]

Habe es mit bluewin.ch bei mir getestet und die Alerts tauchten auch in meinem Proxy-Log auf. Allerdings für mich nicht reproduzierbar. Die Seite wurde trotz der Alerts geladen.

Vielleicht ändert sich die IP just während des Zugriffs, weil dort ein Load-Balancer die Domain auf mehrere IPs verteilt? Oder ein Script auf der Seite ist die Ursache?

Ein manuelles nslookup liefert mir für die Domain jedenfalls gelegentlich wechselnde IP´s, ohne dass ich eine Regelmäßigkeit entdecken könnte.

[Reiter der OPNsense]

Danke dir fürs Testen. bluewin.ch wurde bei mir trotz Alerts auch angezeigt, heise.de aber beispielsweise nicht. Aber das ändert immer mal wieder. Manchmal wird eine Seite zwar angezeigt, aber nicht vollständig geladen. Beim Firefox sieht man dann jeweils unten links, welche externe Domain nicht geladen wird.

Hast du den Proxy mit "SSL Domain/IP only" im produktiven Einsatz und läuft das bei dir im Netz stressfrei? Hast du Remote Blacklists im Einsatz? Wenn ja, was filterst du? Ich habe testweise UT1 mit den Kategorien Malware, Phishing und Publicite (Werbung) gemäss User Manual im Einsatz. HTTP funktioniert prächtig, aber SSL/HTTPS kann ich so nicht auf meine User loslassen, zumindest nicht mit "SSL Domain/IP only". Damit würde zu viel schlicht gar nicht funktionieren.

[beclar2]

Nein, hier (noch) kein produktiver Einsatz, wobei das für mein Anwendungsszenario ohnehin viel zu hochtrabend wäre (SoHo-Umgebung). OPNSense läuft bislang im Testbetrieb in einer VM.

Für die Clients, die ich testweise durch das virtualisierte OPNSense bedienen lasse, läuft allerdings bislang alles stressfrei mit SSL Domain/IP only. Als Remote Blacklist habe ich auch UT1 mit diversen Kategorien aktiviert, wobei ich Publicite noch nicht getestet habe. Als Browser läuft auf den Clients Chrome mit Adblock Plus, was vermutlich das Testergebnis beeinflusst.

Meine Testumgebung mit OPNSense in einer VM ist aber auch nicht Gelbe vom Ei, weil es doch manche Stolperfallen gibt, die auf die VM zurückfallen (gestern habe ich z.B. gelernt, dass IPS mit VirtIO-Netzwerktreibern Probleme macht). Neue Hardware für die FW soll noch angeschafft werden... vielleicht wird es ein Dell T20 mit Quad-Nic-Karte (ist zwar vermutlich als reine FW überdimensioniert, allerdings flexibler und derzeit sehr günstig).

[Reiter der OPNsense]

Gut vorstellbar, dass Adblock das Testergebnis beeinflusst. Ich habe ein völlig nacktes Firefoxprofil für die Tests verwendet.

[Markus700]

Ich hatte die gleichen Probleme und der Thread hat sehr geholfen. Allerdings ist mir nicht ganz klar was die Funktion  SSL Domain/IP only bewirkt. Kann mir das kurz jemand erläutern?

[fabian]

Die Domain bzw. die IP ist auch dann verfügbar, wenn die TLS-Verbindung nicht aufgebrochen wird. Dann kommen bei den Clients die Originalzertifikate der Server und nicht die MitM-Zertifikate des Proxy-Servers an.

[Reiter der OPNsense]

Hallo

Dieser Thread hier ist alt, ich weiss, aber ich möchte noch eine Rückmeldung geben und ein [GELÖST] anfügen.

Ich habe mich das erste Mal seit langem wieder diesem Thema angenommen. Und siehe da, "Log SNI information only", wie das inzwischen heisst, funktioniert. Einfach so, ohne Frickeleien.
Getestet mit OPNsense 17.7.1_2-amd64.

Gruss, Stefan

[Metti]

Hallo,
Leider habe ich hier das gleiche Problem.
Dazu kommt noch, das acuh ständig google geblockt wird, obwohl es auf der Whitelist steht.
Was kann ich hier noch versuchen ?