Messages

Hallo zusammen,
Ich habe eine Frage zum Squid-Proxy. OPNsense Version 25.1.5_5 auf einem Protectli VP2420.
Ich nutze den Squid-Proxy im transparenten Modus mit C-ICAP und ClamAV. Die UT1-Blockliste ist ebenfalls aktiv.
Bislang funktioniert alles einwandfrei. Allerdings habe ich das Problem, dass manche Webseiten bis zu 5 Minuten zum Öffnen brauchen.
Dazu gehört zum Beispiel die OPNsense-Forum-Website. Ich erhalte dann unten im Browser eine Meldung, z. B. ,,Suche use.fontawesome.com".
Auch wenn ich die Website mehrmals neu lade, öffnet sie sich.
Liegt das an den Einstellungen von Squid? Hat jemand einen Tip für mich?

Vielen Dank,
Markus

Hello everyone,
I have a question about the Squid proxy. OPNsense version 25.1.5_5 on a Protectli VP2420.
I'm running the Squid proxy in transparent mode with C-ICAP and ClamAV. The UT1 blocklist is also active.
Everything's working fine so far. However, I'm having the problem that some websites take up to 5 minutes to open.
This includes the OPNsense forum website, for example. I then get a message at the bottom of the web browser, e.g., "Look up use.fontawesome.com."
If I reload the website several times, it opens.
Is this a setting issue in Squid?

Thank you very much
Markus

Ich bin einen Schritt weiter. Wenn ich die UT1 liste als https-downlad einhänge, kann ich diese downloaden.
Das Problem liegt am ftp-download.

Der ISP ist K-Net mit Vlan 751 DHCP. MTU-Problem würde man über einen tcpdump gut sehen. Aber im tcpdump ist wirklich nur das SYN-Packet zu sehen. Nicht mal ein SYN-ACK.

Hallo,
ich hätte da mal ein Problem:
Ich habe jetzt 4 OPNsensen erfolgreich von 24.7.12_4 auf 25.1.5_5 aktualisiert. Alle sind fast gleich konfiguriert bis auf den ISP.
- UnboundDNS
- Transparenter Squid mit UT1 Blocklisten
- ClamAV
- ISC DHCPv4
- Monit
- Ntopng
- CrowdSec
- GeoIP Blocking
- IPSec und OpenVPN
- SARG
- VnStat
- Verschiedene Blocklisten für WAN und Lan (Vlans)
- 4x Vlan für verschiedene Netze

Bei dem Letzten Updaten einer OPNsense (Protectli VP2420) ist mir irgendwie Die UT1 Liste im Squid um die Ohren geflogen. Ich kann keine Kategorien mehr auswählen in der UT1 liste (Nothing selected) und alle Kategorien sind weg. Ich habe dann mal unter /var/log in das Systemlog geschaut und siehe da:

fetchACLs.py 67250 - [meta sequenceId="1"] proxy acl: error downloading ftp://ftp.ut-capitole.fr/pub/reseau/cache/squidguard_contrib/blacklists.tar.gz

Ich habe dann ein tcpdump mitlaufen lassen und bekomme nur einen SYN auf die IP von der UT1 Liste (heimdall.ut-capitole.fr 193.49.48.249). Namensauflösung funktioniert.
Die OPNsense funktioniert ansonsten ganz normal. Der ClamAV funktioniert auch.

Kann mir jemand helfen, wie ich das Problem beseitigen kann?
Grüße
Markus

Hallo meyergru,

vielen Dank für die Info. Ich habe den  "X-Forwarded-For header handling" auf "do not alter forward header (transparent)" gestellt. Damit wird die öffentliche IP angezeigt.

Vielen Dank nochmal
Markus

Hallo zusammen,

ich hätte da mal ein Problem.
Ich habe auf einer OPNsense 24.7.12_4 auf Protectli VP2420 zwei Vlans auf dem Interface igc1 konfiguriert.
Einmal internes Lan und einmal Gästelan.
Wenn ich mich mit dem PC im Gästelan befinde und rufe die Webseite "iplocation.net" auf, wird die Wan-IP von Vodafone angezeigt (konfiguriert auf igc0).

Wenn ich mich mit dem PC im Internen Lan befinde und rufe die Webseite auf, wird meine Private IP von dem PC angezeigt.
Das Interne Lan läuft über einen transparenten Proxy.
Das GW ist in beiden Netzen die OPNsense.
Das interne LAN hat als DNS einen Microsoft DNS, da eine Domain konfiguriert ist.
Das GästeLan hat als DNS und DHCP die OPNsense.
Die Frage ist nun, warum wird von den internen PCs die Private IP angezeigt auf der Werbseite "iplocation.net"?
Wenn ich die IP abfrage über "wieistmeineip.de" wird in beiden Vlans die öffentliche IP angezeigt. Also alles wie es sein soll.

Vielen Dank
Markus

Hallo ralus,

willkommen im Club.
Ich habe 3 OPNsense mit Squid laufen und habe genau das selbe Problem. Bis jetzt keine Lösung.

Grüße
Markus

Hallo emmitt,

als erstes würde ich mal eine Deny Regel für DNS einrichten was von den Clients kommt. Nur die OPNsense darf DNS beantworten. Dann siehst Du schon mal was da alles aufschlägt und ob die Äpfel eigene DNS-Server abfragen möchten.

Als nächstes würde ich einen Mirror-Port auf dem Switch einrichten (wenn Du einen gemanagten Switch hast) und einen Wireshark mitlaufen lassen. Dann siehst Du genau wo die Clients hinmöchten und wie oft.

Grüße
Markus

Hi,
is there a way to see in the squid (log file) which category of the UT1 list the website has denied.

Thanks
Markus

Hallo micneu,

ich habe mittlerweile verschiedene Verschlüsselungen ausprobiert:
aes256gcm16-sha256-modp2048[DH14]
aes128gcm16-sha256-modp2048[DH14]

Es ändert sich nichts am Durchsatz. Bleibt bei max 50-60Mbit/s im Download.
Also gehe ich mal davon aus, daß es nichts mit der Verschlüsselung zu tun hat. Der Prozessor hat eine Max. Auslastung von 30%. Geht aber auch zurück auf 2-5%.
Daran kann es auch nicht liegen.

Hat noch jemand eine Idee??

Grüße
Markus

Hallo,
ich habe eine Protectli VP2420 mit OPNsense 24.7.9_1, die an einem 100/50 Vodafone Anschluß hängt und eine IPsec Verbindung zur Hetzner Cloud aufbaut. Bei Hetzner nimmt ebenfalls eine OPNsense in der selben Version die Verbindung an (Cloudserver 4x Xeon Core mit 8GB Ram). Funktioniert alles soweit.
Wenn ich allerdings von einem smb share Daten von Hetzner kopiere, bekomme ich einen max Download von 50Mbit.
Ich habe dann mal mit verschiedenen Einstellungen auf der Protectli (OPNsense) rumgespielt.
Hardware CRC, TSO, LRO disabled und VLAN Hardware filtering enabled (4 Vlans sind auf der Protectli aktiv). Mit diesen Einstellungen ist der Download fast stabil bei ca. 50 Mbit/s.
dmesg | fgrep -i aesni
ergibt auf der Protectli:
aesni0: <AES-CBC,AES-CCM,AES-GCM,AES-ICM,AES-XTS,SHA1,SHA256>

IPsec wird mit folgender Verschlüsselung auf der OPNsense zu Hetzner aufgebaut:
XX.XX.XX.41[4500]   XXX.X.XXX.106[45119]   esp-udp   c3c4ae43   aes-cbc   hmac-sha2-256

also auch eine Verschlüsselung die von dem J6412 Prozessor unterstütz wird. Also sollte aesni voll unterstützt werden, das ja im kernel integriert ist und in der OPNsense keine weiteren Einstellungen benötigt (Cryptography settings -> Hardware acceleration -> none). Ich hatte aber die Settings auch schon auf qat gesetzt. das ergabe aber keine Änderung im Download.

Gibt es noch eine Möglichkeit an der IPsec-Performance zu drehen?

Grüße
Markus

Hallo,
hat noch jemand einen Lösungsvorschlag für dieses Problem?

Grüße
Markus

Hallo Dominic,

YES, das wars.
Ich habe mehrere Vlans. Ich habe den Punkt "Outgoing Interfaces" auf das Vlan gestellt, in dem die Lokalen Clients drin sind. Dann gehts.
VIELEN DANK
für Deinen Tip.

Grüße
Markus

Hallo,
ich versuche verzweifelt das Query Forwarding im Unbound zum laufen zu bringen.

Lokales Netzwerk mit Windows clients. Auf der anderen Seite ein Hetzner Cloudnetzwerk in dem unter anderem Der DC (Ubuntu DC) steht.
Im lokalen Netzwerk steht eine OPNsense (24.7.7) und im Hetzner Netzwerk ebenfalls eine OPNsense (24.7.7). Beide Netze sind per IPsec verbunden. Das funktioniert auch ohne Probleme. Der DC antwortet auf Ping. Ich kann mich per SSH auf den Ubuntu Server verbinden.
Jetzt möchte ich im lokalen Netz ein Query Forwarding einrichten, damit die Domainanfrage an den Hetzner DC weitergeleitet wird und alle anderen DNS Anfragen lokal von der OPNsense beantwortet werden.



Ich bekomme aber immer ein Timeout auf den Windows Clients wenn ich z.B. ein nslookup auf den dc mache. Ich habe mit tcpdump auf der Lokalen OPNsense dann mal den Port 53 mitgeschnitten. Ich sehe die Packete auf der OPNsense aber diese laufen auf den WAN Port und werden dann logischerweise auch nicht beantwortet.
Wenn ich den Ubuntu DC als DNS auf den Windows Clients eintrage funktioniert alles wie es soll.

Kann es sein, daß ein Query Forwarding nicht in einen IPsec Tunnel geleitet wird? Ich sehe diese Packete nicht auf der OPNsense bei Hetzner.

Kann mir jemand sagen, was ich falsch mache??

Grüße
Markus