Traffic Shaper mit transparentem Webproxy

Started by Michael1220, February 17, 2021, 12:33:04 AM

Previous topic - Next topic
Hallo,

ich versuche den Traffic-Shaper mit dem transparenten Web-Proxy auf einer OPNsense Box gleichzeitig zu betreiben. Schließen sich diese beide Funktionalitäten aus oder gibt es eine Workaround?

Ich habe versucht, statt alle Traffic Shaper Rules auf das WAN Interface zu legen, es aus einem Mix mit WAN und LAN zu machen. Das klappt auf der Download-Seite eigentlich recht gut, weil ich hier bei "LAN out" in den Shaper-Rules auf die Zielports 3128/ 3129 und Ziel-IP filtern kann. Ist sicher kein perfekter Workaround, kommt aber der Realität schon recht nahe.

Aber auf der Upload-Seite schaffe ich es einfach nicht die Pakete zu selektieren, die von den Clients über den LAN-Port zur OPNSense gehen und via NAT Port Forward an den transparenten Proxy geleitet werden. Egal ob ich Port 443, 3129 oder any nehme, sie tauchen im Traffic Shaper nicht auf.

Ich verstehe nicht, wieso man diese Pakete nicht filtern bzw. identifizieren kann.

Hat hierzu wer eine Idee?

Danke,
Michael ...

- bitte einen grafischen netzwerkplan (https://forum.opnsense.org/index.php?topic=12697.0)
- wozu benötigst du den proxy (du könntest in noch mehr probleme laufen) hast du mal im forum gesucht, da waren schon so ähnliche beiträge?
Internet: Willy.tel Down: 1Gbit/s, UP: 250Mbit/s Glasfaser  |
Router/Firewall: pfSense+ 23.09  |
Hardware: Netgate 6100

February 17, 2021, 05:03:51 PM #2 Last Edit: February 17, 2021, 05:12:58 PM by Michael1220
Anbei ein einfache Darstellung meines Testaufbaus an dem ich mich hocharbeite und alle Teile einzeln durchteste, bevor ich den ganzen Haushalt inkl. VLAN's umstelle.

              +------------------------------------+
              -                                    -
DSL-Modem ----- 10.0.0.26            192.168.1.21  ------- LAN 1 (VLAN 1,5,8) ----- Switch --- Client VLAN-1 (192.168.1.10)
10.0.0.20     -              OPN     192.168.5.21  -                                            - Gateway 192.168.1.21
              -                      192.168.8.21  -                                            - DNS 192.168.1.21
              -                                    -
              --------------------------------------


Im Grunde bietet mir der Web Proxy zwei interessante Features, die ich gerne genutzt hätte; alle anderen Funktionalitäten sind aktuell nicht notwendig für mich:

  • Logging der aufgerufenen URL's bei HTTP und HTTPS
  • Einfaches blacklisten von URL's

Den Traffic-Shaper will ich für drei Funktionalitäten verwenden:

  • eine bestimmte Bandbreite im u/l und d/l Traffic wie z.B. ICMP-Verkehr und bestimmten Datenverkehr fix reservieren
  • die restliche Bandbreite im u/l und d/l fair auf alle Clients verteilen
  • anhand der ipfw Statistik könnte ich je Client (= Destination bzw. Source) eine Regel im Traffic-Shaper bauen, anhand der mir die verbrauchten Pakete und Datenbytes mit protokolliert werden; diese würde ich in einem regelmäßigen Intervall per Skript auslesen und könnte so eine Statistik über den Datenverkehr je Client auf Stunden, Tages und Monatsebene erstellen (habe dazu leider kein Plugin gefunden, der das einfach aktuell anbietet); nur das alte bandwidthd, das nicht mit VLAN umgehen kann

Wenn ich den transparenten Proxy mit SNI und den Traffic Shaper nicht gemeinsam zum Laufen bekomme, werde ich wohl auf den WebProxy verzichten müssen.

Und ja, ich habe im Forum gesucht. Es gibt auch Beiträge zu dem Thema - aber keine Lösung oder Alternative.

Als Workaround fiel mir eben die Variante nun ein, tlw. die LAN-Seite für das Datenvolumen heranzuziehen (weil nur dieser die Client-IP beim Proxy-Verkehr kennt, welchen ich brauche, um den Datenverkehr fair auf die Clients aufzuteilen). Wie schon im ersten Beitrag geschrieben klappt das auch bei der d/l Seite. Nur um u/l finde ich das Paket nicht im Traffic Shaper. Aber klar, das ist nur ein "grauslicher" Workaround.

LG,
Michael ...