Squid Webproxy - Leistungseinbußen wenn aktiviert

[guest15032]

Hi zusammen,

ich habe vor einiger Zeit gemerkt, dass sporadische Speedtests an meinem Access Point gezeigt haben, dass ich nie die Leistung bekomme, die meine Leitung hergibt. Das war mir so im Hinterkopf geblieben und ich hatte das nicht weiter verfolgt. Jetzt bin ich dazu gekommen, da etwas genauer nachzuforschen.

Vorab sei erwähnt, dass ich mit mit den Thematiken schon lange zuvor, also bevor ich die Firewall hier im Netz hatte, auseinandergesetzt habe. Insofern weiß ich und habe ich sichergestellt, dass z.B. Hardwarefaktoren ausgeschlossen sind. Bedeutet, die Netzwerkkarten der Endgeräte geben genug Leistung her und auch die Testdurchläufe habe ich (nach meinen aktuellen technischen Möglichkeiten) versucht zu verteilen, um gemischte Werte zu erhalten.

Zu den Voraussetzungen: Ich habe einen 400MBit Anschluss und die vollen Geschwindigkeiten darüber sind durchaus erreichbar, was aber natürlich stark an den ganzen Faktoren drum herum hängt, also allgemeine Netzauslastung hier bis zum Verteiler, evtl. Leistungsschwankungen im Gesamtnetz, usw.

Ich habe bei meinen Geschwindigkeitsmessungen am AP stets um die 120-150MBit/s gemessen (und ja, darüber kann ich mich eigentlich nicht beklagen, wenn man andere Anbieter sieht  ). Die Messungen habe ich wie folgt durchgeführt:

• Messungen mit Speedtests diverser Hersteller auf deren Seiten
• Download von entsprechenden Testdateien diverser Hersteller

Was ich leider nicht machen konnte, war, auf dem Server meines Hosters mittels iPerf eine Verbindung von meinem Rechner aus aufzubauen (also lokal Client Modus, Remote dann Servermodus). Ich vermute, dass der Hoster die Ports nicht offen hat und mich da mit dem Support zu beschäftigen, war mir zu nervig momentan. Meinen root Server habe ich vor kurzem gekündigt, da konnte ich das also auch nicht mehr testen.

Ich hatte also das WLAN Modul (die NIC) meines Netgear AP im Verdacht. Also habe ich mich mit einem LAN Kabel direkt an den AP gehängt. Darüber konnte ich allerdings auch nur die gleichen Geschwindigkeiten ermitteln. Fand ich merkwürdig.

Daraufhin habe ich mich direkt mit dem LAN Kabel an das LAN Interface meiner OPNsense gehängt und auch dort die gleichen Geschwindigkeiteen gemessen. Somit konnte ich um ersten Schritt den AP vernachlässigen (auch wenn der evtl. zusätzlich noch Einfluss haben könnte).

Dann habe ich einfach mal den squid Webproxy deaktiviert und die entsprechenden Regeln (Firewall und NAT) deaktiviert, die für den Proxy aktiv sind. Und plötzlich konnte ich tatsächlich höhere Geschwindigkeiten messen im Datendurchsatz.

Um das mal etwas zu verdeutlichen, habe ich das mit Screenshots dokumentiert. Ich hoffe es lässt sich nachvollziehen. Die Screenshots sind alle vernünftig benannt. Ich habe folgende Tests als Screenshots gespeichert:

• Speedtest auf der AVM Testseite
• Download von Testdateien über den Anbieter Cachefly (der Anbieter scheint die stabilsten Verbindungen anzubieten und scheint vernünftig angebundene Server zu haben)
• Test mittels Smartphone App (nPerf)

Hierbei habe ich jeweils LAN und WLAN (5GHz) getestet. Vom Smartphone aus, selbsterklärend, nur WLAN.

Wie ihr in den Screenshots sehen könnt, unterscheiden sich die Geschwindigkeiten teils doch erheblich. Der Test auf der AVM Seite übers WLAN hatte die geringsten Unterschiede aber ich vermute, das war im Moment der Messung beeinflusst durch Netzschwankungen oder durch evtl. meinen AP in dem Moment. Andere Messungen waren auch da deutlicher im Unterschied (ich wollte aber auch nicht hundert Screenshots hier hochladen).

Beim Download der Testdateien ergaben sich große Unterschiede von Teils fast 20 MBit/s und beim Test auf meinem Smartphone hatte die App sogar einen Gesamtunterschied von ca. 175MBit gemessen.

Also alles in allem, ist jeder Test für sich (wie bereits oben geschrieben) sicherlich nicht komplett aussagekräftig und Schwankungen unterlegen, aber was wohl einwandfrei zu sehen ist, ist dass squid da scheinbar erheblichen Einfluss hat.

Nun meine Fragen dazu:

Ist das erst mal etwas, das in der Natur der Sache liegt? Also anders gesagt,  dadurch das suqid als Proxy den Datenfluss umleitet bzw. der Datenfluss zum squid hin umgeleitet wird, ergibt sich daraus schon rein logisch dieser Unterschied? Geht da dermaßen viel Durchsatz verloren? Ich behaupte, mit meinem bisherigen Wissen, dass das nicht in dem Ausmaß sein "sollte".

Oder sind solche Geschwindigkeitsmessungen, durch eben den Einsatz eines Webproxys, nicht mehr tauglich für einen technisch verwertbaren Nachweis? Ich überlege, ob die Messwerte komplett verfälscht sind, weil squid die Messdaten zwischenspeichert und dadurch keine "echten" Werte mehr beim Client (meinem Notebook) ankommen? Aber andererseits, ist squid ja nun auch kein 08/15 Wochenend Projekt sondern ein sehr ausgereifter Proxy, der auch bei sehr großen Anbietern zum Einsatz kommt.

Habe ich da irgendwo einen Denk-/Verständnisfehler?

Gruß und schönen Feiertag
Chris

[guest15032]

Weitere Screens...

[guest15032]

Und die mobile Screenshots

[monstermania]

Moin,
grundsätzlich 'kostet' ein Proxy schon etwas Leistung. Bleibt immer die Frage wie viel ist dieses 'etwas'. Von Deinem Speed kann ich bei mir ohnehin nur träumen (8000'er DSL  ). Von daher wäre ich selbst mit Deinem 'Proxy-Speed' mehr als glücklich.
Aber zurück zu Deinem Problem. Welche Hardware nutzt Du für die OPNsense. Wie sieht es mit der CPU Last auf Deiner OPNSense aus!? Wie sieht es mit den Caching-Einstellungen im für den Proxy aus (RAM-Cache, SSD-Cache)? Poste doch mal die Cache-Einstellungen für den Webproxy.

Gruß
Dirk

[guest15032]

Moin Dirk,

ja ich weiß, bei meiner Anbindung ist das ein Luxus Problem. Aber da ich die volle Geschwindigkeit an meinem Anschluss habe, möchte ich die halt auch technisch, in meinem Netzwerk, gerne zur Verfügung haben.

Hardware ist die APU2C4. CPU Last liegt im unteren Bereich, ich habe eigentlich so gut wie nie hohe Last auf dem Gerät . Da ist ein Load average von 0.15-0.20 normal.

Da ich nicht zu Hause bin, kann ich die Einstellungen nur aus dem Gedächtnis abrufen, aber ich weiß, dass ich dem Proxy 256MB Platz gegeben habe und ihn auf die SSD schreiben lasse (hatte bei der alten Hardware RAM disk genutzt).

Gruß
Chris

[fabian]

Die Frage, wie der Speedtest arbeitet ist auch relevant. Der Proxy macht seinen Job vor und nach dem eigentlichen Download.
Vor dem Download: Policy Enforcement, ICAP-REQMOD, Cache Lookup
Nach dem Download: ICAP-RESPMOD, Caching