Messages

i tested so far with ftp, one stream only. Many thanks for your insight, i will continue to test and concentrate on Bandwidth-Delay Product, after i tested if this is not accidentally a pure "Killer-Feature". :) I will revert.

BTW: This was a follow-up to https://forum.opnsense.org/index.php?topic=49839.msg253185#msg253185 (i had a shaper active). But i have too much to do and cannot remember the iperf3 test results so i will have to redo them.

Hello,

i finally have my Windows game pc in its own subnet (malware/ransomware isolation precautions). I can reach my LAN (which for the OPNsense is WAN) and have actively disabled outbound-NAT for known source/destination subnets. The hardware is a Topton 4x i226v/2x 82599 with Pentium Gold 8505. When transferring from/to the Windows host, the data transfer obviously caps at 113MB/s (tested ftp). The physical interfaces (2x 2,5Gbps from the Topton, 1Gbps from Windows) are link up and advertised/linked up at 2,5Gbps on the same switch (CRS310).

Is there some known thing with the current community OPNsense version? (hope so).

Any test ideas/advice? My next thing would be to place a generic host with !=Windows and try transfer rate with because the network chip on the game rig is a ,,Killer" (RTL8125-based i think) with its own optimization software.

Thankyou!

so, gefunden: fast zu peinlich, es zuzugeben, vor allem, da man es ja selbst verbrochen hat:
Firewall/Shaper/Pipes, dort waren Begrenzungen entsprechend meines Internetanschlusses eingetragen. Das habe ich probeweise nicht mehr enabled, jetzt geht's schnell.

Ich danke Euch vielmals!

die VM hat mich nicht veralbert, das Verhalten mit 2,5Gbps ist mit dem Windows-Host genauso. Wenn der Ubuntu sendet bekomme ich 2,37Gbps, wenn der Windows-Host sendet (im LAN), dann nur ein Gbps. Warum auch immer.

ich habe noch eine SSD gefunden und bin gerade beim Testen mit einer Basisinstallation mit deaktivierter Firewall.

In der Tat, Routing scheint unproblematisch zu sein. Wenn die VM sendet, gehen 1Gbps, wenn der Ubuntu-Host sendet, gehen 2,37Gbps. Das verstehe ich noch nicht (der Ubuntu-Zielhost und der Hypervisor ist mit 10Gbps angeschlossen, die Firewallinterfaces können 2,5Gbps): wenn da was limitiert, dann doch bitte bei Senden *und* Empfangen.

Was mit den 200Mbps sind- in mir keimt eine Vermutung, wenn ich so durch meine Aufzeichnungen gehe. Ich will noch mal den Windows-Host testen und dann zurückbauen. Und dann schau ich in die Richtung.

Das bringt sowieso so gut wie nichts mit der Jumbo MTU.

äh, nein... Kommt natürlich drauf an, aber ob man 5Gbps oder 10Gbps bekommt (auf der bis auf die SSD selben schwächlichen Hardware) würde ich durchaus nicht als "nichts" bezeichnen. Jede aktuelle Hardware kann das auch und es macht sowohl rechnerisch wie auch praktisch einen Unterschied. Es hat Fallstricke, ja, aber hier war ja schon der Beweis erbracht, dass es nichts damit zu tun haben kann.

Aber gut, for the sake of the argument, sowohl der Windows-Host, als auch die VM, als auch der Ubuntu-Zielhost und die Firewall-Interfaces stehen auf MTU 1500. Test wiederholt. Selbes Ergebnis.

Ich denke, ich gehe mal an die Grabbelkiste, ob noch eine SSD da ist und dann installiere ich ein OPNsense Basispaket und schau, wie sich das verhält. Vielleicht habe ich zuviel und an den falschen Stellen herumgepfuscht (aka irgendwelche Empfehlungen übernommen).

Hallo,
habe jetzt crowdsec und Sensei deinstalliert über den Paketmanager und rebootet.

Keine Veränderung der Routing-Performance, immer noch ca. 200Mbps. Dann habe ich den physischen Windows-Host gestartet (im selben Subnetz), habe von dem auch getestet und im Rahmen der Testgenauigkeit kommen da auch pi mal Daumen 200Mbps heraus.

Spricht demnach dafür, dass es nicht an Sensei/crowdsec gelegen hat.

Nur an was? Die Firewall der OPNsense ist derzeit deaktiviert (Firewall/Settings/Advanced/Disable all packet filtering).

An der Stelle sei erwähnt, dass  die MTU auf dem Ubuntu Zielhost im WAN auf 9000 steht, aber ICMP komplett erlaubt ist. Außerdem habe ich gegengeprüft mit --length 1000 und --length 8972 - die Ergebnisse bleiben gleich. Zumindest mit relativ kleiner MTU hätte ich eine Änderung erwartet, wenn Pakete neu assembliert hätten werden müssen. Die Firewall selbst lasse ich auf 1500 (wg0 bei 1380).

danke Dir! Ich probiere das aus. Allerdings ist Zenarmor ganz neu, ich hatte ja vorher den n5105 - und da hatte ich dieselbe lausige Performance. Deshalb bin ich ein wenig skeptisch.

Wie und von wo aus gemessen? Nicht von der OpnSense selber messen, immer "drüber". iperf mit -Pn nutzen.

von/zu Ubuntu-VM in LAN <-> Ubuntu-Host in WAN (WAN ist bei mir das eigentliche LAN), outgoing NAT ist für das hier gemeinte LAN aus.
Ich habe mit iperf3 -c <IIP> -t 20 -P 4 getestet. Die VM ist vermutlich nicht so performant und Gigabit mit paravirtualisierten Netzwerktreibern. Aber das Ergebnis war vergleichbar zum Windows-Host (weswegen ich den ganzen Käse mit Subnetting überhaupt mache).

Rahmenbedingungen: IDS/IPS aktiv oder reines Routing?

Zenarmor installiert, aber meines Wissens kein Blocking darüber konfiguriert, emulierter NMAP-Treiber.

Update: Crowdsec war noch installiert. In den Settings habe ich IDS/IPS dafür disabled. Verbessert auch nichts.

RSS aktiv?

denke schon (sh. Tuneables-Screenshot)

Hardware-Offloading konsequent aus?

ich hatte es der Anleitung entsprechend ausgemacht, jetzt gerade ist es wieder an. Hat aber keinen Unterschied gemacht.
Sollte das nicht besser an sein? Ein kurzer Blick schien auch zu zeigen, dass TSO usw. Zenarmor gar nicht groß stört, jedenfalls vielleicht, wenn man nichts darüber blocken möchte.

Vor zwei Tagen hatte ich auch noch die Netzwerkkabel ausgetauscht (nicht, dass die alten Kabel 2,5Gbps nicht zuverlässig machen; bei genauerer Beobachtung schien der RTL8125 vom Windows-Host zu flappen) gg. CAT8.
Gerade eben bin ich noch dem Thread mit dem Firmwareupdate für die i226-V gefolgt und habe auf 2.32 geupdatet. Keine Änderung.

Hallo,
habe einen Mini-PC mit 8505, 226V und 82599. Dort drauf habe ich OPNsense installiert und das Backup der Konfiguration eingespielt.
Vom LAN zum WAN-Port (extra igc-Ports, MTU 1500, Trunk) und auch umgekehrt bekomme ich etwa 200Mbps. Ist etwas dürftig, ich hatte schon so 2Gbps erwartet. Wer so ein Teil hat (ich bekomme im Prinzip dieselbe Performance wie mit dem n5105 zuvor) - was ist denn realistisch?

Was kann ich denn tun?

bei Posts von Dir las ich über Bufferbloat. Habe das mal getestet und sehr schlechte Bewertungen bekommen. Glücklicherweise gibt es auch für Dummies wie mich leicht befolgbare Anleitungen (https://docs.opnsense.org/manual/how-tos/shaper_bufferbloat.html; ich komme auf 625/195; auf Datenzenterseite habe ich 250/250 eingestellt), da konnte ich auf A/A+ kommen. Jetzt mal iPerf3 beiseite und ich vermute, die Migration auf die HW-OPNsense auch beiseite, ein End-to-End-Test mit dem Abspielen eines originalen, nicht transkodierten 4k-HDR-Films vom Plex war OK (bis 120Mbps habe ich in den ersten 5min gesehen, danach wollte ich mein Datenvolumen schonen). Ich würde vermuten, dass die virtualisierte OPNsense wenn ich die Shaper-Regeln genauso hinzufügen würde, sich genauso verhalten würde.

Vernünftige Werte bei iPerf3 zu bekommen bzw. erklären zu können, was da passiert, wäre ein schöner nächster Schritt, aber auf jeden Fall bin ich mit diesem E2E-Resultat absolut happy!

Vielen Dank! :)

(Update: Ich habe die virtualisierte VM noch einmal mit den Shaper-Einstellungen getestet - die Experience ist nicht dieselbe.)

ich habe so ein Teil mit N5105 und i226V schon beschafft vor zwei Jahren - die CPU ist natürlich wieder ins Klo gegriffen und nichts gegen Deinen N100, aber sie sollte zumindest für lokales Routing sowie bei  Wireguard für die 200Mb/s Upload reichen. Bin mir aber noch nicht sicher, wie ich mein Netzwerk strukturieren soll (bin ja froh, dass es im Augenblick läuft).

da hast Du absolut Recht, aber es ist ein gewachsenes System :) - und ich wollte mir halt nicht verbauen, den ganzen Homelab-Kram ausschalten und immer noch surfen zu können. Das Netz und doppelter Boden...

Ich hätte auch nichts gesagt sondern leise in mich hineingeflucht, wenn der Upload langsam gewesen wäre. Aber es ist ja der Download.

alles richtig! :) Ich hatte Deine Posts schon gefunden gehabt und zur Einrichtung benutzt. Dass M-Net PPPoE over VLAN nutzt wusste ich nicht, allerdings ist das WAN-Interface der lokalen OPNSense hinter einer Fritzbox mit ONT, die sich darüber schon kümmern sollte.
Was sollte ich denn da als "WAN"-MTU setzen - standardmäßig sehe ich 1500 und da das "WAN" hier eigentlich LAN ist, sollte das auch so passen oder?

Hallo,
ich habe eine S2S mittels Wireguard gebaut und bin der mehr oder weniger offiziellen Anleitung gefolgt. Die funktioniert auch. Aber noch nicht vollständig so, wie ich es gerne hätte. Ich erreiche alle Hosts auf allen Seiten des Tunnels.

Schaubild
LAN Proxmox-> Linux-Bridge-> OPNSense-VM WG-Tunnel->
Internet-> <
Hosting>Proxmox-OPNSense VM WG-Tunnel-> Linux-Bridge-> diverse Proxmox-VMs

Ziel war es vor allem, ein Plex in der Familie verfügbar zu machen. Leider klappen nur 720P zuverlässig. Also dachte ich, ich überprüfe das mittels iperf3 und habe da aber blöde Resultate herausbekommen (um die 11Mb/s). Dann dachte ich, wer weiß, was da schiefläuft, teste doch end-to-end mittels sftp. Meine Internetleitung zuhause ist 600/200 FTTH (Fritzbox). Beim Transfer vom LAN zur gehosteten Windows-VM erreiche ich 20MB/s, alles gut.
Aber andere Richtung zum LAN zuhause nur 2,7MB/s. Die OPNSenses haben dieselben Einstellungen. MSS Clamping ist wie in der Anleitung gesetzt und soweit ich im Capture gesehen habe sind die Längen der aufgezeichneten Pakete auch ungefähr in dem Range (MTU habe ich auf 1380, MSS Clamping auf 1340, versuchsweise auf 1320 (ohne Verbesserung), gesetzt. Quelle der Übertragung ist ein Mac (der sich im WAN der ersten OPNSense versteckt). IPv4+6 ICMP ist erlaubt. CPU-Auslastung scheint nicht hoch zu sein.

Hat jemand eine Ahnung, was da schieflaufen könnte und was ich versuchen könnte? Vielen Dank