Routing-Performance

[sternchen45]

Hallo,
habe einen Mini-PC mit 8505, 226V und 82599. Dort drauf habe ich OPNsense installiert und das Backup der Konfiguration eingespielt.
Vom LAN zum WAN-Port (extra igc-Ports, MTU 1500, Trunk) und auch umgekehrt bekomme ich etwa 200Mbps. Ist etwas dürftig, ich hatte schon so 2Gbps erwartet. Wer so ein Teil hat (ich bekomme im Prinzip dieselbe Performance wie mit dem n5105 zuvor) - was ist denn realistisch?

Was kann ich denn tun?

[meyergru]

1. Wie und von wo aus gemessen? Nicht von der OpnSense selber messen, immer "drüber". iperf mit -Pn nutzen.
2. Rahmenbedingungen: IDS/IPS aktiv oder reines Routing?
3. RSS aktiv?
4. Hardware-Offloading konsequent aus?

[sternchen45]

Wie und von wo aus gemessen? Nicht von der OpnSense selber messen, immer "drüber". iperf mit -Pn nutzen.

von/zu Ubuntu-VM in LAN <-> Ubuntu-Host in WAN (WAN ist bei mir das eigentliche LAN), outgoing NAT ist für das hier gemeinte LAN aus.
Ich habe mit iperf3 -c <IIP> -t 20 -P 4 getestet. Die VM ist vermutlich nicht so performant und Gigabit mit paravirtualisierten Netzwerktreibern. Aber das Ergebnis war vergleichbar zum Windows-Host (weswegen ich den ganzen Käse mit Subnetting überhaupt mache).

Rahmenbedingungen: IDS/IPS aktiv oder reines Routing?

Zenarmor installiert, aber meines Wissens kein Blocking darüber konfiguriert, emulierter NMAP-Treiber.

Update: Crowdsec war noch installiert. In den Settings habe ich IDS/IPS dafür disabled. Verbessert auch nichts.

RSS aktiv?

denke schon (sh. Tuneables-Screenshot)

Hardware-Offloading konsequent aus?

ich hatte es der Anleitung entsprechend ausgemacht, jetzt gerade ist es wieder an. Hat aber keinen Unterschied gemacht.
Sollte das nicht besser an sein? Ein kurzer Blick schien auch zu zeigen, dass TSO usw. Zenarmor gar nicht groß stört, jedenfalls vielleicht, wenn man nichts darüber blocken möchte.

Vor zwei Tagen hatte ich auch noch die Netzwerkkabel ausgetauscht (nicht, dass die alten Kabel 2,5Gbps nicht zuverlässig machen; bei genauerer Beobachtung schien der RTL8125 vom Windows-Host zu flappen) gg. CAT8.
Gerade eben bin ich noch dem Thread mit dem Firmwareupdate für die i226-V gefolgt und habe auf 2.32 geupdatet. Keine Änderung.

[meyergru]

Ich denke, es ist Zenarmor - auch ohne Blocking. Die Hardware sollte locker 1 GBit/s schaffen, siehe meine Signatur.

[sternchen45]

danke Dir! Ich probiere das aus. Allerdings ist Zenarmor ganz neu, ich hatte ja vorher den n5105 - und da hatte ich dieselbe lausige Performance. Deshalb bin ich ein wenig skeptisch.

[sternchen45]

Hallo,
habe jetzt crowdsec und Sensei deinstalliert über den Paketmanager und rebootet.

Keine Veränderung der Routing-Performance, immer noch ca. 200Mbps. Dann habe ich den physischen Windows-Host gestartet (im selben Subnetz), habe von dem auch getestet und im Rahmen der Testgenauigkeit kommen da auch pi mal Daumen 200Mbps heraus.

Spricht demnach dafür, dass es nicht an Sensei/crowdsec gelegen hat.

Nur an was? Die Firewall der OPNsense ist derzeit deaktiviert (Firewall/Settings/Advanced/Disable all packet filtering).

An der Stelle sei erwähnt, dass  die MTU auf dem Ubuntu Zielhost im WAN auf 9000 steht, aber ICMP komplett erlaubt ist. Außerdem habe ich gegengeprüft mit --length 1000 und --length 8972 - die Ergebnisse bleiben gleich. Zumindest mit relativ kleiner MTU hätte ich eine Änderung erwartet, wenn Pakete neu assembliert hätten werden müssen. Die Firewall selbst lasse ich auf 1500 (wg0 bei 1380).

[meyergru]

Ich würde mal die MTU auf den Clients aus die üblichen 1500 Bytes reduzieren. Das bringt sowieso so gut wie nichts mit der Jumbo MTU.

[sternchen45]

Das bringt sowieso so gut wie nichts mit der Jumbo MTU.

äh, nein... Kommt natürlich drauf an, aber ob man 5Gbps oder 10Gbps bekommt (auf der bis auf die SSD selben schwächlichen Hardware) würde ich durchaus nicht als "nichts" bezeichnen. Jede aktuelle Hardware kann das auch und es macht sowohl rechnerisch wie auch praktisch einen Unterschied. Es hat Fallstricke, ja, aber hier war ja schon der Beweis erbracht, dass es nichts damit zu tun haben kann.

Aber gut, for the sake of the argument, sowohl der Windows-Host, als auch die VM, als auch der Ubuntu-Zielhost und die Firewall-Interfaces stehen auf MTU 1500. Test wiederholt. Selbes Ergebnis.

Ich denke, ich gehe mal an die Grabbelkiste, ob noch eine SSD da ist und dann installiere ich ein OPNsense Basispaket und schau, wie sich das verhält. Vielleicht habe ich zuviel und an den falschen Stellen herumgepfuscht (aka irgendwelche Empfehlungen übernommen).

[Patrick M. Hausen]

Ich krieg auf einem Atom der 3er Serie mit einer in TrueNAS (bhyve) virtualisierten OPNsense locker ein knappes Gbit/s hin mit Intel Gbit Interfaces. Interfaces per PCIe passthrough. Detaillierte Specs müsste ich nachgucken.

Spricht dafür, das bei dir irgendwas vermurxt ist.

[sternchen45]

ich habe noch eine SSD gefunden und bin gerade beim Testen mit einer Basisinstallation mit deaktivierter Firewall.

In der Tat, Routing scheint unproblematisch zu sein. Wenn die VM sendet, gehen 1Gbps, wenn der Ubuntu-Host sendet, gehen 2,37Gbps. Das verstehe ich noch nicht (der Ubuntu-Zielhost und der Hypervisor ist mit 10Gbps angeschlossen, die Firewallinterfaces können 2,5Gbps): wenn da was limitiert, dann doch bitte bei Senden *und* Empfangen.

Was mit den 200Mbps sind- in mir keimt eine Vermutung, wenn ich so durch meine Aufzeichnungen gehe. Ich will noch mal den Windows-Host testen und dann zurückbauen. Und dann schau ich in die Richtung.

[sternchen45]

die VM hat mich nicht veralbert, das Verhalten mit 2,5Gbps ist mit dem Windows-Host genauso. Wenn der Ubuntu sendet bekomme ich 2,37Gbps, wenn der Windows-Host sendet (im LAN), dann nur ein Gbps. Warum auch immer.

[sternchen45]

so, gefunden: fast zu peinlich, es zuzugeben, vor allem, da man es ja selbst verbrochen hat:
Firewall/Shaper/Pipes, dort waren Begrenzungen entsprechend meines Internetanschlusses eingetragen. Das habe ich probeweise nicht mehr enabled, jetzt geht's schnell.

Ich danke Euch vielmals!