Hallo zusammen,
vielleicht hat jemand ein Idee woran mein Performace Problem liegen kann.
Die OPNsense hat 3 VMXNET3 NICs. Auf VMware Ebene hängen diese am selben vSwitch mit unterschiedlichen VLANs. Der vSwitch ist mit einem 10GbE Link auf einem Cisco Switch connectet.
Die OPNsense hat 2 CPUs (2.6 GHz-3.2GHz ) und 2 GB RAM. Die Firewall macht reines statisches Routing und Layer 4 Filtering.
Ich bekomme nur ~ 600Mbit mit iperf3 an Durchsatz von einem Interface zum andern. Getesten mit 2 Linux VMs und nicht gegen die OPNsense. Ein ähnliches Ergebnis gibt es von einem phy. Client gegen die eine Linux VM.
iperf3 -c 10.49.13.18
Connecting to host 10.x.x.x, port 5201
[ 5] local 10.x.x.1 port 52786 connected to 10.x.x.8 port 5201
[ ID] Interval Transfer Bitrate Retr Cwnd
[ 5] 0.00-1.00 sec 78.9 MBytes 661 Mbits/sec 83 243 KBytes
[ 5] 1.00-2.00 sec 77.5 MBytes 650 Mbits/sec 11 247 KBytes
[ 5] 2.00-3.00 sec 76.2 MBytes 640 Mbits/sec 63 167 KBytes
[ 5] 3.00-4.00 sec 72.5 MBytes 608 Mbits/sec 99 129 KBytes
[ 5] 4.00-5.00 sec 73.8 MBytes 619 Mbits/sec 92 89.1 KBytes
[ 5] 5.00-6.00 sec 67.5 MBytes 566 Mbits/sec 83 105 KBytes
[ 5] 6.00-7.00 sec 72.5 MBytes 608 Mbits/sec 94 127 KBytes
[ 5] 7.00-8.00 sec 72.5 MBytes 608 Mbits/sec 75 129 KBytes
[ 5] 8.00-9.00 sec 71.2 MBytes 598 Mbits/sec 80 123 KBytes
[ 5] 9.00-10.00 sec 68.8 MBytes 577 Mbits/sec 100 107 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bitrate Retr
[ 5] 0.00-10.00 sec 731 MBytes 614 Mbits/sec 780 sender
[ 5] 0.00-10.04 sec 728 MBytes 608 Mbits/sec receiver
viele Grüße
Vibezz
Nimm mal E1000 statt vmxnet.
Nach weiteren Test. War das Problem die CPU.
Ich kram das hier noch mal raus, weil wohl immernoch aktuell..
Wir haben das selbe Problem @work auf ESXi 7 mit ner opnsense in einer VM und vmxnet3 Adapter. Läuft auf nem potenten Dell PowerEdge R740XD mit 4x25Gb-Interfaces.
Auf meinem Homeserver hab ich das selbe Problem (auch ein potentes System, aber halt nur 1Gbit bzw. 10Gbit-NICs).
Mehr wir 65-70MB/s (600Mbit) geht einfach nicht.
Gibts hierzu mittlerweile Workarounds / Lösungsansätze?
Oder ist der Tipp von pmhausen schon die Lösung? Will es gerade nicht testen, weil es dann doch etwas mehr Aufwand bedeuten würde, die Konfig von opnsense von vmxnet auf e1000 umzustellen.
Ich meine das das VMXNET Problem nie wirklich behoben wurde. Es hängt aber mit den Treibern im BSD zusammen.
Mit dem Wechsel auf die nächste Version könnte es besser sein. Dort wird dann eine Neuere Version vom FreeBSD als Basis vorhanden sein. Die e1000 Treiber dürften auch nur marginal besser sein, wenn nicht sogar schlechter.
Die 22.x gibt es ja schon als Beta.
Die E1000 Treiber in FreeBSD sind definitiv besser als VMXNET3 und die empfohlene Variante zumindest innerhalb der TrueNAS-Community. Wo viele ihre Installation ebenfalls in ESXi virtualisieren.