VMware ESXi 6.7 mit VMXNET3 Performance Problem

[Vibezz]

Hallo zusammen,

vielleicht hat jemand ein Idee woran mein Performace Problem liegen kann.

Die OPNsense hat 3 VMXNET3 NICs. Auf VMware Ebene hängen diese am selben vSwitch mit unterschiedlichen VLANs. Der vSwitch ist mit einem 10GbE Link auf einem Cisco Switch connectet.

Die OPNsense hat 2 CPUs (2.6 GHz-3.2GHz ) und 2 GB RAM. Die Firewall macht reines statisches Routing und Layer 4 Filtering.

Ich bekomme nur ~ 600Mbit mit iperf3 an Durchsatz von einem Interface zum andern. Getesten mit 2 Linux VMs und nicht gegen die OPNsense. Ein ähnliches Ergebnis gibt es von einem phy. Client gegen die eine Linux VM.

iperf3 -c 10.49.13.18
Connecting to host 10.x.x.x, port 5201
[  5] local 10.x.x.1 port 52786 connected to 10.x.x.8 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  78.9 MBytes   661 Mbits/sec   83    243 KBytes
[  5]   1.00-2.00   sec  77.5 MBytes   650 Mbits/sec   11    247 KBytes
[  5]   2.00-3.00   sec  76.2 MBytes   640 Mbits/sec   63    167 KBytes
[  5]   3.00-4.00   sec  72.5 MBytes   608 Mbits/sec   99    129 KBytes
[  5]   4.00-5.00   sec  73.8 MBytes   619 Mbits/sec   92   89.1 KBytes
[  5]   5.00-6.00   sec  67.5 MBytes   566 Mbits/sec   83    105 KBytes
[  5]   6.00-7.00   sec  72.5 MBytes   608 Mbits/sec   94    127 KBytes
[  5]   7.00-8.00   sec  72.5 MBytes   608 Mbits/sec   75    129 KBytes
[  5]   8.00-9.00   sec  71.2 MBytes   598 Mbits/sec   80    123 KBytes
[  5]   9.00-10.00  sec  68.8 MBytes   577 Mbits/sec  100    107 KBytes
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec   731 MBytes   614 Mbits/sec  780             sender
[  5]   0.00-10.04  sec   728 MBytes   608 Mbits/sec                  receiver


viele Grüße
Vibezz

[Patrick M. Hausen]

Nimm mal E1000 statt vmxnet.

[Vibezz]

Nach weiteren Test. War das Problem die CPU.

[Layer8]

Ich kram das hier noch mal raus, weil wohl immernoch aktuell..

Wir haben das selbe Problem @work auf ESXi 7 mit ner opnsense in einer VM und vmxnet3 Adapter. Läuft auf nem potenten Dell PowerEdge R740XD mit 4x25Gb-Interfaces.

Auf meinem Homeserver hab ich das selbe Problem (auch ein potentes System, aber halt nur 1Gbit bzw. 10Gbit-NICs).

Mehr wir 65-70MB/s (600Mbit) geht einfach nicht.

Gibts hierzu mittlerweile Workarounds / Lösungsansätze?

Oder ist der Tipp von pmhausen schon die Lösung? Will es gerade nicht testen, weil es dann doch etwas mehr Aufwand bedeuten würde, die Konfig von opnsense von vmxnet auf e1000 umzustellen.

[lewald]

Ich meine das das VMXNET Problem nie wirklich behoben wurde. Es hängt aber mit den Treibern im BSD zusammen.
Mit dem Wechsel auf die nächste Version könnte es besser sein. Dort wird dann eine Neuere Version vom FreeBSD als Basis vorhanden sein. Die e1000 Treiber dürften auch nur marginal besser sein, wenn nicht sogar schlechter.

Die 22.x gibt es ja schon als Beta.

[Patrick M. Hausen]

Die E1000 Treiber in FreeBSD sind definitiv besser als VMXNET3 und die empfohlene Variante zumindest innerhalb der TrueNAS-Community. Wo viele ihre Installation ebenfalls in ESXi virtualisieren.