Print Page - Throughput across Proxmox guests and data loss

Title: Throughput across Proxmox guests and data loss
Post by: blblblb on November 02, 2021, 09:52:55 PM

Hi,

This might be an issue related to what other folks have published in the past related to TP issues in opnsense 20.x due to FreeBSD kernel changes.

The setup:

Brocade ICX with 10G SFP+ to Opnsense (using Chelsio NIC) and a L2 10G SFP+ switch that provides a trunk to the Proxmox host
All flow control disabled in the SFP+ ports across all switches.
OVS used in Proxmox for a dedicated vmbr using the trunk from the switch (interface has no IP assigned for the host, it just passes VLAN tagged traffic).
lagg0 containing the cxgb 10G NIC and (unused) ix ports (I did it for testing and will have to revert those).

It's set to normal retention for states, just in case.

The firewall CPU:

Code Select

CPU: Intel(R) Atom(TM) CPU C3558 @ 2.20GHz (2200.07-MHz K8-class CPU)

This is what I am observing:

Inter-VLAN across Linux hosts, sender/client has 1g link:

Code Select


$ iperf3 -c XXX -u -b 0 -N -Z -P4
Connecting to host XXX, port 5201
[  5] local ZZZ port 44857 connected to XXX port 5201
[  7] local ZZZ port 49631 connected to XXX port 5201
[  9] local ZZZ port 41755 connected to XXX port 5201
[ 11] local ZZZ port 36856 connected to XXX port 5201
[ ID] Interval           Transfer     Bitrate         Total Datagrams
[  5]   0.00-1.00   sec  25.2 MBytes   211 Mbits/sec  18090  
[  7]   0.00-1.00   sec  25.2 MBytes   211 Mbits/sec  18090  
[  9]   0.00-1.00   sec  25.2 MBytes   211 Mbits/sec  18090  
[ 11]   0.00-1.00   sec  25.2 MBytes   211 Mbits/sec  18090  
[SUM]   0.00-1.00   sec   101 MBytes   845 Mbits/sec  72360  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  25.2 MBytes   211 Mbits/sec  18080  
[  7]   1.00-2.00   sec  25.2 MBytes   211 Mbits/sec  18080  
[  9]   1.00-2.00   sec  25.2 MBytes   211 Mbits/sec  18080  
[ 11]   1.00-2.00   sec  25.2 MBytes   211 Mbits/sec  18080  
[SUM]   1.00-2.00   sec   101 MBytes   845 Mbits/sec  72320  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  7]   2.00-3.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  9]   2.00-3.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[ 11]   2.00-3.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[SUM]   2.00-3.00   sec   101 MBytes   844 Mbits/sec  72280  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[  7]   3.00-4.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[  9]   3.00-4.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[ 11]   3.00-4.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[SUM]   3.00-4.00   sec   100 MBytes   843 Mbits/sec  72150  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  7]   4.00-5.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  9]   4.00-5.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[ 11]   4.00-5.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[SUM]   4.00-5.00   sec   100 MBytes   843 Mbits/sec  72130  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  25.1 MBytes   210 Mbits/sec  18020  
[  7]   5.00-6.00   sec  25.1 MBytes   210 Mbits/sec  18020  
[  9]   5.00-6.00   sec  25.1 MBytes   210 Mbits/sec  18020  
[ 11]   5.00-6.00   sec  25.1 MBytes   210 Mbits/sec  18020  
[SUM]   5.00-6.00   sec   100 MBytes   842 Mbits/sec  72080  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  7]   6.00-7.00   sec  25.1 MBytes   210 Mbits/sec  18020  
[  9]   6.00-7.00   sec  25.1 MBytes   210 Mbits/sec  18020  
[ 11]   6.00-7.00   sec  25.1 MBytes   210 Mbits/sec  18020  
[SUM]   6.00-7.00   sec   100 MBytes   842 Mbits/sec  72090  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  7]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[  9]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[ 11]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[SUM]   7.00-8.00   sec   100 MBytes   843 Mbits/sec  72140  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  7]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  9]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[ 11]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[SUM]   8.00-9.00   sec   100 MBytes   842 Mbits/sec  72130  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18030  
[  7]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18030  
[  9]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18030  
[ 11]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18030  
[SUM]   9.00-10.00  sec   100 MBytes   842 Mbits/sec  72120  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.000 ms  0/180450 (0%)  sender
[  5]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.093 ms  0/180413 (0%)  receiver
[  7]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.000 ms  0/180450 (0%)  sender
[  7]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.091 ms  0/180413 (0%)  receiver
[  9]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.000 ms  0/180450 (0%)  sender
[  9]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.090 ms  0/180413 (0%)  receiver
[ 11]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.000 ms  0/180450 (0%)  sender
[ 11]   0.00-10.00  sec   251 MBytes   211 Mbits/sec  0.096 ms  0/180412 (0%)  receiver
[SUM]   0.00-10.00  sec  1005 MBytes   843 Mbits/sec  0.000 ms  0/721800 (0%)  sender
[SUM]   0.00-10.00  sec  1005 MBytes   843 Mbits/sec  0.093 ms  0/721651 (0%)  receiver

Reversed:

Code Select


[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-1.00   sec  23.1 MBytes   194 Mbits/sec  0.075 ms  4027/20608 (20%)  
[  7]   0.00-1.00   sec  23.1 MBytes   194 Mbits/sec  0.068 ms  4042/20627 (20%)  
[  9]   0.00-1.00   sec  23.1 MBytes   194 Mbits/sec  0.082 ms  4038/20611 (20%)  
[ 11]   0.00-1.00   sec  23.1 MBytes   194 Mbits/sec  0.069 ms  4036/20618 (20%)  
[SUM]   0.00-1.00   sec  92.3 MBytes   774 Mbits/sec  0.074 ms  16143/82464 (20%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  28.4 MBytes   238 Mbits/sec  0.084 ms  58/20458 (0.28%)  
[  7]   1.00-2.00   sec  28.4 MBytes   238 Mbits/sec  0.064 ms  57/20439 (0.28%)  
[  9]   1.00-2.00   sec  28.5 MBytes   239 Mbits/sec  0.083 ms  58/20500 (0.28%)  
[ 11]   1.00-2.00   sec  28.5 MBytes   239 Mbits/sec  0.074 ms  59/20497 (0.29%)  
[SUM]   1.00-2.00   sec   114 MBytes   954 Mbits/sec  0.076 ms  232/81894 (0.28%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  28.4 MBytes   238 Mbits/sec  0.097 ms  52/20446 (0.25%)  
[  7]   2.00-3.00   sec  28.4 MBytes   239 Mbits/sec  0.078 ms  66/20490 (0.32%)  
[  9]   2.00-3.00   sec  28.5 MBytes   239 Mbits/sec  0.076 ms  45/20490 (0.22%)  
[ 11]   2.00-3.00   sec  28.4 MBytes   239 Mbits/sec  0.059 ms  72/20494 (0.35%)  
[SUM]   2.00-3.00   sec   114 MBytes   954 Mbits/sec  0.077 ms  235/81920 (0.29%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  28.4 MBytes   239 Mbits/sec  0.069 ms  48/20475 (0.23%)  
[  7]   3.00-4.00   sec  28.4 MBytes   238 Mbits/sec  0.071 ms  60/20472 (0.29%)  
[  9]   3.00-4.00   sec  28.4 MBytes   238 Mbits/sec  0.074 ms  63/20473 (0.31%)  
[ 11]   3.00-4.00   sec  28.4 MBytes   238 Mbits/sec  0.083 ms  61/20476 (0.3%)  
[SUM]   3.00-4.00   sec   114 MBytes   954 Mbits/sec  0.074 ms  232/81896 (0.28%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  28.3 MBytes   238 Mbits/sec  0.078 ms  70/20404 (0.34%)  
[  7]   4.00-5.00   sec  28.5 MBytes   239 Mbits/sec  0.059 ms  68/20528 (0.33%)  
[  9]   4.00-5.00   sec  28.5 MBytes   239 Mbits/sec  0.076 ms  51/20492 (0.25%)  
[ 11]   4.00-5.00   sec  28.5 MBytes   239 Mbits/sec  0.049 ms  53/20495 (0.26%)  
[SUM]   4.00-5.00   sec   114 MBytes   954 Mbits/sec  0.066 ms  242/81919 (0.3%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  28.3 MBytes   237 Mbits/sec  0.077 ms  183/20475 (0.89%)  
[  7]   5.00-6.00   sec  28.2 MBytes   237 Mbits/sec  0.072 ms  190/20471 (0.93%)  
[  9]   5.00-6.00   sec  28.2 MBytes   237 Mbits/sec  0.068 ms  190/20474 (0.93%)  
[ 11]   5.00-6.00   sec  28.2 MBytes   237 Mbits/sec  0.080 ms  199/20475 (0.97%)  
[SUM]   5.00-6.00   sec   113 MBytes   948 Mbits/sec  0.074 ms  762/81895 (0.93%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  26.7 MBytes   224 Mbits/sec  0.084 ms  1345/20505 (6.6%)  
[  7]   6.00-7.00   sec  26.7 MBytes   224 Mbits/sec  0.060 ms  1350/20501 (6.6%)  
[  9]   6.00-7.00   sec  26.5 MBytes   223 Mbits/sec  0.095 ms  1349/20406 (6.6%)  
[ 11]   6.00-7.00   sec  26.7 MBytes   224 Mbits/sec  0.052 ms  1350/20505 (6.6%)  
[SUM]   6.00-7.00   sec   107 MBytes   894 Mbits/sec  0.073 ms  5394/81917 (6.6%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  28.4 MBytes   238 Mbits/sec  0.073 ms  72/20468 (0.35%)  
[  7]   7.00-8.00   sec  28.5 MBytes   239 Mbits/sec  0.081 ms  59/20508 (0.29%)  
[  9]   7.00-8.00   sec  28.5 MBytes   239 Mbits/sec  0.078 ms  66/20506 (0.32%)  
[ 11]   7.00-8.00   sec  28.3 MBytes   238 Mbits/sec  0.088 ms  69/20423 (0.34%)  
[SUM]   7.00-8.00   sec   114 MBytes   954 Mbits/sec  0.080 ms  266/81905 (0.32%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  28.4 MBytes   239 Mbits/sec  0.066 ms  54/20479 (0.26%)  
[  7]   8.00-9.00   sec  28.4 MBytes   238 Mbits/sec  0.066 ms  84/20475 (0.41%)  
[  9]   8.00-9.00   sec  28.4 MBytes   238 Mbits/sec  0.090 ms  81/20470 (0.4%)  
[ 11]   8.00-9.00   sec  28.4 MBytes   238 Mbits/sec  0.068 ms  67/20479 (0.33%)  
[SUM]   8.00-9.00   sec   114 MBytes   953 Mbits/sec  0.073 ms  286/81903 (0.35%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  28.4 MBytes   238 Mbits/sec  0.080 ms  75/20477 (0.37%)  
[  7]   9.00-10.00  sec  28.4 MBytes   238 Mbits/sec  0.066 ms  60/20478 (0.29%)  
[  9]   9.00-10.00  sec  28.4 MBytes   238 Mbits/sec  0.064 ms  50/20468 (0.24%)  
[ 11]   9.00-10.00  sec  28.4 MBytes   238 Mbits/sec  0.063 ms  59/20478 (0.29%)  
[SUM]   9.00-10.00  sec   114 MBytes   954 Mbits/sec  0.069 ms  244/81901 (0.3%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.01  sec   285 MBytes   239 Mbits/sec  0.000 ms  0/204900 (0%)  sender
[  5]   0.00-10.00  sec   277 MBytes   232 Mbits/sec  0.080 ms  5984/204795 (2.9%)  receiver
[  7]   0.00-10.01  sec   286 MBytes   239 Mbits/sec  0.000 ms  0/205100 (0%)  sender
[  7]   0.00-10.00  sec   277 MBytes   232 Mbits/sec  0.066 ms  6036/204989 (2.9%)  receiver
[  9]   0.00-10.01  sec   285 MBytes   239 Mbits/sec  0.000 ms  0/205000 (0%)  sender
[  9]   0.00-10.00  sec   277 MBytes   232 Mbits/sec  0.064 ms  5991/204890 (2.9%)  receiver
[ 11]   0.00-10.01  sec   285 MBytes   239 Mbits/sec  0.000 ms  0/205040 (0%)  sender
[ 11]   0.00-10.00  sec   277 MBytes   232 Mbits/sec  0.063 ms  6025/204940 (2.9%)  receiver
[SUM]   0.00-10.01  sec  1.12 GBytes   957 Mbits/sec  0.000 ms  0/820040 (0%)  sender
[SUM]   0.00-10.00  sec  1.08 GBytes   929 Mbits/sec  0.069 ms  24036/819614 (2.9%)  receiver

Note the significant early packet loss and still a ~3% figure averaged.

From Linux host (over 1g link) to one of the LXC containers:

Code Select


$ iperf3 -c YYY -u -b 0 -N -Z -P 4
Connecting to host YYY, port 5201
[  5] local ZZZ port 52927 connected to YYY port 5201
[  7] local ZZZ port 36209 connected to YYY port 5201
[  9] local ZZZ port 58231 connected to YYY port 5201
[ 11] local ZZZ port 45380 connected to YYY port 5201
[ ID] Interval           Transfer     Bitrate         Total Datagrams
[  5]   0.00-1.00   sec  24.9 MBytes   208 Mbits/sec  17850  
[  7]   0.00-1.00   sec  24.9 MBytes   208 Mbits/sec  17850  
[  9]   0.00-1.00   sec  24.8 MBytes   208 Mbits/sec  17840  
[ 11]   0.00-1.00   sec  24.8 MBytes   208 Mbits/sec  17840  
[SUM]   0.00-1.00   sec  99.4 MBytes   834 Mbits/sec  71380  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  7]   1.00-2.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  9]   1.00-2.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[ 11]   1.00-2.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[SUM]   1.00-2.00   sec   100 MBytes   843 Mbits/sec  72140  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  24.9 MBytes   208 Mbits/sec  17850  
[  7]   2.00-3.00   sec  24.9 MBytes   208 Mbits/sec  17850  
[  9]   2.00-3.00   sec  24.9 MBytes   208 Mbits/sec  17850  
[ 11]   2.00-3.00   sec  24.8 MBytes   208 Mbits/sec  17840  
[SUM]   2.00-3.00   sec  99.4 MBytes   834 Mbits/sec  71390  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  7]   3.00-4.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  9]   3.00-4.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[ 11]   3.00-4.00   sec  25.2 MBytes   211 Mbits/sec  18080  
[SUM]   3.00-4.00   sec   101 MBytes   844 Mbits/sec  72290  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  7]   4.00-5.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  9]   4.00-5.00   sec  25.1 MBytes   211 Mbits/sec  18060  
[ 11]   4.00-5.00   sec  25.1 MBytes   211 Mbits/sec  18060  
[SUM]   4.00-5.00   sec   101 MBytes   844 Mbits/sec  72260  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  7]   5.00-6.00   sec  25.2 MBytes   211 Mbits/sec  18070  
[  9]   5.00-6.00   sec  25.2 MBytes   211 Mbits/sec  18080  
[ 11]   5.00-6.00   sec  25.2 MBytes   211 Mbits/sec  18080  
[SUM]   5.00-6.00   sec   101 MBytes   844 Mbits/sec  72300  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  7]   6.00-7.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[  9]   6.00-7.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[ 11]   6.00-7.00   sec  25.1 MBytes   211 Mbits/sec  18030  
[SUM]   6.00-7.00   sec   100 MBytes   842 Mbits/sec  72120  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18050  
[  7]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18050  
[  9]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18050  
[ 11]   7.00-8.00   sec  25.1 MBytes   211 Mbits/sec  18040  
[SUM]   7.00-8.00   sec   101 MBytes   843 Mbits/sec  72190  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18060  
[  7]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18060  
[  9]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18060  
[ 11]   8.00-9.00   sec  25.1 MBytes   211 Mbits/sec  18060  
[SUM]   8.00-9.00   sec   101 MBytes   844 Mbits/sec  72240  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18050  
[  7]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18050  
[  9]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18050  
[ 11]   9.00-10.00  sec  25.1 MBytes   211 Mbits/sec  18060  
[SUM]   9.00-10.00  sec   101 MBytes   844 Mbits/sec  72210  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.00  sec   251 MBytes   210 Mbits/sec  0.000 ms  0/180130 (0%)  sender
[  5]   0.00-10.00  sec   250 MBytes   210 Mbits/sec  0.087 ms  310/180094 (0.17%)  receiver
[  7]   0.00-10.00  sec   251 MBytes   210 Mbits/sec  0.000 ms  0/180130 (0%)  sender
[  7]   0.00-10.00  sec   250 MBytes   210 Mbits/sec  0.087 ms  311/180094 (0.17%)  receiver
[  9]   0.00-10.00  sec   251 MBytes   210 Mbits/sec  0.000 ms  0/180130 (0%)  sender
[  9]   0.00-10.00  sec   250 MBytes   210 Mbits/sec  0.082 ms  311/180093 (0.17%)  receiver
[ 11]   0.00-10.00  sec   251 MBytes   210 Mbits/sec  0.000 ms  0/180130 (0%)  sender
[ 11]   0.00-10.00  sec   250 MBytes   210 Mbits/sec  0.082 ms  308/180093 (0.17%)  receiver
[SUM]   0.00-10.00  sec  1003 MBytes   842 Mbits/sec  0.000 ms  0/720520 (0%)  sender
[SUM]   0.00-10.00  sec  1001 MBytes   840 Mbits/sec  0.084 ms  1240/720374 (0.17%)  receiver

Reversed:

Code Select

[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-1.00   sec  25.0 MBytes   209 Mbits/sec  0.095 ms  23791/41765 (57%)  
[  7]   0.00-1.00   sec  25.1 MBytes   210 Mbits/sec  0.152 ms  23663/41714 (57%)  
[  9]   0.00-1.00   sec  25.4 MBytes   212 Mbits/sec  0.099 ms  23487/41700 (56%)  
[ 11]   0.00-1.00   sec  25.2 MBytes   210 Mbits/sec  0.165 ms  23525/41631 (57%)  
[SUM]   0.00-1.00   sec   101 MBytes   841 Mbits/sec  0.128 ms  94466/166810 (57%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  28.3 MBytes   238 Mbits/sec  0.020 ms  22166/42526 (52%)  
[  7]   1.00-2.00   sec  28.4 MBytes   238 Mbits/sec  0.019 ms  22124/42486 (52%)  
[  9]   1.00-2.00   sec  28.4 MBytes   238 Mbits/sec  0.018 ms  22109/42489 (52%)  
[ 11]   1.00-2.00   sec  28.3 MBytes   238 Mbits/sec  0.022 ms  22112/42467 (52%)  
[SUM]   1.00-2.00   sec   113 MBytes   951 Mbits/sec  0.020 ms  88511/169968 (52%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  28.6 MBytes   240 Mbits/sec  0.028 ms  16409/36941 (44%)  
[  7]   2.00-3.00   sec  28.6 MBytes   240 Mbits/sec  0.022 ms  16325/36863 (44%)  
[  9]   2.00-3.00   sec  28.3 MBytes   238 Mbits/sec  0.027 ms  16468/36823 (45%)  
[ 11]   2.00-3.00   sec  28.1 MBytes   236 Mbits/sec  0.028 ms  16634/36803 (45%)  
[SUM]   2.00-3.00   sec   114 MBytes   953 Mbits/sec  0.026 ms  65836/147430 (45%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  28.0 MBytes   235 Mbits/sec  0.034 ms  20337/40437 (50%)  
[  7]   3.00-4.00   sec  28.3 MBytes   238 Mbits/sec  0.030 ms  20085/40426 (50%)  
[  9]   3.00-4.00   sec  27.9 MBytes   234 Mbits/sec  0.034 ms  20336/40397 (50%)  
[ 11]   3.00-4.00   sec  28.4 MBytes   238 Mbits/sec  0.033 ms  20003/40388 (50%)  
[SUM]   3.00-4.00   sec   113 MBytes   945 Mbits/sec  0.033 ms  80761/161648 (50%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  28.4 MBytes   239 Mbits/sec  0.017 ms  20901/41327 (51%)  
[  7]   4.00-5.00   sec  28.0 MBytes   235 Mbits/sec  0.015 ms  21113/41223 (51%)  
[  9]   4.00-5.00   sec  28.4 MBytes   238 Mbits/sec  0.015 ms  20822/41196 (51%)  
[ 11]   4.00-5.00   sec  28.1 MBytes   236 Mbits/sec  0.021 ms  20965/41175 (51%)  
[SUM]   4.00-5.00   sec   113 MBytes   947 Mbits/sec  0.017 ms  83801/164921 (51%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  28.3 MBytes   237 Mbits/sec  0.027 ms  19254/39580 (49%)  
[  7]   5.00-6.00   sec  28.5 MBytes   239 Mbits/sec  0.033 ms  19046/39513 (48%)  
[  9]   5.00-6.00   sec  28.6 MBytes   240 Mbits/sec  0.034 ms  18919/39460 (48%)  
[ 11]   5.00-6.00   sec  28.3 MBytes   237 Mbits/sec  0.028 ms  19106/39431 (48%)  
[SUM]   5.00-6.00   sec   114 MBytes   954 Mbits/sec  0.031 ms  76325/157984 (48%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  27.7 MBytes   233 Mbits/sec  0.029 ms  22041/41968 (53%)  
[  7]   6.00-7.00   sec  27.7 MBytes   232 Mbits/sec  0.034 ms  21953/41851 (52%)  
[  9]   6.00-7.00   sec  27.6 MBytes   232 Mbits/sec  0.030 ms  21967/41808 (53%)  
[ 11]   6.00-7.00   sec  27.5 MBytes   231 Mbits/sec  0.031 ms  22023/41799 (53%)  
[SUM]   6.00-7.00   sec   111 MBytes   928 Mbits/sec  0.031 ms  87984/167426 (53%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  25.0 MBytes   210 Mbits/sec  0.026 ms  22505/40485 (56%)  
[  7]   7.00-8.00   sec  25.0 MBytes   210 Mbits/sec  0.028 ms  22425/40372 (56%)  
[  9]   7.00-8.00   sec  25.1 MBytes   210 Mbits/sec  0.027 ms  22338/40335 (55%)  
[ 11]   7.00-8.00   sec  25.3 MBytes   212 Mbits/sec  0.029 ms  22136/40314 (55%)  
[SUM]   7.00-8.00   sec   100 MBytes   842 Mbits/sec  0.027 ms  89404/161506 (55%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  26.5 MBytes   222 Mbits/sec  0.028 ms  22171/41170 (54%)  
[  7]   8.00-9.00   sec  26.4 MBytes   221 Mbits/sec  0.025 ms  22177/41140 (54%)  
[  9]   8.00-9.00   sec  26.3 MBytes   221 Mbits/sec  0.028 ms  22179/41099 (54%)  
[ 11]   8.00-9.00   sec  26.5 MBytes   222 Mbits/sec  0.024 ms  22044/41060 (54%)  
[SUM]   8.00-9.00   sec   106 MBytes   886 Mbits/sec  0.026 ms  88571/164469 (54%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  28.3 MBytes   238 Mbits/sec  0.058 ms  18665/39021 (48%)  
[  7]   9.00-10.00  sec  28.4 MBytes   239 Mbits/sec  0.064 ms  18524/38951 (48%)  
[  9]   9.00-10.00  sec  28.3 MBytes   237 Mbits/sec  0.064 ms  18629/38942 (48%)  
[ 11]   9.00-10.00  sec  28.5 MBytes   239 Mbits/sec  0.063 ms  18433/38911 (47%)  
[SUM]   9.00-10.00  sec   114 MBytes   953 Mbits/sec  0.062 ms  74251/155825 (48%)  
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Jitter    Lost/Total Datagrams
[  5]   0.00-10.02  sec   566 MBytes   473 Mbits/sec  0.000 ms  0/406170 (0%)  sender
[  5]   0.00-10.00  sec   274 MBytes   230 Mbits/sec  0.058 ms  208240/405220 (51%)  receiver
[  7]   0.00-10.02  sec   565 MBytes   473 Mbits/sec  0.000 ms  0/405480 (0%)  sender
[  7]   0.00-10.00  sec   274 MBytes   230 Mbits/sec  0.064 ms  207435/404539 (51%)  receiver
[  9]   0.00-10.02  sec   564 MBytes   472 Mbits/sec  0.000 ms  0/405190 (0%)  sender
[  9]   0.00-10.00  sec   274 MBytes   230 Mbits/sec  0.064 ms  207254/404249 (51%)  receiver
[ 11]   0.00-10.02  sec   564 MBytes   472 Mbits/sec  0.000 ms  0/404920 (0%)  sender
[ 11]   0.00-10.00  sec   274 MBytes   230 Mbits/sec  0.063 ms  206981/403979 (51%)  receiver
[SUM]   0.00-10.02  sec  2.21 GBytes  1.89 Gbits/sec  0.000 ms  0/1621760 (0%)  sender
[SUM]   0.00-10.00  sec  1.07 GBytes   920 Mbits/sec  0.062 ms  829910/1617987 (51%)  receiver

Simple ping test to firewall from a qemu guest:

Code Select


PING HHH (HHH) 56(84) bytes of data.
64 bytes from HHH: icmp_seq=1 ttl=64 time=0.350 ms
64 bytes from HHH: icmp_seq=2 ttl=64 time=0.393 ms
64 bytes from HHH: icmp_seq=3 ttl=64 time=0.414 ms

64 bytes from HHH: icmp_seq=15 ttl=64 time=0.421 ms
64 bytes from HHH: icmp_seq=16 ttl=64 time=0.320 ms
64 bytes from HHH: icmp_seq=17 ttl=64 time=0.307 ms
^C
--- HHH ping statistics ---
17 packets transmitted, 6 received, 64.7059% packet loss, time 16390ms
rtt min/avg/max/mdev = 0.307/0.367/0.421/0.044 ms

I'm still trying to figure out what is the culprit, but ruled out the switches already as local link tests work just fine. Now I'm doubting opnsense and OVS in Proxmox. The Proxmox host is a modern Xeon D system, and I tested with mitigations-off just to rule out any weird IO impact from the CPU mitigations.

Since other users mentioned problems here:
https://forum.opnsense.org/index.php?topic=18754.135
https://forum.opnsense.org/index.php?topic=19426.0

And it mimics very closely what I am observing, could anyone or even developers throw some advice at the problem, or any known issues we should be aware of?

Why some directions exhibit near-zero or zero packet loss?

Anyone else having such problems is also welcome to comment! Please remember to use -u mode for UDP with iperf... TCP will not show you any packet loss.

Thank you!

Title: Re: Throughput across Proxmox guests and data loss
Post by: testo_cz on November 07, 2021, 10:56:15 PM

I wouldn't rely on UDP as good measure of packet loss because its lossy.

I did some tests with "iperf3 -u" sometime ago, but only the results with pre-determined bandwidth e.g. "-u -b 100M" made sense to me.

Title: Re: Throughput across Proxmox guests and data loss
Post by: zwck on April 14, 2022, 07:10:10 PM

Fascinating topic. Glad i stumbled over this thread.

OPNsense Forum

English Forums => General Discussion => Topic started by: blblblb on November 02, 2021, 09:52:55 PM