Menu

Show posts

This section allows you to view all posts made by this member. Note that you can only see posts made in areas you currently have access to.

Show posts Menu

Messages - 80ec110286

Pages1
#1
Hardware and Performance / Re: 25Gbit/s - OPNSense - slow throughput & packet loss
July 01, 2024, 04:40:10 PM
QuoteDid you set ice_ddp_load="YES"' in /boot/loader.conf.local? Otherwise OPNsense will only use only one queue on the NIC, which limits packet processing to one core, which in most cases is not enough for 25GBit throughput.

I am curious whether there's something similar for Mellanox cards.
#2
Hardware and Performance / Re: 25Gbit/s - OPNSense - slow throughput & packet loss
June 18, 2024, 04:56:11 PM
QuoteI'm not a Mellanox expert, but you might want to look at your NIC firmware settings (are you running latest firmware update ?)

The latest firmware as is possible.. which is december 2021 :-P

Quoteregarding the operational mode: Native NIC mode vs Switchdev SRIOV.

I tried disabling SR-IOV in Opnsense, no difference. Should I have it disabled in the BIOS as well?
#3
Hardware and Performance / Re: 25Gbit/s - OPNSense - slow throughput & packet loss
June 13, 2024, 01:31:11 PM
1) Thank you. Where do you see that? Then I can look into it?

2) Regarding this point, while I am certainly no expert here, all information I can find is that the MS-01 has as PCIe 4.0 x16 slot, supporting PCIe 4.0 x8 (128GT/s)

https://store.minisforum.com/products/minisforum-ms-01
https://store.minisforum.de/products/ms-01
https://www.techradar.com/computing/hands-on-minisforum-ms-01-review

That's why I don't understand this point too well :P

#4
Hardware and Performance / 25Gbit/s - OPNSense - slow throughput & packet loss
June 13, 2024, 11:39:02 AM
Hey there,

Since recently we have a new 25Gbit/s (Init7.net) connection with OPNsense.

OPNsense 24.1.8-amd64
FreeBSD 13.2-RELEASE-p11
OpenSSL 3.0.13

Hardware: Minisforums MS-01

CPU: Intel Core i9-13900H

RAM: 32 GB Crucial Soram D5 5200Mhz

Network: Mellanox ConnectX-4 Lx EN 25Gbit SFP28

Storage: Samsung 980 Pro

-----

The throughput is nowhere where it should be, also there is a big packet loss.

I am testing directly from the router and the results are like the following:

Speedtest:

Code Select
    root@OPNsense:~ # speedtest -s 43030
    Speedtest by Ookla
    Server: Init7 AG - Winterthur (id: 43030)
    ISP: Init7
    Idle Latency:     6.85 ms   (jitter: 0.15ms, low: 6.74ms, high: 7.06ms)
    Download:  9432.59 Mbps (data used: 10.3 GB)                                                   
                     25.87 ms   (jitter: 34.23ms, low: 6.52ms, high: 271.92ms)
    Upload:   225.91 Mbps (data used: 168.6 MB)                                                   
                      6.80 ms   (jitter: 0.11ms, low: 6.61ms, high: 7.35ms)
    Packet Loss:     7.5%
    Result URL: https://www.speedtest.net/result/c/8c28763f-1d41-4483-9f03-df7b9ec7b9d1

The packet loss is also weird.

iperf3 throws out results such as:

 
Quoteroot@OPNsense:~ # iperf3 -c speedtest.init7.net
    Connecting to host speedtest.init7.net, port 5201
    [  5] local <localIP> port 41761 connected to 77.109.175.63 port 5201
    [ ID] Interval           Transfer     Bitrate         Retr  Cwnd
    [  5]   0.00-1.06   sec  11.1 MBytes  87.8 Mbits/sec    9   96.6 KBytes
    [  5]   1.06-2.06   sec  9.25 MBytes  77.9 Mbits/sec    6   46.9 KBytes
    [  5]   2.06-3.06   sec  8.12 MBytes  68.1 Mbits/sec   12   46.8 KBytes
    [  5]   3.06-4.06   sec  6.50 MBytes  54.5 Mbits/sec    8   54.0 KBytes
    [  5]   4.06-5.06   sec  7.38 MBytes  61.9 Mbits/sec    8   39.7 KBytes
    [  5]   5.06-6.06   sec  7.38 MBytes  61.9 Mbits/sec    6   62.5 KBytes
    [  5]   6.06-7.06   sec  9.00 MBytes  75.5 Mbits/sec    4   96.7 KBytes
    [  5]   7.06-8.06   sec  8.62 MBytes  72.4 Mbits/sec    6   32.6 KBytes
    [  5]   8.06-9.06   sec  5.38 MBytes  45.1 Mbits/sec    6   72.6 KBytes
    [  5]   9.06-10.06  sec  4.88 MBytes  40.9 Mbits/sec    8   26.9 KBytes
    - - - - - - - - - - - - - - - - - - - - - - - - -
    [ ID] Interval           Transfer     Bitrate         Retr
    [  5]   0.00-10.06  sec  77.6 MBytes  64.7 Mbits/sec   73             sender
    [  5]   0.00-10.07  sec  76.8 MBytes  64.0 Mbits/sec                  receiver
   
    iperf Done.
    root@OPNsense:~ #

The more parallel streams I use, the faster it is. If I use 128 parallel streams (with -P, 128 is the maximum), I can get over 7000 Mbits/sec, but nowhere near where it should be.

I have also tried following some tuning guides, such as these here:

https://calomel.org/freebsd_network_tuning.html

https://binaryimpulse.com/2022/11/opnsense-performance-tuning-for-multi-gigabit-internet/

Screenshot of my tunables:

https://drive.proton.me/urls/ZWXZ8C49D0#RucQw3R6Ofhj

Stock settings, enabling RSS, enabling net.isr.bindthreads = 1,  net.isr.maxthreads = -1 and some other settings from the guides show sadly no improvement.

Hardware offloading is off (apparently that OPNSense + Mellanox do not work well with that), IDS/IPS is also off. For testing purposed, I also tried hardware offloading on, without differences.

dmesg output for mlx:
Code Select

    root@OPNsense:~ # dmesg
    mlx5_core0: <mlx5_core> mem 0x6120000000-0x6121ffffff at device 0.0 on pci1
    mlx5: Mellanox Core driver 3.7.1 (November 2021)uhub0: 4 ports with 4 removable, self powered
    mlx5_core0: INFO: mlx5_port_module_event:705:(pid 12): Module 0, status: plugged and enabled
    mlx5_core: INFO: (mlx5_core0): E-Switch: Total vports 9, l2 table size(65536), per vport: max uc(1024) max mc(16384)
    mlx5_core1: <mlx5_core> mem 0x611e000000-0x611fffffff at device 0.1 on pci1
    mlx5_core1: INFO: mlx5_port_module_event:710:(pid 12): Module 1, status: unplugged
    mlx5_core: INFO: (mlx5_core1): E-Switch: Total vports 9, l2 table size(65536), per vport: max uc(1024) max mc(16384)
    mce0: Ethernet address: <mac>
    mce0: link state changed to DOWN
    mce1: Ethernet address: <mac>
    mce1: link state changed to DOWN
    mce0: ERR: mlx5e_ioctl:3514:(pid 37363): tso4 disabled due to -txcsum.
    mce0: ERR: mlx5e_ioctl:3527:(pid 37959): tso6 disabled due to -txcsum6.
    mce1: ERR: mlx5e_ioctl:3514:(pid 41002): tso4 disabled due to -txcsum.
    mce1: ERR: mlx5e_ioctl:3527:(pid 41674): tso6 disabled due to -txcsum6.
    mce0: INFO: mlx5e_open_locked:3265:(pid 60133): NOTE: There are more RSS buckets(64) than channels(20) available
    mce0: link state changed to UP
    root@OPNsense:~ #

ifconfig:

Code Select
    root@OPNsense:~ # ifconfig
    mce0: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
            description: WAN (wan)
            options=7e8800a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,LINKSTATE,HWRXTSTMP,NOMAP,TXTLS4,TXTLS6,VXLAN_HWCSUM,VXLAN_HWTSO>
            ether <mac>
            inet <IP> netmask 0xffffffc0 broadcast <broadcast>
            inet6 <ip>%mce0 prefixlen 64 scopeid 0x9
            inet6 <ip> prefixlen 64 autoconf
            inet6 <ip> prefixlen 128
            media: Ethernet 25GBase-SR <full-duplex,rxpause,txpause>
            status: active
            nd6 options=23<PERFORMNUD,ACCEPT_RTADV,AUTO_LINKLOCAL>
    mce1: flags=8822<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
            options=7e8800a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,LINKSTATE,HWRXTSTMP,NOMAP,TXTLS4,TXTLS6,VXLAN_HWCSUM,VXLAN_HWTSO>
            ether <mac>
            media: Ethernet autoselect <full-duplex,rxpause,txpause>
            status: no carrier (Cable is unplugged.)
            nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
    root@OPNsense:~ #

Here I am a bit surprised about Ethernet 25GBase-SR, to my limited understanding that should be LR. In OPNsense however I don't see any 25GBase-LR setting to enforce. Autonegotiate will return SR. According to my provider, the SFP is LR:
https://www.init7.net/en/internet/hardware/

Is that just a display error in OPNsense?

Here's a screenshot from Top -P while running a speedtest.

https://drive.proton.me/urls/FPZY26VGH4#2oSBskqkz07X

netstat -Q

Code Select
root@OPNsense:~ # netstat -Q
Configuration:
Setting                        Current        Limit
Thread count                        20           20
Default queue limit               2048        10240
Dispatch policy               deferred          n/a
Threads bound to CPUs          enabled          n/a

Protocols:
Name   Proto QLimit Policy Dispatch Flags
ip         1   1000    cpu   hybrid   C--
igmp       2   2048 source  default   ---
rtsock     3   2048 source  default   ---
arp        4   2048 source  default   ---
ether      5   2048    cpu   direct   C--
ip6        6   1000    cpu   hybrid   C--
ip_direct     9   2048    cpu   hybrid   C--
ip6_direct    10   2048    cpu   hybrid   C--

Workstreams:
WSID CPU   Name     Len WMark   Disp'd  HDisp'd   QDrops   Queued  Handled
   0   0   ip         0    12        0    58203        0   111666   169869
   0   0   igmp       0     0        0        0        0        0        0
   0   0   rtsock     0     0        0        0        0        0        0
   0   0   arp        0     0        0        0        0        0        0
   0   0   ether      0     0  2355942        0        0        0  2355942
   0   0   ip6        0     1        0  1908712        0      129  1908841
   0   0   ip_direct     0     0        0        0        0        0        0
   0   0   ip6_direct     0     0        0        0        0        0        0
   1   1   ip         0    11        0    27296        0    19571    46867
   1   1   igmp       0     0        0        0        0        0        0
   1   1   rtsock     0     0        0        0        0        0        0
   1   1   arp        0     1        0        0        0       15       15
   1   1   ether      0     0  1297838        0        0        0  1297838
   1   1   ip6        0    40        0  1269620        0      201  1269821
   1   1   ip_direct     0     0        0        0        0        0        0
   1   1   ip6_direct     0     0        0        0        0        0        0
   2   2   ip         0    13        0    16382        0    17041    33423
   2   2   igmp       0     0        0        0        0        0        0
   2   2   rtsock     0     0        0        0        0        0        0
   2   2   arp        0     0        0        0        0        0        0
   2   2   ether      0     0  1501728        0        0        0  1501728
   2   2   ip6        0     0        0  1219557        0        0  1219557
   2   2   ip_direct     0     0        0        0        0        0        0
   2   2   ip6_direct     0     0        0        0        0        0        0
   3   3   ip         0    31        0   280587        0   421365   701952
   3   3   igmp       0     0        0        0        0        0        0
   3   3   rtsock     0     0        0        0        0        0        0
   3   3   arp        0     0        0        0        0        0        0
   3   3   ether      0     0  1094476        0        0        0  1094476
   3   3   ip6        0     0        0   788353        0        0   788353
   3   3   ip_direct     0     0        0        0        0        0        0
   3   3   ip6_direct     0     0        0        0        0        0        0
   4   4   ip         0    10        0    42578        0     5656    48234
   4   4   igmp       0     0        0        0        0        0        0
   4   4   rtsock     0     0        0        0        0        0        0
   4   4   arp        0     0        0        0        0        0        0
   4   4   ether      0     0  1803388        0        0        0  1803388
   4   4   ip6        0     0        0  1535915        0        0  1535915
   4   4   ip_direct     0     0        0        0        0        0        0
   4   4   ip6_direct     0     0        0        0        0        0        0
   5   5   ip         0    35        0    57631        0    92496   150127
   5   5   igmp       0     0        0        0        0        0        0
   5   5   rtsock     0     0        0        0        0        0        0
   5   5   arp        0     0        0        0        0        0        0
   5   5   ether      0     0  1078428        0        0        0  1078428
   5   5   ip6        0     1        0  1020797        0        3  1020800
   5   5   ip_direct     0     0        0        0        0        0        0
   5   5   ip6_direct     0     0        0        0        0        0        0
   6   6   ip         0     2        0    27426        0     1041    28467
   6   6   igmp       0     0        0        0        0        0        0
   6   6   rtsock     0     7        0        0        0      158      158
   6   6   arp        0     0        0        0        0        0        0
   6   6   ether      0     0  1469570        0        0        0  1469570
   6   6   ip6        0     0        0   882669        0        0   882669
   6   6   ip_direct     0     0        0        0        0        0        0
   6   6   ip6_direct     0     0        0        0        0        0        0
   7   7   ip         0     3        0   283352        0     5797   289149
   7   7   igmp       0     0        0        0        0        0        0
   7   7   rtsock     0     0        0        0        0        0        0
   7   7   arp        0     0        0        0        0        0        0
   7   7   ether      0     0  1270934        0        0        0  1270934
   7   7   ip6        0     0        0   987582        0        0   987582
   7   7   ip_direct     0     0        0        0        0        0        0
   7   7   ip6_direct     0     0        0        0        0        0        0
   8   8   ip         0    28        0   263924        0    55582   319506
   8   8   igmp       0     0        0        0        0        0        0
   8   8   rtsock     0     0        0        0        0        0        0
   8   8   arp        0     0        0        0        0        0        0
   8   8   ether      0     0  2150278        0        0        0  2150278
   8   8   ip6        0     2        0  1626537        0       68  1626605
   8   8   ip_direct     0     0        0        0        0        0        0
   8   8   ip6_direct     0     0        0        0        0        0        0
   9   9   ip         0    10        0    50414        0      117    50531
   9   9   igmp       0     0        0        0        0        0        0
   9   9   rtsock     0     0        0        0        0        0        0
   9   9   arp        0     2        0        0        0   323528   323528
   9   9   ether      0     0  1078713        0        0        0  1078713
   9   9   ip6        0    45        0  1027819        0      479  1028298
   9   9   ip_direct     0     0        0        0        0        0        0
   9   9   ip6_direct     0     0        0        0        0        0        0
  10  10   ip         0     7        0      607        0     7940     8547
  10  10   igmp       0     0        0        0        0        0        0
  10  10   rtsock     0     0        0        0        0        0        0
  10  10   arp        0     0        0        0        0        0        0
  10  10   ether      0     0  1215919        0        0        0  1215919
  10  10   ip6        0     0        0  1201173        0        0  1201173
  10  10   ip_direct     0     0        0        0        0        0        0
  10  10   ip6_direct     0     0        0        0        0        0        0
  11  11   ip         0    58        0    12866        0   210981   223847
  11  11   igmp       0     0        0        0        0        0        0
  11  11   rtsock     0     0        0        0        0        0        0
  11  11   arp        0     3        0        0        0       35       35
  11  11   ether      0     0   958646        0        0        0   958646
  11  11   ip6        0     0        0   945547        0        0   945547
  11  11   ip_direct     0     0        0        0        0        0        0
  11  11   ip6_direct     0     0        0        0        0        0        0
  12  12   ip         0     8        0    63449        0    44365   107814
  12  12   igmp       0     0        0        0        0        0        0
  12  12   rtsock     0     0        0        0        0        0        0
  12  12   arp        0     0        0        0        0        0        0
  12  12   ether      0     0  1513917        0        0        0  1513917
  12  12   ip6        0     0        0  1445402        0        0  1445402
  12  12   ip_direct     0     0        0        0        0        0        0
  12  12   ip6_direct     0     0        0        0        0        0        0
  13  13   ip         0     6        0   409033        0     4978   414011
  13  13   igmp       0     0        0        0        0        0        0
  13  13   rtsock     0     0        0        0        0        0        0
  13  13   arp        0     0        0        0        0        0        0
  13  13   ether      0     0  1516011        0        0        0  1516011
  13  13   ip6        0    90        0  1099859        0     1214  1101073
  13  13   ip_direct     0     0        0        0        0        0        0
  13  13   ip6_direct     0     0        0        0        0        0        0
  14  14   ip         0    14        0   122522        0    29387   151909
  14  14   igmp       0     0        0        0        0        0        0
  14  14   rtsock     0     0        0        0        0        0        0
  14  14   arp        0     0        0        0        0        0        0
  14  14   ether      0     0  1011518        0        0        0  1011518
  14  14   ip6        0     2        0   887967        0        4   887971
  14  14   ip_direct     0     0        0        0        0        0        0
  14  14   ip6_direct     0     0        0        0        0        0        0
  15  15   ip         0    29        0     1339        0   205348   206687
  15  15   igmp       0     0        0        0        0        0        0
  15  15   rtsock     0     0        0        0        0        0        0
  15  15   arp        0     0        0        0        0        0        0
  15  15   ether      0     0  1046188        0        0        0  1046188
  15  15   ip6        0    17        0  1001970        0       32  1002002
  15  15   ip_direct     0     0        0        0        0        0        0
  15  15   ip6_direct     0     0        0        0        0        0        0
  16  16   ip         0     7        0    49940        0      219    50159
  16  16   igmp       0     0        0        0        0        0        0
  16  16   rtsock     0     0        0        0        0        0        0
  16  16   arp        0     0        0        0        0        0        0
  16  16   ether      0     0  1590175        0        0        0  1590175
  16  16   ip6        0     2        0  1490681        0        2  1490683
  16  16   ip_direct     0     0        0        0        0        0        0
  16  16   ip6_direct     0     0        0        0        0        0        0
  17  17   ip         0    51        0    36987        0   244222   281209
  17  17   igmp       0     0        0        0        0        0        0
  17  17   rtsock     0     0        0        0        0        0        0
  17  17   arp        0     0        0        0        0        0        0
  17  17   ether      0     0  1168584        0        0        0  1168584
  17  17   ip6        0    34        0  1034189        0      158  1034347
  17  17   ip_direct     0     0        0        0        0        0        0
  17  17   ip6_direct     0     0        0        0        0        0        0
  18  18   ip         0    56        0   242236        0   468895   711131
  18  18   igmp       0     0        0        0        0        0        0
  18  18   rtsock     0     0        0        0        0        0        0
  18  18   arp        0     0        0        0        0        0        0
  18  18   ether      0     0  1426511        0        0        0  1426511
  18  18   ip6        0     0        0  1054665        0        0  1054665
  18  18   ip_direct     0     0        0        0        0        0        0
  18  18   ip6_direct     0     0        0        0        0        0        0
  19  19   ip         0    11        0    38109        0    11074    49183
  19  19   igmp       0     0        0        0        0        0        0
  19  19   rtsock     0     0        0        0        0        0        0
  19  19   arp        0     0        0        0        0        0        0
  19  19   ether      0     0  1823691        0        0        0  1823691
  19  19   ip6        0    33        0  1587650        0       41  1587691
  19  19   ip_direct     0     0        0        0        0        0        0
  19  19   ip6_direct     0     0        0        0        0        0        0


While I am not new to Linux generally, I am new to Freebsd. Does anyone have some advices or experiences to share? Does anyone use OPNSense with their 25G line or do you have any recommendations?

I do not know what to test anymore.

Thanks in advance!
Pages1