Messages

1

23.7 Legacy Series / Re: [Tutorial/Call for Testing] Enabling Receive Side Scaling on OPNsense

« on: March 24, 2024, 11:21:13 pm »

@routetastic I think you misunderstood my post, I have mellanox cards in my desktop and one server, but the second server that is running opnsense doesn't have mellanox card in it, it has 2x25gb ports served by intel e823-c.
If we are talking performance, whats you cpu usage (and specific cores usage and how many cores are used) when you push 10gb?

2

23.7 Legacy Series / Re: [Tutorial/Call for Testing] Enabling Receive Side Scaling on OPNsense

« on: March 24, 2024, 12:29:01 pm »

Finally had some time to play with it
Setup:
OPNsense 24.1.2_1-amd64
Intel Xeon D-2733NT
32 Gb Ram
I was testing only my 2 25Gb/s ports so far, NIC are "ICE" and they are based on intel e823-c

Ubuntu VM with PCI-e pass through of mellanox connectx-4 25Gb ->ice0 /Opnsense\ ice1-> Windows 11 with mellanox conenctx-4 25Gb
MTU 1500

Performance numbers based on iperf3

Performance Before:
With Zenaromor: 2.7Gb/s (2 cores loaded to max)
Without Zenarmor: 5Gb/s (1 core loaded to max)
Without Zenarmor few streams (different ports): 7Gb/s (1 core loaded to max)

Performance after:
With Zenaromor: 3.9Gb/s (3 cores loaded to 70-80%)
Without Zenarmor: 5.2Gb/s (1 core loaded to ~80%)
Without Zenarmor few streams (different ports): 8Gb/s (1 core loaded to max)

It definitely helped with zenarmor but I expected better performance without zenarmor

Code: [Select]

root@opr01:~ # netstat -Q
Configuration:
Setting                        Current        Limit
Thread count                        16           16
Default queue limit                256        10240
Dispatch policy                 hybrid          n/a
Threads bound to CPUs          enabled          n/a

Protocols:
Name   Proto QLimit Policy Dispatch Flags
ip         1   1000    cpu   hybrid   C--
igmp       2    256 source  default   ---
rtsock     3    256 source  default   ---
arp        4    256 source  default   ---
ether      5    256    cpu   direct   C--
ip6        6   1000    cpu   hybrid   C--
ip_direct     9    256    cpu   hybrid   C--
ip6_direct    10    256    cpu   hybrid   C--

Workstreams:
WSID CPU   Name     Len WMark   Disp'd  HDisp'd   QDrops   Queued  Handled
   0   0   ip         0   481        0  4292176        0 25295849 29588025
   0   0   igmp       0     0        0        0        0        0        0
   0   0   rtsock     0     0        0        0        0        0        0
   0   0   arp        0     1        0        0        0       29       29
   0   0   ether      0     0 27531623        0        0        0 27531623
   0   0   ip6        0     3        0        0        0    13344    13344
   0   0   ip_direct     0     0        0        0        0        0        0
   0   0   ip6_direct     0     0        0        0        0        0        0
   1   1   ip         0    36        0        4        0  1070042  1070046
   1   1   igmp       0     0        0        0        0        0        0
   1   1   rtsock     0     0        0        0        0        0        0
   1   1   arp        0     1        0        0        0        8        8
   1   1   ether      0     0       14        0        0        0       14
   1   1   ip6        0     2        0        0        0     1125     1125
   1   1   ip_direct     0     0        0        0        0        0        0
   1   1   ip6_direct     0     0        0        0        0        0        0
   2   2   ip         0   200        0        1        0  9914864  9914865
   2   2   igmp       0     0        0        0        0        0        0
   2   2   rtsock     0     0        0        0        0        0        0
   2   2   arp        0     0        0        0        0        0        0
   2   2   ether      0     0   959020        0        0        0   959020
   2   2   ip6        0     2        0        0        0     1225     1225
   2   2   ip_direct     0     0        0        0        0        0        0
   2   2   ip6_direct     0     0        0        0        0        0        0
   3   3   ip         0     7        0        0        0   428639   428639
   3   3   igmp       0     0        0        0        0        0        0
   3   3   rtsock     0     0        0        0        0        0        0
   3   3   arp        0     1        0        0        0        7        7
   3   3   ether      0     0        0        0        0        0        0
   3   3   ip6        0     3        0        0        0     1117     1117
   3   3   ip_direct     0     0        0        0        0        0        0
   3   3   ip6_direct     0     0        0        0        0        0        0
   4   4   ip         0     8        0     5545        0    45152    50697
   4   4   igmp       0     0        0        0        0        0        0
   4   4   rtsock     0     0        0        0        0        0        0
   4   4   arp        0     0        0        0        0        0        0
   4   4   ether      0     0   389516        0        0        0   389516
   4   4   ip6        0     3        0        0        0     1152     1152
   4   4   ip_direct     0     0        0        0        0        0        0
   4   4   ip6_direct     0     0        0        0        0        0        0
   5   5   ip         0   136        0     2229        0    35988    38217
   5   5   igmp       0     0        0        0        0        0        0
   5   5   rtsock     0     0        0        0        0        0        0
   5   5   arp        0     1        0        0        0       27       27
   5   5   ether      0     0 12837078        0        0        0 12837078
   5   5   ip6        0     3        0        0        0     1155     1155
   5   5   ip_direct     0     0        0        0        0        0        0
   5   5   ip6_direct     0     0        0        0        0        0        0
   6   6   ip         0   165        0   133686        0  1893259  2026945
   6   6   igmp       0     0        0        0        0        0        0
   6   6   rtsock     0     0        0        0        0        0        0
   6   6   arp        0     0        0        0        0        0        0
   6   6   ether      0     0   379341        0        0        0   379341
   6   6   ip6        0     2        0        0        0     1175     1175
   6   6   ip_direct     0     0        0        0        0        0        0
   6   6   ip6_direct     0     0        0        0        0        0        0
   7   7   ip         0   448        0       29        0   224705   224734
   7   7   igmp       0     0        0        0        0        0        0
   7   7   rtsock     0     0        0        0        0        0        0
   7   7   arp        0     1        0        0        0       26       26
   7   7   ether      0     0      295        0        0        0      295
   7   7   ip6        0     2        0        0        0     1168     1168
   7   7   ip_direct     0     0        0        0        0        0        0
   7   7   ip6_direct     0     0        0        0        0        0        0
   8   8   ip         0     0        0        0        0        0        0
   8   8   igmp       0     0        0        0        0        0        0
   8   8   rtsock     0     0        0        0        0        0        0
   8   8   arp        0     1        0        0        0        4        4
   8   8   ether      0     0      469        0        0        0      469
   8   8   ip6        0     0        0        0        0        0        0
   8   8   ip_direct     0     0        0        0        0        0        0
   8   8   ip6_direct     0     0        0        0        0        0        0
   9   9   ip         0     0        0        0        0        0        0
   9   9   igmp       0     0        0        0        0        0        0
   9   9   rtsock     0     2        0        0        0      279      279
   9   9   arp        0     0        0        0        0        0        0
   9   9   ether      0     0      901        0        0        0      901
   9   9   ip6        0     0        0        0        0        0        0
   9   9   ip_direct     0     0        0        0        0        0        0
   9   9   ip6_direct     0     0        0        0        0        0        0
  10  10   ip         0     0        0        0        0        0        0
  10  10   igmp       0     0        0        0        0        0        0
  10  10   rtsock     0     0        0        0        0        0        0
  10  10   arp        0     0        0        0        0        0        0
  10  10   ether      0     0     5235        0        0        0     5235
  10  10   ip6        0     0        0        0        0        0        0
  10  10   ip_direct     0     0        0        0        0        0        0
  10  10   ip6_direct     0     0        0        0        0        0        0
  11  11   ip         0     0        0        0        0        0        0
  11  11   igmp       0     0        0        0        0        0        0
  11  11   rtsock     0     0        0        0        0        0        0
  11  11   arp        0     0        0        0        0        0        0
  11  11   ether      0     0        0        0        0        0        0
  11  11   ip6        0     0        0        0        0        0        0
  11  11   ip_direct     0     0        0        0        0        0        0
  11  11   ip6_direct     0     0        0        0        0        0        0
  12  12   ip         0     0        0        0        0        0        0
  12  12   igmp       0     0        0        0        0        0        0
  12  12   rtsock     0     0        0        0        0        0        0
  12  12   arp        0     0        0        0        0        0        0
  12  12   ether      0     0  1058473        0        0        0  1058473
  12  12   ip6        0     0        0        0        0        0        0
  12  12   ip_direct     0     0        0        0        0        0        0
  12  12   ip6_direct     0     0        0        0        0        0        0
  13  13   ip         0     0        0        0        0        0        0
  13  13   igmp       0     0        0        0        0        0        0
  13  13   rtsock     0     0        0        0        0        0        0
  13  13   arp        0     0        0        0        0        0        0
  13  13   ether      0     0        0        0        0        0        0
  13  13   ip6        0     0        0        0        0        0        0
  13  13   ip_direct     0     0        0        0        0        0        0
  13  13   ip6_direct     0     0        0        0        0        0        0
  14  14   ip         0     0        0        0        0        0        0
  14  14   igmp       0     0        0        0        0        0        0
  14  14   rtsock     0     0        0        0        0        0        0
  14  14   arp        0     1        0        0        0        8        8
  14  14   ether      0     0     5734        0        0        0     5734
  14  14   ip6        0     0        0        0        0        0        0
  14  14   ip_direct     0     0        0        0        0        0        0
  14  14   ip6_direct     0     0        0        0        0        0        0
  15  15   ip         0     0        0        0        0        0        0
  15  15   igmp       0     0        0        0        0        0        0
  15  15   rtsock     0     0        0        0        0        0        0
  15  15   arp        0     0        0        0        0        0        0
  15  15   ether      0     0        0        0        0        0        0
  15  15   ip6        0     0        0        0        0        0        0
  15  15   ip_direct     0     0        0        0        0        0        0
  15  15   ip6_direct     0     0        0        0        0        0        0


3

General Discussion / Re: Create peer for wireguard via API

« on: March 12, 2024, 06:29:04 pm »

https://forum.opnsense.org/index.php?topic=33177.0

that worked, thank you!

4

General Discussion / Re: Create peer for wireguard via API

« on: March 11, 2024, 08:06:58 pm »

No one knows?

5

General Discussion / Create peer for wireguard via API

« on: March 09, 2024, 08:43:16 pm »

Hi,
I'm struggling with creating peers via API for my wireguard. I've managed to build this curl:

Code: [Select]

curl -X POST \
  -d '{ "clients": [ { "enabled": true, "name": "apitest", "pubkey": "pub_key_value", "tunneladdress": "10.1.1.100/32", "serveraddress": "192.168.62.105", "serverport":51280, "keepalive": 25} ]}' \
  -H "Content-Type: application/json" \
  -k \
  -u "key:secret" \
  https://IP:443/api/wireguard/client/set
as a result of this curl im getting response:

Code: [Select]

{"result":"saved"}
The problem is in gui I don't see this user, any idea why it doesn't work?

6

24.1 Legacy Series / Kea DHCP doesn't provide default gateway

« on: February 29, 2024, 07:37:23 pm »

Hello,

I have a weird issue with Kea DHCP because I have subnets with pools and domain already and when I'm trying to obtain address via DHCP I'm getting correct address from my /29 subnet, I'm getting domain but I'm not getting default gateway. I did packet capture and in it I can see that all options are correct and present except option 3 which is router responsible for default gateway.

Any idea why it's happening and how can I fix it?

7

Hardware and Performance / Re: 10Gbit firewall hardware

« on: February 26, 2024, 01:14:25 pm »

At least a single thread performance of 3500 (cpubenchmark)

From where you got this value? Any link/reference of the source as it might be useful?

8

Hardware and Performance / Performance issue with xeon D-2733NT

« on: February 25, 2024, 06:32:51 pm »

Hi,
Starting with a little background: OPNsense is running as VM on proxmox, cpu 8threads, model set as host and all NICs (i350 (igb), x550(ix), and e823-c (ice (thats 25gb sfp28 ports)) are passed as PCI device so no virtualization on them. To the opnsense there is one more network device connected vtnet0 (linux bridge set in VirtIO).
My problem is when I set CPU governor for proxmox to power save mode I'm unable to cross 1.2Gb/s on iperf3 between ix port and vtenet despite cpu is around 20-25% of usage (it's purely routing only, no fw, no ips etc.), however when I set CPU governor to performance I'm able to max out my 2.5Gb/s desktop port and also CPU usage is lower(?) around 10%. I tried few different settings in tunatable unfortunately without any luck, is there any reason why 8 threads of modern cpu in powersave mode (it still draws around 35w at idle) is unable to achieve more than 1.2Gb/s? Also why would cpu usage drop despite pushing more data in performance mode?

9

General Discussion / VLAN, subnet and interface configurations

« on: February 22, 2024, 06:49:09 pm »

Hi,
I'm trying to setup my VLAN, subents and interface, but I feel like I'm missing something.
I have following interfaces:
WAN
LAN
OPT1
OPT2
OPT3
OPT4
OPT5
OPT6
and I have a Vlan 100 with address 10.100.100.1 where parent interface is LAN. How Can I assign this vlan to other interfaces like OPT1 and OPT2? On typical network device like Cisco or Arista I can easily create vlan interface and then assign vlan to any number of interfaces, but this fundamental function seems to be missing here.