High CPU usage after upgrade to 26.7.1_1

[mic]

Hello,

after updating to 26.7.1_1, I'm experiencing high CPU (Intel N355 and 16 GB RAM) usage and can't figure out what's causing it. Below are the outputs of some commands:

Code Select Expand

root@opnsense:~ # ps auxww | sort -rnk3 | head -20
root       11 433.4  0.0       0     128  -  RNL  15:02   46:37.01 [idle]
root    48076  64.7  0.1   38432   22836  -  R    15:11    0:02.71 /sbin/pfctl -t Bad_Nations -T replace -f /var/db/aliastables/Bad_Nations.txt
root    80207  40.7  3.3  692700  546892  -  S    15:11    0:18.02 /usr/local/bin/python3 /usr/local/opnsense/scripts/filter/update_tables.py --quick (python3.13)
root    62235  11.5  0.3   91024   55620  -  R    15:11    0:01.23 /usr/local/bin/php /usr/local/sbin/pluginctl -S
root    61976  11.5  0.3   91024   55836  -  R    15:11    0:01.26 /usr/local/bin/php /usr/local/sbin/pluginctl -S
root        0   8.6  0.0       0    3552  -  DLs  15:02    3:13.13 [kernel]
root    56231   6.2  0.1   26036   11860  -  S    15:05    0:05.23 /usr/local/sbin/lighttpd -f /usr/local/etc/lighttpd_webgui/lighttpd.conf
root    74333   5.0  0.1   25236   10520  -  S    15:05    0:09.69 sshd-session: root@pts/0 (sshd-session)
root    34690   4.7  1.0 1597168  157680  -  S    15:05    1:12.01 /usr/local/bin/crowdsec -c /usr/local/etc/crowdsec/config.yaml
root      616   4.0  0.3  131584   54020  -  S    15:02    0:42.93 /usr/local/bin/python3 /usr/local/opnsense/service/configd.py console (python3.13)
root    67491   3.0  0.3  211860   52252  -  S    15:06    0:01.50 /usr/local/bin/php-cgi
root    56864   1.2  0.3  211860   50000  -  S    15:05    0:02.82 /usr/local/bin/php-cgi
root    57188   0.6  0.3  211860   49964  -  S    15:05    0:03.13 /usr/local/bin/php-cgi
root    84395   0.5  0.3  206740   48388  -  S    15:07    0:00.30 /usr/local/bin/php-cgi
root    57090   0.5  0.3  206740   45532  -  S    15:05    0:01.46 /usr/local/bin/php-cgi
root    84354   0.4  0.3  211860   49000  -  S    15:07    0:02.18 /usr/local/bin/php-cgi
root    67847   0.4  0.3  218004   54440  -  S    15:06    0:01.57 /usr/local/bin/php-cgi
root    56733   0.4  0.3  206884   47576  -  S    15:05    0:02.27 /usr/local/bin/php-cgi
root    10892   0.3  0.1   48048   16636  -  Ss   15:04    0:04.21 /usr/local/sbin/syslog-ng -f /usr/local/etc/syslog-ng.conf -p /var/run/syslog-ng.pid
unbound 85591   0.2  0.4  140880   72956  -  Is   15:05    0:02.58 /usr/local/sbin/unbound -c /var/unbound/unbound.conf


Code Select Expand

root@opnsense:~ # vmstat -i
interrupt                          total       rate
irq4: uart0                          758          1
cpu0:timer                        282474        480
cpu1:timer                        297565        505
cpu2:timer                        261579        444
cpu3:timer                        270483        459
cpu4:timer                        289978        493
cpu5:timer                        283443        481
cpu6:timer                        306429        520
cpu7:timer                        275806        468
irq129: xhci1                        642          1
irq148: igc0:rxq0                   1191          2
irq149: igc0:rxq1                   3331          6
irq150: igc0:rxq2                  12971         22
irq151: igc0:rxq3                   1095          2
irq152: igc0:aq                        2          0
irq153: igc1:rxq0                   1052          2
irq154: igc1:rxq1                    564          1
irq155: igc1:rxq2                    972          2
irq156: igc1:rxq3                    407          1
irq157: igc1:aq                        2          0
irq163: igc3:rxq0                    240          0
irq164: igc3:rxq1                    283          0
irq165: igc3:rxq2                    133          0
irq166: igc3:rxq3                    138          0
irq167: igc3:aq                        2          0
irq168: nvme0:admin                   25          0
irq169: nvme0:io0                   2130          4
irq170: nvme0:io1                   2126          4
irq171: nvme0:io2                   2022          3
irq172: nvme0:io3                   1757          3
irq173: nvme0:io4                   1967          3
irq174: nvme0:io5                   2223          4
irq175: nvme0:io6                   1872          3
irq176: nvme0:io7                   1902          3
irq177: hdac0                         15          0


Code Select Expand

root@opnsense:~ # systat -vmstat 1
    1 users    Load  3.63  3.93  2.36                  Aug 10 15:12:48
   Mem usage:  24%Phy  9%Kmem                           VN PAGER   SWAP PAGER
Mem:      REAL           VIRTUAL                        in   out     in   out
       Tot   Share     Tot    Share     Free   count     
Act  1955M    170M   4616G     307M   11954M   pages
All  1959M    174M   4616G     360M                       ioflt  Interrupts
Proc:                                                3388 cow    2998 total
  r   p   d    s   w   Csw  Trp  Sys  Int  Sof  Flt   11K zfod        uart0 4
  5          138        2K  15K  12K   50    6  16K       ozfod   405 cpu0:timer
                                                         %ozfod   318 cpu1:timer
 8.8%Sys   0.0%Intr 17.8%User  0.0%Nice 73.4%Idle         daefr   233 cpu2:timer
|    |    |    |    |    |    |    |    |    |    |   15K prcfr   406 cpu3:timer
====>>>>>>>>>                                         33K totfr   426 cpu4:timer
                                           dtbuf          react   346 cpu5:timer
Namei     Name-cache   Dir-cache    573310 maxvn          pdwak   324 cpu6:timer
   Calls    hits   %    hits   %     48156 numvn      584 pdpgs   490 cpu7:timer
    7745    7727 100                 24948 frevn        7 intrn       xhci1 129
                                                    1573M wire        igc0:rxq0
Disks  nda0 pass0                                   1358M act       7 igc0:rxq1
KB/t   0.00  0.00                                    798M inact    42 igc0:rxq2
tps       0     0                                       0 laund       igc0:rxq3
MB/s   0.00  0.00                                     12G free        igc0:aq
%busy     0     0                                     57K buf       1 igc1:rxq0
                                                                      igc1:rxq1
                                                                      igc1:rxq2
                                                                      igc1:rxq3
                                                                      igc1:aq
                                                                      igc3:rxq0
                                                                      igc3:rxq1
                                                                      igc3:rxq2
                                                                      igc3:rxq3
                                                                      igc3:aq
                                                                      nvme0:admi
                                                                      nvme0:io0
                                                                      nvme0:io1
                                                                      nvme0:io2
                                                                      nvme0:io3
                                                                      nvme0:io4
                                                                      nvme0:io5
                                                                      nvme0:io6
                                                                      nvme0:io7
                                                                      hdac0 177


Code Select Expand

root@opnsense:~ # gstat -p                                     
dT: 1.002s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    0      0      0      0  0.000      0      0  0.000    0.0| nda0


Code Select Expand

root@opnsense:~ # top -m io
last pid: 56452;  load averages:    4.44,    4.22,    2.66
76 processes:  4 running, 72 sleeping
CPU: 19.4% user,  0.0% nice,  9.2% system,  0.0% interrupt, 71.4% idle
Mem: 1362M Active, 823M Inact, 1577M Wired, 56K Buf, 12G Free
ARC: 572M Total, 258M MFU, 267M MRU, 8256K Anon, 3092K Header, 36M Other
     468M Compressed, 910M Uncompressed, 1.94:1 Ratio
Swap: 8192M Total, 8192M Free

  PID USERNAME     VCSW  IVCSW   READ  WRITE  FAULT  TOTAL PERCENT COMMAND
  616 root         125      2      0      0      0      0   0.00% python3.13
57299 root           6      2      0      0      0      0   0.00% php-cgi
84516 root           2      1      0      0      0      0   0.00% php-cgi
67739 root           4      0      0      0      0      0   0.00% php-cgi
34690 root         563      1      0      0      0      0   0.00% crowdsec
84354 root           3      2      0      0      0      0   0.00% php-cgi
10892 root          61      1      0     12      0     12  57.14% syslog-ng
84395 root           3      0      0      1      0      1   4.76% php-cgi
67847 root           3      0      0      0      0      0   0.00% php-cgi
57361 root          12      0      0      0      0      0   0.00% php
25315 root          10      0      0      0      0      0   0.00% python3.13
93597 root           2      0      0      0      0      0   0.00% top
56231 root          11      7      0      0      0      0   0.00% lighttpd
51724 hostd         29      0      0      8      0      8  38.10% hostwatch
87391 root           4      0      0      0      0      0   0.00% python3.13
44522 root           3      0      0      0      0      0   0.00% zenarmor-agent-supe
56864 root           6      0      0      0      0      0   0.00% php-cgi
24927 root           4      0      0      0      0      0   0.00% python3.13
87964 root           4      0      0      0      0      0   0.00% iostat
79913 root           8      0      0      0      0      0   0.00% powerd
74333 root           2      0      0      0      0      0   0.00% sshd-session
56968 root           4      0      0      0      0      0   0.00% php-cgi
59359 root           2      0      0      0      0      0   0.00% ntpd
16075 root           2      0      0      0      0      0   0.00% kea-dhcp4
58289 root           2      0      0      0      0      0   0.00% filterlog
56697 clamav         0      0      0      0      0      0   0.00% clamd
  608 root           0      0      0      0      0      0   0.00% python3.13
67404 root           0      0      0      0      0      0   0.00% php-cgi
57188 root           0      0      0      0      0      0   0.00% php-cgi
67630 root           0      0      0      0      0      0   0.00% php-cgi
41184 root           0      0      0      0      0      0   0.00% crowdsec-firewall-b
56733 root           0      0      0      0      0      0   0.00% php-cgi
67491 root           0      0      0      0      0      0   0.00% php-cgi
56701 root           0      0      0      0      0      0   0.00% php-cgi
85591 unbound        0      0      0      0      0      0   0.00% unbound
57090 root           0      0      0      0      0      0   0.00% php-cgi
57279 root           0      0      0      0      0      0   0.00% php-cgi
84740 root           0      0      0      0      0      0   0.00% php-cgi
57530 root           0      0      0      0      0      0   0.00% php-cgi
56300 root           0      0      0      0      0      0   0.00% php-cgi
56540 root           0      0      0      0      0      0   0.00% php-cgi
56432 root           0      0      0      0      0      0   0.00% php-cgi
84196 root           0      0      0      0      0      0   0.00% php-cgi
67034 root           0      0      0      0      0      0   0.00% php-cgi
56024 root           1      3      0      0      0      0   0.00% php
79031 root           0      0      0      0      0      0   0.00% csh
56392 root           1      2      0      0      0      0   0.00% php
56452 root           1      2      0      0      0      0   0.00% php
 4000 root           0      0      0      0      0      0   0.00% devd
71193 root           0      0      0      0      0      0   0.00% sshd-session
43625 root           0      0      0      0      0      0   0.00% cron
28841 _dhcp          0      0      0      0      0      0   0.00% dhclient

Can you help me, please?

Thank you

PS: I use ipinfo as GEOIP
PS2: I've noticed, using the top command, that Python 3.13 often takes up over 90% of the CPU (WCPU column in top).
PS3: I've noticed also that "/usr/local/bin/python3 /usr/local/opnsense/scripts/filter/update_tables.py --quick" is using high percent of CUP

[OPNenthu]

PS2: I've noticed, using the top command, that Python 3.13 often takes up over 90% of the CPU (WCPU column in top).

Momentarily or constant?  Asking because python is used for several things in OPNsense and it's normal (in my experience, at least) to see it burst when a parent process or daemon is working.

If it's constantly hogging the CPU then try to narrow down the particular calling process.  Get the python PID and do:

$ ps -p <pid> -o pid,ppid,user,command

That might get some basic clues.  If lucky the command line arguments will reveal it.

Code Select Expand

root    48076  64.7  0.1   38432   22836  -  R    15:11    0:02.71 /sbin/pfctl -t Bad_Nations -T replace -f /var/db/aliastables/Bad_Nations.txt


As for the GeoIP stuff, sorry I only have a joke to offer :)

If you rename "Bad_Nations" to "My_Enemy_States" it might make things a little less ambiguous for your poor CPU!