High CPU usage after upgrade to 26.7.1_1

Started by mic, Today at 03:29:43 PM

Previous topic - Next topic
Today at 03:29:43 PM Last Edit: Today at 04:34:50 PM by mic
Hello,

after updating to 26.7.1_1, I'm experiencing high CPU (Intel N355 and 16 GB RAM) usage and can't figure out what's causing it. Below are the outputs of some commands:

root@opnsense:~ # ps auxww | sort -rnk3 | head -20
root       11 433.4  0.0       0     128  -  RNL  15:02   46:37.01 [idle]
root    48076  64.7  0.1   38432   22836  -  R    15:11    0:02.71 /sbin/pfctl -t Bad_Nations -T replace -f /var/db/aliastables/Bad_Nations.txt
root    80207  40.7  3.3  692700  546892  -  S    15:11    0:18.02 /usr/local/bin/python3 /usr/local/opnsense/scripts/filter/update_tables.py --quick (python3.13)
root    62235  11.5  0.3   91024   55620  -  R    15:11    0:01.23 /usr/local/bin/php /usr/local/sbin/pluginctl -S
root    61976  11.5  0.3   91024   55836  -  R    15:11    0:01.26 /usr/local/bin/php /usr/local/sbin/pluginctl -S
root        0   8.6  0.0       0    3552  -  DLs  15:02    3:13.13 [kernel]
root    56231   6.2  0.1   26036   11860  -  S    15:05    0:05.23 /usr/local/sbin/lighttpd -f /usr/local/etc/lighttpd_webgui/lighttpd.conf
root    74333   5.0  0.1   25236   10520  -  S    15:05    0:09.69 sshd-session: root@pts/0 (sshd-session)
root    34690   4.7  1.0 1597168  157680  -  S    15:05    1:12.01 /usr/local/bin/crowdsec -c /usr/local/etc/crowdsec/config.yaml
root      616   4.0  0.3  131584   54020  -  S    15:02    0:42.93 /usr/local/bin/python3 /usr/local/opnsense/service/configd.py console (python3.13)
root    67491   3.0  0.3  211860   52252  -  S    15:06    0:01.50 /usr/local/bin/php-cgi
root    56864   1.2  0.3  211860   50000  -  S    15:05    0:02.82 /usr/local/bin/php-cgi
root    57188   0.6  0.3  211860   49964  -  S    15:05    0:03.13 /usr/local/bin/php-cgi
root    84395   0.5  0.3  206740   48388  -  S    15:07    0:00.30 /usr/local/bin/php-cgi
root    57090   0.5  0.3  206740   45532  -  S    15:05    0:01.46 /usr/local/bin/php-cgi
root    84354   0.4  0.3  211860   49000  -  S    15:07    0:02.18 /usr/local/bin/php-cgi
root    67847   0.4  0.3  218004   54440  -  S    15:06    0:01.57 /usr/local/bin/php-cgi
root    56733   0.4  0.3  206884   47576  -  S    15:05    0:02.27 /usr/local/bin/php-cgi
root    10892   0.3  0.1   48048   16636  -  Ss   15:04    0:04.21 /usr/local/sbin/syslog-ng -f /usr/local/etc/syslog-ng.conf -p /var/run/syslog-ng.pid
unbound 85591   0.2  0.4  140880   72956  -  Is   15:05    0:02.58 /usr/local/sbin/unbound -c /var/unbound/unbound.conf

root@opnsense:~ # vmstat -i
interrupt                          total       rate
irq4: uart0                          758          1
cpu0:timer                        282474        480
cpu1:timer                        297565        505
cpu2:timer                        261579        444
cpu3:timer                        270483        459
cpu4:timer                        289978        493
cpu5:timer                        283443        481
cpu6:timer                        306429        520
cpu7:timer                        275806        468
irq129: xhci1                        642          1
irq148: igc0:rxq0                   1191          2
irq149: igc0:rxq1                   3331          6
irq150: igc0:rxq2                  12971         22
irq151: igc0:rxq3                   1095          2
irq152: igc0:aq                        2          0
irq153: igc1:rxq0                   1052          2
irq154: igc1:rxq1                    564          1
irq155: igc1:rxq2                    972          2
irq156: igc1:rxq3                    407          1
irq157: igc1:aq                        2          0
irq163: igc3:rxq0                    240          0
irq164: igc3:rxq1                    283          0
irq165: igc3:rxq2                    133          0
irq166: igc3:rxq3                    138          0
irq167: igc3:aq                        2          0
irq168: nvme0:admin                   25          0
irq169: nvme0:io0                   2130          4
irq170: nvme0:io1                   2126          4
irq171: nvme0:io2                   2022          3
irq172: nvme0:io3                   1757          3
irq173: nvme0:io4                   1967          3
irq174: nvme0:io5                   2223          4
irq175: nvme0:io6                   1872          3
irq176: nvme0:io7                   1902          3
irq177: hdac0                         15          0

root@opnsense:~ # systat -vmstat 1
    1 users    Load  3.63  3.93  2.36                  Aug 10 15:12:48
   Mem usage:  24%Phy  9%Kmem                           VN PAGER   SWAP PAGER
Mem:      REAL           VIRTUAL                        in   out     in   out
       Tot   Share     Tot    Share     Free   count     
Act  1955M    170M   4616G     307M   11954M   pages
All  1959M    174M   4616G     360M                       ioflt  Interrupts
Proc:                                                3388 cow    2998 total
  r   p   d    s   w   Csw  Trp  Sys  Int  Sof  Flt   11K zfod        uart0 4
  5          138        2K  15K  12K   50    6  16K       ozfod   405 cpu0:timer
                                                         %ozfod   318 cpu1:timer
 8.8%Sys   0.0%Intr 17.8%User  0.0%Nice 73.4%Idle         daefr   233 cpu2:timer
|    |    |    |    |    |    |    |    |    |    |   15K prcfr   406 cpu3:timer
====>>>>>>>>>                                         33K totfr   426 cpu4:timer
                                           dtbuf          react   346 cpu5:timer
Namei     Name-cache   Dir-cache    573310 maxvn          pdwak   324 cpu6:timer
   Calls    hits   %    hits   %     48156 numvn      584 pdpgs   490 cpu7:timer
    7745    7727 100                 24948 frevn        7 intrn       xhci1 129
                                                    1573M wire        igc0:rxq0
Disks  nda0 pass0                                   1358M act       7 igc0:rxq1
KB/t   0.00  0.00                                    798M inact    42 igc0:rxq2
tps       0     0                                       0 laund       igc0:rxq3
MB/s   0.00  0.00                                     12G free        igc0:aq
%busy     0     0                                     57K buf       1 igc1:rxq0
                                                                      igc1:rxq1
                                                                      igc1:rxq2
                                                                      igc1:rxq3
                                                                      igc1:aq
                                                                      igc3:rxq0
                                                                      igc3:rxq1
                                                                      igc3:rxq2
                                                                      igc3:rxq3
                                                                      igc3:aq
                                                                      nvme0:admi
                                                                      nvme0:io0
                                                                      nvme0:io1
                                                                      nvme0:io2
                                                                      nvme0:io3
                                                                      nvme0:io4
                                                                      nvme0:io5
                                                                      nvme0:io6
                                                                      nvme0:io7
                                                                      hdac0 177


root@opnsense:~ # gstat -p                                     
dT: 1.002s  w: 1.000s
 L(q)  ops/s    r/s   kBps   ms/r    w/s   kBps   ms/w   %busy Name
    0      0      0      0  0.000      0      0  0.000    0.0| nda0

root@opnsense:~ # top -m io
last pid: 56452;  load averages:    4.44,    4.22,    2.66
76 processes:  4 running, 72 sleeping
CPU: 19.4% user,  0.0% nice,  9.2% system,  0.0% interrupt, 71.4% idle
Mem: 1362M Active, 823M Inact, 1577M Wired, 56K Buf, 12G Free
ARC: 572M Total, 258M MFU, 267M MRU, 8256K Anon, 3092K Header, 36M Other
     468M Compressed, 910M Uncompressed, 1.94:1 Ratio
Swap: 8192M Total, 8192M Free

  PID USERNAME     VCSW  IVCSW   READ  WRITE  FAULT  TOTAL PERCENT COMMAND
  616 root         125      2      0      0      0      0   0.00% python3.13
57299 root           6      2      0      0      0      0   0.00% php-cgi
84516 root           2      1      0      0      0      0   0.00% php-cgi
67739 root           4      0      0      0      0      0   0.00% php-cgi
34690 root         563      1      0      0      0      0   0.00% crowdsec
84354 root           3      2      0      0      0      0   0.00% php-cgi
10892 root          61      1      0     12      0     12  57.14% syslog-ng
84395 root           3      0      0      1      0      1   4.76% php-cgi
67847 root           3      0      0      0      0      0   0.00% php-cgi
57361 root          12      0      0      0      0      0   0.00% php
25315 root          10      0      0      0      0      0   0.00% python3.13
93597 root           2      0      0      0      0      0   0.00% top
56231 root          11      7      0      0      0      0   0.00% lighttpd
51724 hostd         29      0      0      8      0      8  38.10% hostwatch
87391 root           4      0      0      0      0      0   0.00% python3.13
44522 root           3      0      0      0      0      0   0.00% zenarmor-agent-supe
56864 root           6      0      0      0      0      0   0.00% php-cgi
24927 root           4      0      0      0      0      0   0.00% python3.13
87964 root           4      0      0      0      0      0   0.00% iostat
79913 root           8      0      0      0      0      0   0.00% powerd
74333 root           2      0      0      0      0      0   0.00% sshd-session
56968 root           4      0      0      0      0      0   0.00% php-cgi
59359 root           2      0      0      0      0      0   0.00% ntpd
16075 root           2      0      0      0      0      0   0.00% kea-dhcp4
58289 root           2      0      0      0      0      0   0.00% filterlog
56697 clamav         0      0      0      0      0      0   0.00% clamd
  608 root           0      0      0      0      0      0   0.00% python3.13
67404 root           0      0      0      0      0      0   0.00% php-cgi
57188 root           0      0      0      0      0      0   0.00% php-cgi
67630 root           0      0      0      0      0      0   0.00% php-cgi
41184 root           0      0      0      0      0      0   0.00% crowdsec-firewall-b
56733 root           0      0      0      0      0      0   0.00% php-cgi
67491 root           0      0      0      0      0      0   0.00% php-cgi
56701 root           0      0      0      0      0      0   0.00% php-cgi
85591 unbound        0      0      0      0      0      0   0.00% unbound
57090 root           0      0      0      0      0      0   0.00% php-cgi
57279 root           0      0      0      0      0      0   0.00% php-cgi
84740 root           0      0      0      0      0      0   0.00% php-cgi
57530 root           0      0      0      0      0      0   0.00% php-cgi
56300 root           0      0      0      0      0      0   0.00% php-cgi
56540 root           0      0      0      0      0      0   0.00% php-cgi
56432 root           0      0      0      0      0      0   0.00% php-cgi
84196 root           0      0      0      0      0      0   0.00% php-cgi
67034 root           0      0      0      0      0      0   0.00% php-cgi
56024 root           1      3      0      0      0      0   0.00% php
79031 root           0      0      0      0      0      0   0.00% csh
56392 root           1      2      0      0      0      0   0.00% php
56452 root           1      2      0      0      0      0   0.00% php
 4000 root           0      0      0      0      0      0   0.00% devd
71193 root           0      0      0      0      0      0   0.00% sshd-session
43625 root           0      0      0      0      0      0   0.00% cron
28841 _dhcp          0      0      0      0      0      0   0.00% dhclient

Can you help me, please?

Thank you

PS: I use ipinfo as GEOIP
PS2: I've noticed, using the top command, that Python 3.13 often takes up over 90% of the CPU (WCPU column in top).
PS3: I've noticed also that "/usr/local/bin/python3 /usr/local/opnsense/scripts/filter/update_tables.py --quick" is using high percent of CUP