Dnsmasq stops after swap_pager: out of swap space

[Monviech (Cedrik)]

What are those cc interfaces? Looks kinda weird.

What NIC hardware is that? The Chelsio T6225-CR?

Ive never seen that used ever, maybe there is some weird sideffect, especially if netmap is also running on them.

Can you try to deactivate any netmap drivers that attach to these interfaces by disabling zenarmor/intrusion detection and see if dnsmasq still inflates RAM?

[dmurphy]

Some extra data points on my current system

Thank you!  Here's my dnsmasq config; I removed the static reservations since they are repetitive and I didn't feel like masking all of the MAC addresses ... that's just pure laziness on my part.

Nothing crazy in here I don't think!

EDIT: Oh, FYI, the hardware is a DEC2752, vanilla standard ...  the internal interfaces are an 802.3ad active-active LAGG across ax0/ax1;  WAN is on igc0.

Code Select Expand

# DO NOT EDIT THIS FILE -- OPNsense auto-generated file
#

rebind-localhost-ok
stop-dns-rebind

port=53053

# If you want dnsmasq to listen for DHCP and DNS requests only on
# specified interfaces (and the loopback) give the name of the
# interface (eg eth0) here.
# Repeat the line for more than one interface.
interface=lagg0_vlan77,lagg0_vlan99,lagg0,lagg0_vlan91



dhcp-fqdn
domain=home
# This tells dnsmasq that a domain is local and it may answer queries from /etc/hosts
# or DHCP but should never forward queries on that domain to any upstream servers.
local=/home/
local=/dmz/
local=/winhome/
local=/guest/




# On systems which support it, dnsmasq binds the wildcard address,
# even when it is listening on only some interfaces. It then discards
# requests that it shouldn't reply to. This has the advantage of
# working even when interfaces come and go and change address. If you
# want dnsmasq to really bind only the interfaces it is listening on,
# uncomment this option. About the only time you may need this is when
# running another nameserver on the same machine.
bind-interfaces




# Never forward addresses in the non-routed address spaces.
bogus-priv

server=/plex.direct/8.8.8.8
rebind-domain-ok=/plex.direct/

# By  default,  dnsmasq  will  send queries to any of the upstream
# servers it knows about and tries to favour servers to are  known
# to  be  up.  Uncommenting this forces dnsmasq to try each query
# with  each  server  strictly  in  the  order  they   appear   in
# /etc/resolv.conf
strict-order

# Never forward to servers in /etc/resolv.conf
no-resolv






# host entries flushed via dnsmasq_watcher.py [isc] and a dump of the static reservations
addn-hosts=/var/etc/dnsmasq-hosts
addn-hosts=/var/etc/dnsmasq-leases

dns-forward-max=5000
cache-size=10000
local-ttl=1

conf-dir=/usr/local/etc/dnsmasq.conf.d,*.conf

dhcp-range=tag:lagg0_vlan77,192.168.77.50,192.168.77.200,255.255.255.0,86400

domain=dmz,lagg0_vlan77
dhcp-range=tag:lagg0_vlan91,192.168.91.20,192.168.91.50,255.255.255.0,86400

domain=winhome,lagg0_vlan91
dhcp-range=tag:lagg0_vlan99,192.168.99.100,192.168.99.190,255.255.255.0,86400

domain=guest,lagg0_vlan99
dhcp-range=tag:lagg0,192.168.0.100,192.168.0.245,255.255.252.0,86400

domain=home,lagg0
dhcp-range=tag:lagg0,192.168.1.100,192.168.1.250,255.255.252.0,86400

domain=home,lagg0
dhcp-range=tag:lagg0,::,constructor:lagg0,ra-names,ra-stateless,64,86400

domain=home,lagg0
ra-param=lagg0,60,1200

dhcp-range=tag:lagg0_vlan77,::,constructor:lagg0_vlan77,ra-stateless,64,86400

domain=dmz,lagg0_vlan77
ra-param=lagg0_vlan77,60,1200

dhcp-range=tag:lagg0_vlan91,::,constructor:lagg0_vlan91,ra-names,ra-stateless,64,86400

domain=winhome,lagg0_vlan91
ra-param=lagg0_vlan91,60,1200

dhcp-range=tag:lagg0_vlan99,::,constructor:lagg0_vlan99,ra-stateless,64,86400

domain=guest,lagg0_vlan99
ra-param=lagg0_vlan99,60,1200


===== 8< 24 static reservations, all in the same format ... >8 =====
dhcp-host=08:00:20:00:00:00,192.168.0.3,sun-microsystems-forver
===== 8< 24 static reservations, all in the same format ... >8 =====

dhcp-option-force=tag:lagg0_vlan99,3,192.168.99.1
dhcp-option-force=tag:lagg0_vlan99,6,192.168.99.1
dhcp-option-force=tag:lagg0_vlan91,3,192.168.91.1
dhcp-option-force=tag:lagg0_vlan91,6,208.67.222.222,208.67.220.200
dhcp-option-force=tag:lagg0,1,255.255.252.0
dhcp-option-force=tag:lagg0,6,192.168.0.1
dhcp-option-force=tag:lagg0,3,192.168.0.1

# default dns mapped to this server (0.0.0.0)
dhcp-option=6,0.0.0.0


no-ident

Looks like your dnsmasq has a large memory footprint as well - keep an eye on it and see if it continues to grow.

I saw the same post about the dnsmasq 2.92RC3 but didn't have time last night to dig into the patch; seems it's related to parsing some static host files which "shouldn't" be the issue here, but who knows!  Worth checking out.

Thanks so much for digging into this ... thankfully the hourly restart is getting me through but it's certainly not ideal.

[Monviech (Cedrik)]

Nothing weird I can see in the config.

All features I have tested and ran for months without crashes.

Strange.

I could only recommend slowly disabling features until it doesnt happen anymore.

E.g. first disable RA/DHCPv6...check, then DHCPv4... check

That could get to the bottom of this.


------

Also since the known memory leak seems to refer to reading hostnames from files, maybe check if dnsmasq_watcher.py is running?

I refer to this part

# host entries flushed via dnsmasq_watcher.py [isc] and a dump of the static reservations
addn-hosts=/var/etc/dnsmasq-hosts
addn-hosts=/var/etc/dnsmasq-leases

[hina]

Yes that cc0/cc1 interface belongs to Chelsio T6225-CR.

I'll test by disabling netmap features first, then ra/dhcpv6 then finally dhcpv4.

[hina]

Just disabled netmap, haven't restarted dnsmasq

top

Code Select Expand

last pid: 95284;  load averages:  0.37,  0.30,  0.27                                           up 16+13:49:42  00:01:42
93 processes:  1 running, 92 sleeping
CPU:  0.1% user,  0.0% nice,  0.2% system,  0.3% interrupt, 99.4% idle
Mem: 1052M Active, 4761M Inact, 120M Laundry, 4839M Wired, 216K Buf, 4928M Free
ARC: 1538M Total, 197M MFU, 1095M MRU, 5164K Anon, 19M Header, 222M Other
     1128M Compressed, 3861M Uncompressed, 3.42:1 Ratio
Swap: 8192M Total, 60M Used, 8132M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE    C   TIME    WCPU COMMAND
41424 root          1  20    0    79M    34M nanslp   4 142:17   0.60% php
75839 root          1  20    0    15M  3224K CPU3     3   0:00   0.07% top
 5523 root          3  20    0    49M    12M kqread   4  21:57   0.07% syslog-ng
28181 nobody        1  20    0  4074M  3982M select   5   4:58   0.06% dnsmasq
41303 root          1  20    0    14M  2024K bpf      1   2:23   0.04% filterlog
31704 _lldpd        1  20    0    87M  1780K kqread   4   2:58   0.03% lldpd
38714 unbound       6  20    0  1402M  1138M kqread   0   0:14   0.01% unbound
60766 root          1  20    0    27M    13M select   0   0:36   0.01% python3.11
60850 root          1  20    0    28M    14M select   0   0:37   0.01% python3.11
51227 root          1  20    0    13M  1324K select   4   5:01   0.01% powerd
78208 root          1  20    0    53M    32M nanslp   4 295:39   0.01% python3.11
80470 root          4  68    0    14M  1520K uwait    4   1:50   0.01% dpinger
94062 _flowd        1  20    0    13M  1704K select   4   1:07   0.01% flowd
29146 root          1  20    0    20M  7876K select   1   0:00   0.01% sshd-session
37372 root          4  68    0    14M  2112K uwait    3   0:27   0.00% dpinger
52530 root          1  20    0    23M  8904K kqread   1   0:00   0.00% lighttpd
96675 root          1  20    0    15M  1884K kqread   5   0:32   0.00% lighttpd
68788 nobody        1  20    0    13M   112K sbwait   2   0:22   0.00% samplicate
44021 root          1  20    0    14M  2300K select   2   6:29   0.00% miniupnpd
44825 root          3  31    0   100M    46M accept   5   1:26   0.00% python3.11
16355 root          1  20    0    14M  1648K select   5   0:48   0.00% rtsold

ps -faxdvvv

Code Select Expand

  PID STAT         TIME  SL  RE PAGEIN     VSZ     RSS LIM TSIZ  %CPU %MEM COMMAND
    0 DLs      67:03.08   9 127      0       0    1920   -    0   0.0  0.0 [kernel]
    1 ILs       0:00.12  89 127     36   12324     740   -  652   0.0  0.0 - /sbin/init
38714 Ss        0:14.34   3 127      0 1435984 1165016   - 1028   0.0  7.0 |-- /usr/local/sbin/unbound -c /var/unbound/
20345 Is        0:00.03 127 127     68   20316    5412   -  312   0.0  0.0 |-- sshd: /usr/local/sbin/sshd [listener] 0
29071 Is        0:00.02 127 127      2   20868    7572   -  712   0.0  0.0 | `-- sshd-session: root [priv] (sshd-sessio
29146 S         0:00.05   0 127      0   20868    7876   -  712   0.0  0.0 |   `-- sshd-session: root@pts/0 (sshd-sessi
29168 Is        0:00.00 127 127      0   14312    2264   -  120   0.0  0.0 |     `-- /bin/sh /usr/local/sbin/opnsense-s
30919 S         0:00.01   0 127      6   17352    3624   -  324   0.0  0.0 |       `-- /bin/csh
50468 R+        0:00.00 127   0      0   14384    2664   -   24   0.0  0.0 |         `-- ps -faxdvvv
28181 S         4:58.02   0 127      0 4171616 4077972   -  312   0.0 24.7 |-- /usr/local/sbin/dnsmasq -x /var/run/dnsm
79321 S         0:01.76  10 127     92   26684    2448   -  220   0.0  0.0 |-- /usr/local/sbin/chronyd -f /usr/local/et
79399 I         0:00.10 127 127      0   22200     336   -  220   0.0  0.0 | `-- /usr/local/sbin/chronyd -f /usr/local/
52530 S         0:00.05   0 127      0   23852    8904   -  220   0.0  0.1 |-- /usr/local/sbin/lighttpd -f /usr/local/e
52655 Is        0:00.04 127 127      0  189040   30192   - 2928   0.0  0.2 | |-- /usr/local/bin/php-cgi
52966 I         0:00.07  29 127      0  192688   36804   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53150 I         0:00.04  81 127      0  196916   36200   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53486 I         0:00.00 127 127      0  189040   30196   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53781 I         0:00.00 127 127      0  189040   30196   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
54113 I         0:00.00 127 127      0  189040   30196   - 2928   0.0  0.2 | | `-- /usr/local/bin/php-cgi
52686 Is        0:00.03 127 127      0  189040   30216   - 2928   0.0  0.2 | |-- /usr/local/bin/php-cgi
52943 I         0:00.05  29 127      0  192688   36628   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53279 I         0:00.03  50 127      0  192688   35868   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53521 I         0:00.00 127 127      0  189040   30216   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53787 I         0:00.00 127 127      0  189040   30216   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
54139 I         0:00.00 127 127      0  189040   30216   - 2928   0.0  0.2 | | `-- /usr/local/bin/php-cgi
52783 Is        0:00.03 127 127      0  189040   30184   - 2928   0.0  0.2 | |-- /usr/local/bin/php-cgi
53026 I         0:00.07 127 127     14  196784   39040   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53474 I         0:00.13  28 127      2  196848   39140   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53682 I         0:00.12  29 127     13  196784   38716   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
54064 I         0:00.06 127 127     13  192688   37560   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
54374 I         0:00.05 127 127     13  192688   37544   - 2928   0.0  0.2 | | `-- /usr/local/bin/php-cgi
52838 Is        0:00.03 127 127      0  189040   30220   - 2928   0.0  0.2 | |-- /usr/local/bin/php-cgi
53377 I         0:00.17 127 127     15  196848   39148   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53625 I         0:00.14 105 127     32  196784   39572   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
53915 I         0:00.14 104 127     28  192688   37760   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
54275 I         0:00.17  29 127     26  196848   39632   - 2928   0.0  0.2 | | |-- /usr/local/bin/php-cgi
54478 I         0:00.12  28 127     26  196784   38488   - 2928   0.0  0.2 | | `-- /usr/local/bin/php-cgi
71038 Is        0:00.02 103 103      0  189040   30208   - 2928   0.0  0.2 | `-- /usr/local/bin/php-cgi
71147 S         0:00.14  14 103      0  192688   36804   - 2928   0.0  0.2 |   |-- /usr/local/bin/php-cgi
71295 I         0:00.02 103 103      0  192688   33996   - 2928   0.0  0.2 |   |-- /usr/local/bin/php-cgi
71406 I         0:00.01 103 103      0  192688   33504   - 2928   0.0  0.2 |   |-- /usr/local/bin/php-cgi
71446 S         0:00.12  14 103      0  192688   36508   - 2928   0.0  0.2 |   |-- /usr/local/bin/php-cgi
71479 I         0:00.00 103 103      0  189040   30208   - 2928   0.0  0.2 |   `-- /usr/local/bin/php-cgi
96675 S         0:32.35   0 127      0   15656    1884   -  220   0.0  0.0 |-- /usr/local/sbin/lighttpd -f /var/etc/lig
11809 Is        0:00.04 127 127      2   14076    1648   -   64   0.0  0.0 |-- dhclient: system.syslog (dhclient)
12798 Is        0:00.11 127 127     11   14076    1708   -   64   0.0  0.0 |-- dhclient: cc0 [priv] (dhclient)
15763 SCs       0:09.29   1 127     62   14080    1800   -   64   0.0  0.0 |-- dhclient: cc0 (dhclient)
31364 Is        0:00.62 127 127      1   38832     832   -  108   0.0  0.0 |-- lldpd: monitor. (lldpd)
31704 S         2:58.16   0 127     21   89008    1780   -  108   0.0  0.0 | `-- lldpd: no neighbor. (lldpd)
44021 Ss        6:28.59   1 127      0   14120    2300   -  116   0.0  0.0 |-- /usr/local/sbin/miniupnpd -f /var/etc/mi
16651 Is        0:00.26 127 127    100   13800    1680   -   96   0.0  0.0 |-- /usr/local/sbin/dhcp6c -c /var/etc/dhcp6
94031 Is        0:00.02 127 127     38   13748     252   -   76   0.0  0.0 |-- flowd: monitor (flowd)
94062 Ss        1:06.76   3 127     24   13748    1704   -   76   0.0  0.0 | `-- flowd: net (flowd)
 1088 Ss        0:00.53  18 127     47   15340    2616   -   36   0.0  0.0 |-- /sbin/devd
16017 SCs       0:42.95   1 127     26   13924     880   -   28   0.0  0.0 |-- /usr/sbin/rtsold -aiu -p /var/run/rtsold
16144 Is        0:00.00 127 127      0   13924    1428   -   28   0.0  0.0 |-- rtsold: rtsold.llflags (rtsold)
16233 Is        0:00.00 127 127      0   13924    1428   -   28   0.0  0.0 |-- rtsold: rtsold.script (rtsold)
16339 Is        0:00.00 127 127      0   13924    1428   -   28   0.0  0.0 |-- rtsold: rtsold.sendmsg (rtsold)
16355 Ss        0:48.08   1 127      5   13924    1648   -   28   0.0  0.0 |-- rtsold: system.syslog (rtsold)
60251 Ss        0:06.55   4 127      0   13852    2024   -   28   0.0  0.0 |-- /usr/sbin/cron -s
31196 I         0:00.00 127 127      0   13852    2032   -   28   0.0  0.0 | `-- cron: running job (cron)
31790 Is        0:00.14 127 127      0   46780   30820   -    4   0.0  0.2 |   `-- /usr/local/bin/python3 /usr/local/op
64826 Is+       0:00.00 127 127      0   13780    1272   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv0
64908 Is+       0:00.00 127 127      0   13780    1268   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv1
64995 Is+       0:00.00 127 127      0   13780    1268   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv2
65010 Is+       0:00.00 127 127      0   13780    1268   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv3
65078 Is+       0:00.00 127 127      0   13780    1268   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv4
65097 Is+       0:00.00 127 127      0   13780    1268   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv5
65239 Is+       0:00.00 127 127      0   13780    1268   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv6
65323 Is+       0:00.00 127 127      0   13780    1272   -   20   0.0  0.0 |-- /usr/libexec/getty Pc ttyv7
37372 Is        0:27.11 127 127      0   14504    2112   -   16   0.0  0.0 |-- /usr/local/bin/dpinger -f -S -r 0 -i WAN
80470 Is        1:50.28 127 127      0   14504    1520   -   16   0.0  0.0 |-- /usr/local/bin/dpinger -f -S -r 0 -i WAN
 5513 IW        0:00.00 127 127      0   24496       4   -    8   0.0  0.0 |-- /usr/local/sbin/syslog-ng -f /usr/local/
 5523 Ss       21:57.10   0 127    211   50112   11952   -    8   0.0  0.1 | `-- /usr/local/sbin/syslog-ng -f /usr/loca
60766 S         0:36.10   0 127      0   27368   13276   -    4   0.0  0.1 |   |-- /usr/local/bin/python3 /usr/local/sb
60850 S         0:36.58   0 127      0   28392   13880   -    4   0.0  0.1 |   `-- /usr/local/bin/python3 /usr/local/op
39244 Is        0:00.00 127 127      0   13764    1852   -    8   0.0  0.0 |-- daemon: /usr/local/opnsense/scripts/unbo
39264 S         0:07.20   3 127      0  224004  133228   -    4   0.0  0.8 | `-- /usr/local/bin/python3 /usr/local/opns
41303 Ss        2:23.20   0 127      2   14044    2024   -    8   0.0  0.0 |-- /usr/local/sbin/filterlog -i pflog0 -p /
41403 IWs       0:00.00 127 127      0   13764       4   -    8   0.0  0.0 |-- daemon: /usr/local/opnsense/scripts/rout
41424 S       142:16.72   0 127     54   81144   35104   - 2944   0.1  0.2 | `-- /usr/local/bin/php /usr/local/opnsense
49280 IWs       0:00.00 127 127      0   13764       4   -    8   0.0  0.0 |-- daemon: /usr/local/libexec/ipsec/charon[
49305 I         0:31.51 127 127    536  100264   13224   -    8   0.0  0.1 | `-- /usr/local/libexec/ipsec/charon --use-
51227 Ss        5:01.13   0 127      0   13756    1324   -   12   0.0  0.0 |-- /usr/sbin/powerd -b hadp -a hadp -n hadp
68707 IWs       0:00.00 127 127      0   13764       4   -    8   0.0  0.0 |-- daemon: /usr/local/bin/samplicate[68788]
68788 S         0:21.62   3 127      0   13660     112   -   12   0.0  0.0 | `-- /usr/local/bin/samplicate -s 127.0.0.1
44754 Is        0:00.34 127 127      0   40396   16260   -    4   0.0  0.1 |-- /usr/local/bin/python3 /usr/local/opnsen
44825 S         1:26.12  10 127      0  102200   46936   -    4   0.0  0.3 | `-- /usr/local/bin/python3 /usr/local/opns
31768 I         0:00.00 127 127      0   14312    2164   -  120   0.0  0.0 |   `-- /bin/sh /usr/local/opnsense/scripts/
32086 I         0:00.00 127 127      1   14312    2164   -  120   0.0  0.0 |     `-- /bin/sh /usr/local/opnsense/script
34048 IC        0:00.00 127 127      0   13648    1724   -    8   0.0  0.0 |       `-- sleep 8191
78208 Ss      295:39.37   0 127     49   53760   32660   -    4   4.6  0.2 |-- /usr/local/bin/python3 /usr/local/opnsen
80229 Ss        0:41.37   1 127      9   63136    8940   -    4   0.0  0.1 `-- /usr/local/bin/python3 /usr/local/opnsen
    2 WL      273:09.29 127 127      0       0      96   -    0   0.4  0.0 - [clock]
    3 DL        0:02.01 127 127      0       0     112   -    0   0.0  0.0 - [crypto]
    4 DL        0:00.00 127 127      0       0      64   -    0   0.0  0.0 - [cam]
    5 DL        0:00.00 127 127      0       0      16   -    0   0.0  0.0 - [busdma]
    6 DL        3:06.21   0 127      0       0    1088   -    0   0.0  0.0 - [zfskern]
    7 DL        8:30.02   0 127      0       0      16   -    0   0.0  0.0 - [pf purge]
    8 DL        4:55.37   0 127      0       0      16   -    0   0.0  0.0 - [rand_harvestq]
    9 DL       13:25.21   0 127      0       0      48   -    0   0.0  0.0 - [pagedaemon]
   10 DL        0:00.00 127 127      0       0      16   -    0   0.0  0.0 - [audit]
   11 RNL  138597:21.26 127 127      0       0      96   -    0 595.6  0.0 - [idle]
   12 WL      290:44.15 127 127      0       0     624   -    0   0.2  0.0 - [intr]
   13 DL        0:00.01 127 127      0       0      48   -    0   0.0  0.0 - [geom]
   14 DL        0:00.00 127 127      0       0      16   -    0   0.0  0.0 - [sequencer 00]
   15 DL        0:26.76 127 127      0       0      80   -    0   0.0  0.0 - [usb]
   16 DL        0:18.80   5 127      0       0      16   -    0   0.0  0.0 - [acpi_thermal]
   17 DL        0:01.36 127 127      0       0      16   -    0   0.0  0.0 - [vmdaemon]
   18 DL        1:12.48   0 127      0       0     144   -    0   0.0  0.0 - [bufdaemon]
   19 DL        0:07.04   0 127      0       0      16   -    0   0.0  0.0 - [vnlru]
   20 DL        0:18.93   0 127      0       0      16   -    0   0.0  0.0 - [syncer]
   32 DL        0:00.22   6 127      0       0      16   -    0   0.0  0.0 - [aiod1]
   33 DL        0:00.21   5 127      0       0      16   -    0   0.0  0.0 - [aiod2]
   34 DL        0:00.22   0 127      0       0      16   -    0   0.0  0.0 - [aiod3]
   35 DL        0:00.21  27 127      0       0      16   -    0   0.0  0.0 - [aiod4]
65513 DL        0:11.71   8 127      0       0      96   -    0   0.0  0.0 - [ng_queue]
88414 DL        0:04.12 116 127      0       0      16   -    0   0.0  0.0 - [md43]