Fatal Trap on Setting up extended sysctls (Xen domU)

[foxpa.ws]

Hello,

I've been running the Xen domU image I posted about here https://forum.opnsense.org/index.php?topic=37474.0 and keep running into a problem that seems to hinge on my moving from two bridged virtual network interfaces to four. Every other time I boot the image the following kernel panic ensues - reliably just after "Setting up extended sysctls". Usually it will be a Fatal trap 9 but occasionally a trap 12 and always followed by reams of traces:

Code Select Expand

Setting up extended sysctls...

Fatal trap 12: page fault while in kernel mode
cpuid = 3; apic id = 06
fault virtual address   = 0x29dcf1b7721c
fault code              = supervisor read data, page not present
instruction pointer     = 0x20:0xffffffff80c9a600
stack pointer           = 0x28:0xfffffe00c39bd940
frame pointer           = 0x28:0xfffffe00c39bd9a0
code segment            = base 0x0, limit 0xfffff, type 0x1b
                        = DPL 0, pres 1, long 1, def32 0, gran 1
processor eflags        = interrupt enabled, resume, IOPL = 0
current process         = 1134 (sysctl)
trap number             = 12
panic: page fault
cpuid = 3
time = 1702775843
KDB: stack backtrace:
db_trace_self_wrapper() at db_trace_self_wrapper+0x2b/frame 0xfffffe00c39bd700
vpanic() at vpanic+0x151/frame 0xfffffe00c39bd750
panic() at panic+0x43/frame 0xfffffe00c39bd7b0
trap_fatal() at trap_fatal+0x387/frame 0xfffffe00c39bd810
trap_pfault() at trap_pfault+0x4f/frame 0xfffffe00c39bd870
calltrap() at calltrap+0x8/frame 0xfffffe00c39bd870
--- trap 0xc, rip = 0xffffffff80c9a600, rsp = 0xfffffe00c39bd940, rbp = 0xfffffe00c39bd9a0 ---
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x90/frame 0xfffffe00c39bd9a0
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x74/frame 0xfffffe00c39bda10
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x74/frame 0xfffffe00c39bda80
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x74/frame 0xfffffe00c39bdaf0
sysctl_sysctl_next() at sysctl_sysctl_next+0x6e/frame 0xfffffe00c39bdbd0
sysctl_root_handler_locked() at sysctl_root_handler_locked+0x90/frame 0xfffffe00c39bdc20
sysctl_root() at sysctl_root+0x299/frame 0xfffffe00c39bdca0
userland_sysctl() at userland_sysctl+0x177/frame 0xfffffe00c39bdd50
sys___sysctl() at sys___sysctl+0x5c/frame 0xfffffe00c39bde00
amd64_syscall() at amd64_syscall+0x10c/frame 0xfffffe00c39bdf30
fast_syscall_common() at fast_syscall_common+0xf8/frame 0xfffffe00c39bdf30
--- syscall (202, FreeBSD ELF64, __sysctl), rip = 0x1a87096a2a6a, rsp = 0x1a87083dd4d8, rbp = 0x1a87083dd510 ---
KDB: enter: panic
[ thread pid 1134 tid 100332 ]
Stopped at      kdb_enter+0x37: movq    $0,0x121aa4e(%rip)
db:0:kdb.enter.default> textdump set
textdump set
db:0:kdb.enter.default>  capture on
db:0:kdb.enter.default>  run lockinfo
db:1:lockinfo> show locks
No such command; use "help" to list available commands
db:1:lockinfo>  show alllocks
No such command; use "help" to list available commands
db:1:lockinfo>  show lockedvnods
Locked vnodes
db:0:kdb.enter.default>  show pcpu
cpuid        = 3
dynamic pcpu = 0xfffffe008d6cd9c0
curthread    = 0xfffffe00c5a5f000: pid 1134 tid 100332 critnest 1 "sysctl"
curpcb       = 0xfffffe00c5a5f510
fpcurthread  = 0xfffffe00c5a5f000: pid 1134 "sysctl"
idlethread   = 0xfffffe000f435e40: tid 100006 "idle: cpu3"
self         = 0xffffffff82c13000
curpmap      = 0xfffffe00c44b2128
tssp         = 0xffffffff82c13384
rsp0         = 0xfffffe00c39be000
kcr3         = 0x8000000030d8014a
ucr3         = 0x8000000030a9e94a
scr3         = 0x30a9e94a
gs32p        = 0xffffffff82c13404
ldt          = 0xffffffff82c13444
tss          = 0xffffffff82c13434
curvnet      = 0xfffff800031d6e80
db:0:kdb.enter.default>  bt
Tracing pid 1134 tid 100332 td 0xfffffe00c5a5f000
kdb_enter() at kdb_enter+0x37/frame 0xfffffe00c39bd700
vpanic() at vpanic+0x182/frame 0xfffffe00c39bd750
panic() at panic+0x43/frame 0xfffffe00c39bd7b0
trap_fatal() at trap_fatal+0x387/frame 0xfffffe00c39bd810
trap_pfault() at trap_pfault+0x4f/frame 0xfffffe00c39bd870
calltrap() at calltrap+0x8/frame 0xfffffe00c39bd870
--- trap 0xc, rip = 0xffffffff80c9a600, rsp = 0xfffffe00c39bd940, rbp = 0xfffffe00c39bd9a0 ---
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x90/frame 0xfffffe00c39bd9a0
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x74/frame 0xfffffe00c39bda10
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x74/frame 0xfffffe00c39bda80
sysctl_sysctl_next_action() at sysctl_sysctl_next_action+0x74/frame 0xfffffe00c39bdaf0
sysctl_sysctl_next() at sysctl_sysctl_next+0x6e/frame 0xfffffe00c39bdbd0
sysctl_root_handler_locked() at sysctl_root_handler_locked+0x90/frame 0xfffffe00c39bdc20
sysctl_root() at sysctl_root+0x299/frame 0xfffffe00c39bdca0
userland_sysctl() at userland_sysctl+0x177/frame 0xfffffe00c39bdd50
sys___sysctl() at sys___sysctl+0x5c/frame 0xfffffe00c39bde00
amd64_syscall() at amd64_syscall+0x10c/frame 0xfffffe00c39bdf30
fast_syscall_common() at fast_syscall_common+0xf8/frame 0xfffffe00c39bdf30
--- syscall (202, FreeBSD ELF64, __sysctl), rip = 0x1a87096a2a6a, rsp = 0x1a87083dd4d8, rbp = 0x1a87083dd510 ---
db:0:kdb.enter.default>  ps
  pid  ppid  pgrp   uid  state   wmesg   wchan               cmd
1134   248    21     0  R+      CPU 3                       sysctl
1099     1  1099     0  Ss      select  0xfffff80030ba0140  devd
  248   247    21     0  S+      piperd  0xfffff80010eb25d0  php
  247    21    21     0  S+      wait    0xfffff80009fab000  flock
  216   214   214     0  S       (threaded)                  python3.9
100308                   S       accept  0xfffff8001cf19508  python3.9
  214     1   214     0  Ss      wait    0xfffff80004415aa0  python3.9
   35     0     0     0  DL      aiordy  0xfffff80009fab550  [aiod4]
   34     0     0     0  DL      aiordy  0xfffff80004413aa0  [aiod3]
   33     0     0     0  DL      aiordy  0xfffff800095b0000  [aiod2]
   32     0     0     0  DL      aiordy  0xfffff800095b0550  [aiod1]
   21     1    21     0  Ss+     wait    0xfffff80004414000  sh
   20     0     0     0  DL      vlruwt  0xfffff800095b0aa0  [vnlru]
   19     0     0     0  DL      syncer  0xffffffff81f16250  [syncer]
   18     0     0     0  DL      (threaded)                  [bufdaemon]
100158                   D       psleep  0xffffffff81f15308  [bufdaemon]
100159                   D       -       0xffffffff81a0aec0  [bufspacedaemon-0]
100163                   D       -       0xffffffff81a13180  [bufspacedaemon-1]
100164                   D       -       0xffffffff81a1b440  [bufspacedaemon-2]
100166                   D       -       0xffffffff81a23700  [bufspacedaemon-3]
   17     0     0     0  DL      psleep  0xffffffff81f3f190  [vmdaemon]
    9     0     0     0  DL      (threaded)                  [pagedaemon]
100156                   D       psleep  0xffffffff81f335f8  [dom0]
100160                   D       launds  0xffffffff81f33604  [laundry: dom0]
100165                   D       umarcl  0xffffffff80fec200  [uma]
    8     0     0     0  DL      balloon 0xffffffff80acecd0  [balloon]
    7     0     0     0  DL      -       0xffffffff81cfd0f0  [rand_harvestq]
    6     0     0     0  DL      pftm    0xffffffff8237f900  [pf purge]
    5     0     0     0  DL      (threaded)                  [zfskern]
100089                   D       t->zthr 0xfffff8000436a248  [arc_evict]
100090                   D       t->zthr 0xfffff8000436a048  [arc_reap]
100091                   D       -       0xfffff8000436bd00  [dbu_evict]
100092                   D       dbuf_ev 0xffffffff82734e28  [dbuf_evict_thread]
100093                   D       -       0xfffff8000436ba00  [z_vdev_file_0]
100094                   D       -       0xfffff8000436ba00  [z_vdev_file_1]
100095                   D       -       0xfffff8000436ba00  [z_vdev_file_2]
100096                   D       -       0xfffff8000436ba00  [z_vdev_file_3]
100097                   D       -       0xfffff8000436ba00  [z_vdev_file_4]
100098                   D       -       0xfffff8000436ba00  [z_vdev_file_5]
100099                   D       -       0xfffff8000436ba00  [z_vdev_file_6]
100100                   D       -       0xfffff8000436ba00  [z_vdev_file_7]
100101                   D       -       0xfffff8000436ba00  [z_vdev_file_8]
100102                   D       -       0xfffff8000436ba00  [z_vdev_file_9]
100103                   D       -       0xfffff8000436ba00  [z_vdev_file_10]
100104                   D       -       0xfffff8000436ba00  [z_vdev_file_11]
100105                   D       -       0xfffff8000436ba00  [z_vdev_file_12]
100106                   D       -       0xfffff8000436ba00  [z_vdev_file_13]
100107                   D       -       0xfffff8000436ba00  [z_vdev_file_14]
100108                   D       -       0xfffff8000436ba00  [z_vdev_file_15]
100109                   D       l2arc_f 0xffffffff82724388  [l2arc_feed_thread]
100110                   D       -       0xfffff8000436c700  [zfsvfs]
100111                   S       zevent_ 0xffffffff82735210  [sysevent]
100213                   D       -       0xfffff80009630200  [z_zvol]
100214                   D       -       0xfffff80009808400  [z_prefetch_0]
100215                   D       -       0xfffff80009808400  [z_prefetch_1]
100216                   D       -       0xfffff80009808400  [z_prefetch_2]
100217                   D       -       0xfffff80009808400  [z_prefetch_3]
100218                   D       -       0xfffff80009808400  [z_prefetch_4]
100219                   D       -       0xfffff80009809d00  [z_upgrade_0]
100220                   D       -       0xfffff80009809d00  [z_upgrade_1]
100221                   D       -       0xfffff80009809d00  [z_upgrade_2]
100222                   D       -       0xfffff80009809d00  [z_upgrade_3]
100223                   D       -       0xfffff80009809d00  [z_upgrade_4]
100226                   D       -       0xfffff80009809700  [dp_sync_taskq_0]
100227                   D       -       0xfffff80009809700  [dp_sync_taskq_1]
100228                   D       -       0xfffff80009809700  [dp_sync_taskq_2]
100229                   D       -       0xfffff80003bc0c00  [dp_zil_clean_taskq_]
100230                   D       -       0xfffff80003bc0c00  [dp_zil_clean_taskq_]
100231                   D       -       0xfffff80003bc0c00  [dp_zil_clean_taskq_]
100232                   D       -       0xfffff80003bc0c00  [dp_zil_clean_taskq_]
100233                   D       -       0xfffff80003bc0c00  [dp_zil_clean_taskq_]
100234                   D       -       0xfffff80009809400  [z_zrele_0]
100235                   D       -       0xfffff80009809400  [z_zrele_1]
100236                   D       -       0xfffff80009809400  [z_zrele_2]
100237                   D       -       0xfffff80009809400  [z_zrele_3]
100238                   D       -       0xfffff80009809400  [z_zrele_4]
100239                   D       -       0xfffff8000980ad00  [z_unlinked_drain_0]
100240                   D       -       0xfffff8000980ad00  [z_unlinked_drain_1]
100241                   D       -       0xfffff8000980ad00  [z_unlinked_drain_2]
100242                   D       -       0xfffff8000980ad00  [z_unlinked_drain_3]
100243                   D       -       0xfffff8000980ad00  [z_unlinked_drain_4]
100247                   D       -       0xfffff8000980b700  [metaslab_group_task]
100248                   D       -       0xfffff8000980b700  [metaslab_group_task]
100249                   D       -       0xfffff8000980bb00  [metaslab_group_task]
100250                   D       -       0xfffff8000980bb00  [metaslab_group_task]
100263                   D       tx->tx_ 0xfffff800035e4d50  [txg_thread_enter]
100264                   D       tx->tx_ 0xfffff800035e4d30  [txg_thread_enter]
100265                   D       mmp->mm 0xfffffe008315e3c8  [mmp_thread_enter]
100266                   D       t->zthr 0xfffff8000379a348  [z_indirect_condense]
100267                   D       t->zthr 0xfffff800037e7648  [z_livelist_destroy]
100268                   D       t->zthr 0xfffff800037e7848  [z_livelist_condense]
100269                   D       t->zthr 0xfffff8000976b748  [z_checkpoint_discar]
   16     0     0     0  SL      xbread  0xfffff800feffc000  [xenstore_rcv]
   15     0     0     0  SL      waitev  0xffffffff81e8d0e0  [xenwatch]
    4     0     0     0  DL      (threaded)                  [cam]
100069                   D       -       0xffffffff81bd43c0  [doneq0]
100121                   D       -       0xffffffff81bd4290  [scanner]
   14     0     0     0  DL      seqstat 0xfffff8000399f888  [sequencer 00]
    3     0     0     0  DL      (threaded)                  [crypto]
100062                   D       crypto_ 0xffffffff81f30af0  [crypto]
100063                   D       crypto_ 0xfffff800031b7830  [crypto returns 0]
100064                   D       crypto_ 0xfffff800031b7890  [crypto returns 1]
100065                   D       crypto_ 0xfffff800031b78f0  [crypto returns 2]
100066                   D       crypto_ 0xfffff800031b7950  [crypto returns 3]
100067                   D       crypto_ 0xfffff800031b79b0  [crypto returns 4]
   13     0     0     0  DL      (threaded)                  [geom]
100054                   D       -       0xffffffff81ea5658  [g_event]
100055                   D       -       0xffffffff81ea5660  [g_up]
100056                   D       -       0xffffffff81ea5668  [g_down]
    2     0     0     0  DL      (threaded)                  [KTLS]
100041                   D       -       0xfffff800030f6000  [thr_0]
100042                   D       -       0xfffff800030f6080  [thr_1]
100043                   D       -       0xfffff800030f6100  [thr_2]
100044                   D       -       0xfffff800030f6180  [thr_3]
100045                   D       -       0xfffff800030f6200  [thr_4]
   12     0     0     0  WL      (threaded)                  [intr]
100019                   I                                   [swi6: task queue]
100021                   I                                   [swi6: Giant taskq]
100023                   I                                   [swi5: fast taskq]
100046                   I                                   [swi1: netisr 0]
100047                   I                                   [swi4: clock (0)]
100048                   I                                   [swi4: clock (1)]
100049                   I                                   [swi4: clock (2)]
100050                   I                                   [swi4: clock (3)]
100051                   I                                   [swi4: clock (4)]
100052                   I                                   [swi3: busdma]
100070                   I                                   [irq14: ata0]
100071                   I                                   [irq15: ata1]
100072                   I                                   [irq1: atkbd0]
100073                   I                                   [irq12: psm0]
100074                   I                                   [swi0: uart]
100075                   I                                   [irq2131: xenstore0]
100113                   I                                   [swi1: pf send]
100114                   I                                   [swi1: pfsync]
100123                   I                                   [irq2137: xbd0]
100125                   I                                   [irq2138: xn0]
100127                   I                                   [irq2139: xn0]
100129                   I                                   [irq2140: xn0]
100131                   I                                   [irq2141: xn0]
100133                   I                                   [irq2142: xn1]
100135                   I                                   [irq2143: xn1]
100137                   I                                   [irq2144: xn1]
100139                   I                                   [irq2145: xn1]
100141                   I                                   [irq2146: xn2]
100143                   I                                   [irq2147: xn2]
100145                   I                                   [irq2148: xn2]
100147                   I                                   [irq2149: xn2]
100149                   I                                   [irq2150: xn3]
100151                   I                                   [irq2151: xn3]
100153                   I                                   [irq2152: xn3]
100155                   I                                   [irq2153: xn3]
100335                   I                                   [irq9: acpi0 intsmb0]
   11     0     0     0  RL      (threaded)                  [idle]
100003                   Run     CPU 0                       [idle: cpu0]
100004                   Run     CPU 1                       [idle: cpu1]
100005                   Run     CPU 2                       [idle: cpu2]
100006                   CanRun                              [idle: cpu3]
100007                   Run     CPU 4                       [idle: cpu4]
    1     0     1     0  SLs     wait    0xfffff800036df000  [init]
   10     0     0     0  DL      audit_w 0xffffffff81f31010  [audit]
    0     0     0     0  DLs     (threaded)                  [kernel]
100000                   D       swapin  0xffffffff81ea5c08  [swapper]
100008                   D       -       0xfffff800036c3d00  [softirq_0]
100009                   D       -       0xfffff800036c3b00  [softirq_1]
100010                   D       -       0xfffff800036c3900  [softirq_2]
100011                   D       -       0xfffff800036c3700  [softirq_3]
100012                   D       -       0xfffff800036c3500  [softirq_4]
100013                   D       -       0xfffff800036c3300  [if_io_tqg_0]
100014                   D       -       0xfffff800036c3100  [if_io_tqg_1]
100015                   D       -       0xfffff800036c4e00  [if_io_tqg_2]
100016                   D       -       0xfffff800036c4c00  [if_io_tqg_3]
100017                   D       -       0xfffff800036c4a00  [if_io_tqg_4]
100018                   D       -       0xfffff800036c4800  [if_config_tqg_0]
100020                   D       -       0xfffff800036c4300  [linuxkpi_irq_wq]
100022                   D       -       0xfffff800036c5d00  [thread taskq]
100024                   D       -       0xfffff800036c5800  [inm_free taskq]
100025                   D       -       0xfffff800036c5600  [kqueue_ctx taskq]
100026                   D       -       0xfffff800036c5400  [in6m_free taskq]
100027                   D       -       0xfffff800036c5200  [aiod_kick taskq]
100028                   D       -       0xfffff800036c5000  [pci_hp taskq]
100029                   D       -       0xfffff800031bfd00  [linuxkpi_short_wq_0]
100030                   D       -       0xfffff800031bfd00  [linuxkpi_short_wq_1]
100031                   D       -       0xfffff800031bfd00  [linuxkpi_short_wq_2]
100032                   D       -       0xfffff800031bfd00  [linuxkpi_short_wq_3]
100033                   D       -       0xfffff800031bfd00  [linuxkpi_short_wq_4]
100034                   D       -       0xfffff800031bfd00  [linuxkpi_short_wq_5]
100035                   D       -       0xfffff800031bf600  [linuxkpi_long_wq_0]
100036                   D       -       0xfffff800031bf600  [linuxkpi_long_wq_1]
100037                   D       -       0xfffff800031bf600  [linuxkpi_long_wq_2]
100038                   D       -       0xfffff800031bf600  [linuxkpi_long_wq_3]
100039                   D       -       0xfffff800031bf600  [linuxkpi_long_wq_4]
100040                   D       -       0xfffff800031bf600  [linuxkpi_long_wq_5]
100053                   D       -       0xfffff800036c2c00  [firmware taskq]
100057                   D       -       0xfffff800038c3900  [crypto_0]
100058                   D       -       0xfffff800038c3900  [crypto_1]
100059                   D       -       0xfffff800038c3900  [crypto_2]
100060                   D       -       0xfffff800038c3900  [crypto_3]
100061                   D       -       0xfffff800038c3900  [crypto_4]
100078                   D       -       0xfffff80003bbec00  [system_taskq_0]
100079                   D       -       0xfffff80003bbec00  [system_taskq_1]
100080                   D       -       0xfffff80003bbec00  [system_taskq_2]
100081                   D       -       0xfffff80003bbec00  [system_taskq_3]
100082                   D       -       0xfffff80003bbec00  [system_taskq_4]
100083                   D       -       0xfffff80003bbe600  [system_delay_taskq_]
100084                   D       -       0xfffff80003bbe600  [system_delay_taskq_]
100085                   D       -       0xfffff80003bbe600  [system_delay_taskq_]
100086                   D       -       0xfffff80003bbe600  [system_delay_taskq_]
100087                   D       -       0xfffff80003bbe600  [system_delay_taskq_]
100088                   D       -       0xfffff8000436a400  [arc_prune]
100115                   D       -       0xfffff800031be900  [mca taskq]
100116                   D       -       0xfffff800044f1500  [acpi_task_0]
100117                   D       -       0xfffff800044f1500  [acpi_task_1]
100118                   D       -       0xfffff800044f1500  [acpi_task_2]
100120                   D       -       0xfffff800038c4200  [CAM taskq]
100124                   D       -       0xfffff8000436ab00  [xn0 txq 0]
100126                   D       -       0xfffff8000436a700  [xn0 txq 1]
100128                   D       -       0xfffff800044bf900  [xn0 txq 2]
100130                   D       -       0xfffff800044bf500  [xn0 txq 3]
100132                   D       -       0xfffff800044bf100  [xn1 txq 0]
100134                   D       -       0xfffff800044c0c00  [xn1 txq 1]
100136                   D       -       0xfffff800044c0800  [xn1 txq 2]
100138                   D       -       0xfffff800044c0400  [xn1 txq 3]
100140                   D       -       0xfffff80003a95c00  [xn2 txq 0]
100142                   D       -       0xfffff80003a95800  [xn2 txq 1]
100144                   D       -       0xfffff80003a95400  [xn2 txq 2]
100146                   D       -       0xfffff80003a95000  [xn2 txq 3]
100148                   D       -       0xfffff800044c0000  [xn3 txq 0]
100150                   D       -       0xfffff800044c1b00  [xn3 txq 1]
100152                   D       -       0xfffff800044c1700  [xn3 txq 2]
100154                   D       -       0xfffff800044c1300  [xn3 txq 3]
100167                   D       -       0xfffff800037e7100  [z_null_iss]
100168                   D       -       0xfffff8000981c200  [z_null_int]
100169                   D       -       0xfffff8000981c000  [z_rd_iss_0]
100170                   D       -       0xfffff8000981c000  [z_rd_iss_1]
100171                   D       -       0xfffff8000981c000  [z_rd_iss_2]
100172                   D       -       0xfffff8000981c000  [z_rd_iss_3]
100173                   D       -       0xfffff8000981c000  [z_rd_iss_4]
100174                   D       -       0xfffff8000981c000  [z_rd_iss_5]
100175                   D       -       0xfffff8000981c000  [z_rd_iss_6]
100176                   D       -       0xfffff8000981c000  [z_rd_iss_7]
100177                   D       -       0xfffff8000981d600  [z_rd_int_0]
100178                   D       -       0xfffff8000981d600  [z_rd_int_1]
100179                   D       -       0xfffff8000981d600  [z_rd_int_2]
100180                   D       -       0xfffff8000981d600  [z_rd_int_3]
100181                   D       -       0xfffff8000981d100  [z_wr_iss_0]
100182                   D       -       0xfffff8000981d100  [z_wr_iss_1]
100183                   D       -       0xfffff8000981d100  [z_wr_iss_2]
100184                   D       -       0xfffff8000981d100  [z_wr_iss_3]
100185                   D       -       0xfffff8000981eb00  [z_wr_iss_h_0]
100186                   D       -       0xfffff8000981eb00  [z_wr_iss_h_1]
100187                   D       -       0xfffff8000981eb00  [z_wr_iss_h_2]
100188                   D       -       0xfffff8000981eb00  [z_wr_iss_h_3]
100189                   D       -       0xfffff8000981eb00  [z_wr_iss_h_4]
100190                   D       -       0xfffff8000981e500  [z_wr_int_0]
100191                   D       -       0xfffff8000981e500  [z_wr_int_1]
100192                   D       -       0xfffff8000981e500  [z_wr_int_2]
100193                   D       -       0xfffff8000981e500  [z_wr_int_3]
100194                   D       -       0xfffff8000981e000  [z_wr_int_h_0]
100195                   D       -       0xfffff8000981e000  [z_wr_int_h_1]
100196                   D       -       0xfffff8000981e000  [z_wr_int_h_2]
100197                   D       -       0xfffff8000981e000  [z_wr_int_h_3]
100198                   D       -       0xfffff8000981e000  [z_wr_int_h_4]
100199                   D       -       0xfffff8000981f900  [z_fr_iss_0]
100200                   D       -       0xfffff8000981f900  [z_fr_iss_1]
100201                   D       -       0xfffff8000981f900  [z_fr_iss_2]
100202                   D       -       0xfffff8000981f900  [z_fr_iss_3]
100203                   D       -       0xfffff8000981f400  [z_fr_int]
100204                   D       -       0xfffff8000981f200  [z_cl_iss]
100205                   D       -       0xfffff8000981f000  [z_cl_int]
100206                   D       -       0xfffff80009630d00  [z_ioctl_iss]
100207                   D       -       0xfffff80009630b00  [z_ioctl_int]
100208                   D       -       0xfffff80009630900  [z_trim_iss_0]
100209                   D       -       0xfffff80009630900  [z_trim_iss_1]
100210                   D       -       0xfffff80009630900  [z_trim_iss_2]
100211                   D       -       0xfffff80009630900  [z_trim_iss_3]
100212                   D       -       0xfffff80009630400  [z_trim_int]
db:0:kdb.enter.default>  alltrace

Tracing command kernel pid 0 tid 100000 td 0xffffffff81ea6160
sched_switch() at sched_switch+0x818/frame 0xffffffff82b82ec0
mi_switch() at mi_switch+0xc2/frame 0xffffffff82b82ee0
sleepq_timedwait() at sleepq_timedwait+0x2f/frame 0xffffffff82b82f20
_sleep() at _sleep+0x1ce/frame 0xffffffff82b82fa0
swapper() at swapper+0x69/frame 0xffffffff82b82ff0
btext() at btext+0x22

...


After automatically rebooting after the traces, always or almost always, I get a working init all the way to the login prompt.

In the interest of completeness, I've posted the full logs for two failed boots (one fatal trap 9 and one fatal trap 12) at https://foxpa.ws/opnsense-panic-logs

If anyone has any insight on this I'd be infinitely grateful!

[foxpa.ws]

I can add to this that while 4 interfaces almost always causes a kernel panic on boot, three seems to be unstable and will sometimes panic on boot and other times panic a few tens of minutes after completing init. Two interfaces, on the other hand, seems to be stable even with a loaded class C, even transferring over 300mbit/s. This doesn't appear to be a free ram-associated issue as regardless of the number of interfaces it steadily consumes a flat 930MB of ram out of an available 4-8GB.