Milliarden Interface Errors nach Reboot

[Alternativend]

Hallo Community,
ich habe ein großes Problem mit einigen von meinen OPNSENSE Installationen. Alle sind auf der aktuellen 24.1.9 und alle Maschinen mit dem Problem haben dieselbe Hardware. Es handelt sich um folgendes, derzeit nicht verfügbares, Gerät (https://linuxnews.de/nitrokey-stellt-nitrowall-nw678-mit-wlan-vor/).

Heute hatte ich den Fall das eine OPNSENSE nach knapp 20 Tagen den Dienst eingestellt hat. Das Problem stellt sich dann meist so dar, dass ein Interface Millionenfach Errors produziert, welche ich in der Interface Statistic sehen kann. Nach einem Reboot funktioniert es meist wieder, manchmal ist nach dem Neustart aber ein anderes Interface betroffen als zuvor.


So sieht das Interface in der Diagnose aus:

Code: [Select]

Flags 8863
Capabilities rxcsum
txcsum
vlan_mtu
vlan_hwtagging
jumbo_mtu
vlan_hwcsum
tso4
tso6
lro
wol_ucast
wol_mcast
wol_magic
vlan_hwfilter
vlan_hwtso
netmap
rxcsum_ipv6
txcsum_ipv6
nomap
Options vlan_mtu
vlan_hwtagging
jumbo_mtu
vlan_hwcsum
wol_magic
vlan_hwfilter
vlan_hwtso
nomap
MAC Address 00:e0:97:1c:23:0a - CARRIER ACCESS CORPORATION
Supported Media autoselect
1000baseT
1000baseT full-duplex
100baseTX full-duplex
100baseTX
10baseT/UTP full-duplex
10baseT/UTP
Physical true
Device igb2
mtu 1500
Media 1000baseT <full-duplex>
Media (Raw) Ethernet autoselect (1000baseT <full-duplex>)
Status up
Routes 192.168.71.0/24
fe80::%igb2/64
Identifier opt2
Description DMZ
Enabled true
Link Type static
IPv4 Addresses
192.168.71.1/24
IPv6 Addresses
fe80::2e0:97ff:fe1c:230a/64
VLAN Tag
Gateways
Driver igb2
Index 3
Promiscuous Listeners 0
Send Queue Length 0
Send Queue Max Length 50
Send Queue Drops 0
Type Ethernet
Address Length 6
Header Length 18
Link State 2
vhid 0
Data Length 152
Metric 0
Line Rate 1.00 Gbit/s
Packets Received 4105
Input Errors 107331232702050
Packets Transmitted 9205
Output Errors 30666066486300
Collisions 15333033243150
Bytes Received 1167085
Bytes Transmitted 2033674
Multicasts Received 3
Multicasts Transmitted 0
Input Queue Drops 0
Packets for Unknown Protocol 0
Hardware Offload Capabilities 0x0
Uptime at Attach or Statistics Reset 1


In der Log erhalte ich laufend folgende Fehlermeldung:

Code: [Select]

rfc2136.reload.opt2 not found for user root
OPT2 ist das derzeit betroffene Interface.

Kurios ist das es meist erst eine Weile funktioniert bevor dann nichts mehr geht. Vorhin ging es lediglich ein paar Minuten nach dem Reboot, danach setzten die Fehler auf dem Interface ein und nichts funktioniert mehr.

Hat jemand eine Idee?


Edit:

Code: [Select]

***GOT REQUEST TO AUDIT CONNECTIVITY***
Currently running OPNsense 24.1.9_4 at Wed Jul  3 09:26:46 CEST 2024
Checking connectivity for host: pkg.opnsense.org -> 89.149.222.99
PING 89.149.222.99 (89.149.222.99): 1500 data bytes
1508 bytes from 89.149.222.99: icmp_seq=0 ttl=57 time=15.774 ms
1508 bytes from 89.149.222.99: icmp_seq=1 ttl=57 time=15.416 ms
1508 bytes from 89.149.222.99: icmp_seq=2 ttl=57 time=15.434 ms
1508 bytes from 89.149.222.99: icmp_seq=3 ttl=57 time=15.714 ms

--- 89.149.222.99 ping statistics ---
4 packets transmitted, 4 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 15.416/15.585/15.774/0.161 ms
Checking connectivity for repository (IPv4): https://pkg.opnsense.org/FreeBSD:13:amd64/24.1
Updating OPNsense repository catalogue...
Fetching meta.conf: . done
Fetching packagesite.pkg: .......... done
Processing entries: .......... done
OPNsense repository update completed. 845 packages processed.
All repositories are up to date.
Checking connectivity for host: pkg.opnsense.org -> 2001:1af8:5300:a010:1::1
ping: UDP connect: No route to host
Checking connectivity for repository (IPv6): https://pkg.opnsense.org/FreeBSD:13:amd64/24.1
Updating OPNsense repository catalogue...
pkg: https://pkg.opnsense.org/FreeBSD:13:amd64/24.1/latest/meta.txz: No route to host
repository OPNsense has no meta file, using default settings
pkg: https://pkg.opnsense.org/FreeBSD:13:amd64/24.1/latest/packagesite.pkg: No route to host
pkg: https://pkg.opnsense.org/FreeBSD:13:amd64/24.1/latest/packagesite.txz: No route to host
Unable to update repository OPNsense
Error updating repositories!
Checking server certificate for host: pkg.opnsense.org
depth=2 OU = GlobalSign Root CA - R3, O = GlobalSign, CN = GlobalSign
verify return:1
depth=1 C = BE, O = GlobalSign nv-sa, CN = GlobalSign GCC R3 DV TLS CA 2020
verify return:1
depth=0 CN = pkg.opnsense.org
verify return:1
DONE
***DONE***

Code: [Select]

***GOT REQUEST TO AUDIT HEALTH***
Currently running OPNsense 24.1.9_4 at Wed Jul  3 09:27:58 CEST 2024
>>> Root file system: zroot/ROOT/default
>>> Check installed kernel version
Version 24.1.8 is correct.
>>> Check for missing or altered kernel files
No problems detected.
>>> Check installed base version
Version 24.1.8 is correct.
>>> Check for missing or altered base files
No problems detected.
>>> Check installed repositories
OPNsense
>>> Check installed plugins
os-ddclient 1.21_2
os-nextcloud-backup 1.0_1
os-squid 1.0_2
os-theme-cicada 1.35
>>> Check locked packages
No locks found.
>>> Check for missing package dependencies
Checking all packages: .......... done
>>> Check for missing or altered package files
Checking all packages: .......... done
>>> Check for core packages consistency
Core package "opnsense" has 68 dependencies to check.
Checking packages: ..................................................................... done
***DONE***


[mimugmail]

Ein Loop im Netz der sporadisch auftritt kann es nicht sein? Irgendein Chinaquatschgerät mit defektem Netzteil?

[Alternativend]

Hi,
eigentlich nicht. Heute war z.B. definitiv niemand vor Ort der irgendwas umgesteckt haben könnte.

Ich habe das Problem auch in ganz unterschiedlichen Umgebungen und ich kann zumindest bei manchen zu 100% ausschließen das dort irgendwas im Netzwerk passiert ist. Ganz einfach deshalb weil es Netze gibt die aus Modem, Opnsense und einem weiteren Gerät bestehen und trotzdem diese Probleme machen.

[Alternativend]

Ich habe nun ein stärkeres Netzteil installiert, 90W statt 60W vorher.

Seit 4 Tagen gibt es keine Probleme, werde weiter abwarten.

[Alternativend]

Leider passiert es immernoch. Meist ca. 10 Minuten nach einem Reboot. Wenn bis dahin keine Millionen Fehler auf dem Interface sind treten scheinbar auch Tage oder Wochen keine auf.

Wenn ich in diesem Zustand einen Neustart anstoße kommt die OPNSense danach auch nicht mehr wieder hoch.

Das scheint doch ein Softwarebug zu sein, oder?

Ich habe an dem besagten Standort vor den letzten Vorkommnissen die Hardware getauscht, wieder mit dem gleichen Modell. Es lief nun 5 Tage durch und ich konnte auch ein Update auf 24.10.1 vorhin durchführen.  Zwei Neustarts haben vorher und nachher auch problemlos funktioniert.  Nach 10 Minuten waren dann plötzlich wieder Millionenfehler angezeigt worden und das Freifunkinterface war weg. Nach Neustart kommt das Gerät nun nicht mehr zurück.
Es fährt nach diesen Errors nicht wieder sauber hoch. Ich muss nun hinfahren und das Gerät stromlos machen.

[Alternativend]

Achso es gibt dort keine VLANs, die Interfaces der OPNSENSE gehen direkt auf Switche oder Geräte drauf.

[Alternativend]

Nachtrag von Heute:

Nach Reboot über Webgui gestuckt bei Uptime YY days etc.., Stecker gezogen, hochgefahren, danach  Dashboard beobachtet. Nach 4 Minuten per Wireguard mit  OPNSENSE verbunden, auf dem Interface gab es einige Errors, aber nur ca. 30 Pakete.

Dann nach knapp 5 Minuten hatte ich wieder auf dem Freifunk-Interface Milliarden von Errors.

Dann wieder reboot und das Interface beim booten abgezogen, dann stuckt die Maschine bei configuring igb2.. und das wars, also wieder Neustart wieder mit allen Kabeln. Danach fuhr das Gerät hoch, hat die ersten Minuten "überlebt" und läuft seitdem wieder ganz normal stabil.

[mimugmail]

Für mich hört sichs nach Hardware an .. wenn da nach nem Neustart was nicht hoch kommt .. crazy. Oder irgendwas mit Namensauflösung beim Hochfahren und es gibt noch kein Internet wo Namen aufgelöst werden können. Sowas wie Wireguard Tunnel mit FQDN Endpoints.
Müsste man halt mal mim Bildschirm dran und schauen was er sagt.

[Alternativend]

Habe leider verpasst ein Foto davon zu machen heute, aber werde es morgen früh wieder austesten.

Ansonsten sah der Shutdown für mich okay aus, er hat Dienste gestoppt etc., vor der Uptime stand noch was von vnlru.

Das Ding ist halt das dies an dem Standort schon die zweite Firewall ist, selbes Modell. Und mit der "Alten" hatten wir ebenfalls Probleme.

Ich glaube langsam es liegt an den Netzwerkkarten. Das sind Intel i211 und ich habe hier und dort schon von Problemen gelesen mit Opnsense.

[mimugmail]

210er sind besser ja, aber dass ne Kiste nicht hoch kommt und dann im Kombination mit WireGuard .. klingt irgendwie nach DNS

[Alternativend]

Okay, dann schauen wir mal nach DNS.

  - Allow DNS server list to be overridden by DHCP/PPP on WAN ist angehakt.
  - Habe im Unbound DNS mal die Blocklists abgeschaltet

Was kann ich testen?


Ansonsten hier mal die Ausgabe von: cat /var/run/dmesg.boot

Code: [Select]

Copyright (c) 1992-2021 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 13.2-RELEASE-p11 stable/24.1-n255023-99a14409566 SMP amd64
FreeBSD clang version 14.0.5 (https://github.com/llvm/llvm-project.git llvmorg-14.0.5-0-gc12386ae247c)
VT(vga): resolution 640x480
CPU: Intel(R) Core(TM) i7-8550U CPU @ 1.80GHz (2000.00-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x806ea  Family=0x6  Model=0x8e  Stepping=10
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x7ffafbbf<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,EST,TM2,SSSE3,SDBG,FMA,CX16,xTPR,PDCM,PCID,SSE4.1,SSE4.2,x2APIC,MOVBE,POPCNT,TSCDLT,AESNI,XSAVE,OSXSAVE,AVX,F16C,RDRAND>
  AMD Features=0x2c100800<SYSCALL,NX,Page1GB,RDTSCP,LM>
  AMD Features2=0x121<LAHF,ABM,Prefetch>
  Structured Extended Features=0x29c67af<FSGSBASE,TSCADJ,SGX,BMI1,AVX2,SMEP,BMI2,ERMS,INVPCID,NFPUSG,MPX,RDSEED,ADX,SMAP,CLFLUSHOPT,PROCTRACE>
  Structured Extended Features3=0x9c002600<MCUOPT,MD_CLEAR,TSXFA,IBPB,STIBP,L1DFL,SSBD>
  XSAVE Features=0xf<XSAVEOPT,XSAVEC,XINUSE,XSAVES>
  VT-x: PAT,HLT,MTF,PAUSE,EPT,UG,VPID
  TSC: P-state invariant, performance statistics
real memory  = 17179869184 (16384 MB)
avail memory = 16502980608 (15738 MB)
Event timer "LAPIC" quality 600
ACPI APIC Table: <COREv4 COREBOOT>
FreeBSD/SMP: Multiprocessor System Detected: 8 CPUs
FreeBSD/SMP: 1 package(s) x 4 core(s) x 2 hardware threads
random: registering fast source Intel Secure Key RNG
random: fast provider: "Intel Secure Key RNG"
random: unblocking device.
ioapic0 <Version 2.0> irqs 0-119
Launching APs: 1 2 6 4 5 3 7
wlan: mac acl policy registered
random: entropy device external interface
kbd0 at kbdmux0
WARNING: Device "spkr" is Giant locked and may be deleted before FreeBSD 14.0.
vtvga0: <VT VGA driver>
smbios0: <System Management BIOS> at iomem 0xf0c00-0xf0c1e
smbios0: Version: 2.8
aesni0: <AES-CBC,AES-CCM,AES-GCM,AES-ICM,AES-XTS>
acpi0: <COREv4 COREBOOT>
acpi0: Power Button (fixed)
hpet0: <High Precision Event Timer> iomem 0xfed00000-0xfed003ff on acpi0
Timecounter "HPET" frequency 24000000 Hz quality 950
Event timer "HPET" frequency 24000000 Hz quality 550
cpu0: <ACPI CPU> on acpi0
atrtc0: <AT realtime clock> port 0x70-0x77 on acpi0
atrtc0: registered as a time-of-day clock, resolution 1.000000s
Event timer "RTC" frequency 32768 Hz quality 0
attimer0: <AT timer> port 0x40-0x43,0x50-0x53 irq 0 on acpi0
Timecounter "i8254" frequency 1193182 Hz quality 0
Event timer "i8254" frequency 1193182 Hz quality 100
Timecounter "ACPI-fast" frequency 3579545 Hz quality 900
acpi_timer0: <24-bit timer at 3.579545MHz> port 0x1808-0x180b on acpi0
pcib0: <ACPI Host-PCI bridge> port 0xcf8-0xcff on acpi0
pcib0: could not evaluate _ADR - AE_NOT_FOUND
pci0: <ACPI PCI bus> on pcib0
vgapci0: <VGA-compatible display> port 0x1000-0x103f mem 0x90000000-0x90ffffff,0x80000000-0x8fffffff irq 16 at device 2.0 on pci0
vgapci0: Boot video device
xhci0: <Intel Sunrise Point-LP USB 3.0 controller> mem 0x91600000-0x9160ffff irq 16 at device 20.0 on pci0
xhci0: 32 bytes context size, 64-bit DMA
usbus0 on xhci0
usbus0: 5.0Gbps Super Speed USB v3.0
ahci0: <Intel Sunrise Point-LP AHCI SATA controller> port 0x1060-0x1067,0x1068-0x106b,0x1040-0x105f mem 0x91614000-0x91615fff,0x91617000-0x916170ff,0x91616000-0x916167ff irq 16 at device 23.0 on pci0
ahci0: AHCI v1.31 with 3 6Gbps ports, Port Multiplier not supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahcich1: <AHCI channel> at channel 1 on ahci0
pcib1: <ACPI PCI-PCI bridge> irq 16 at device 28.0 on pci0
pci1: <ACPI PCI bus> on pcib1
igb0: <Intel(R) I211 (Copper)> port 0x2000-0x201f mem 0x91000000-0x9101ffff,0x91020000-0x91023fff irq 16 at device 0.0 on pci1
igb0: NVM V0.6 imgtype1
igb0: Using 1024 TX descriptors and 1024 RX descriptors
igb0: Using 2 RX queues 2 TX queues
igb0: Using MSI-X interrupts with 3 vectors
igb0: Ethernet address: 00:e0:97:1c:26:c8
igb0: netmap queues/slots: TX 2/1024, RX 2/1024
pcib2: <ACPI PCI-PCI bridge> irq 17 at device 28.1 on pci0
pci2: <ACPI PCI bus> on pcib2
igb1: <Intel(R) I211 (Copper)> port 0x3000-0x301f mem 0x91100000-0x9111ffff,0x91120000-0x91123fff irq 17 at device 0.0 on pci2
igb1: NVM V0.6 imgtype1
igb1: Using 1024 TX descriptors and 1024 RX descriptors
igb1: Using 2 RX queues 2 TX queues
igb1: Using MSI-X interrupts with 3 vectors
igb1: Ethernet address: 00:e0:97:1c:26:c9
igb1: netmap queues/slots: TX 2/1024, RX 2/1024
pcib3: <ACPI PCI-PCI bridge> irq 18 at device 28.2 on pci0
pci3: <ACPI PCI bus> on pcib3
igb2: <Intel(R) I211 (Copper)> port 0x4000-0x401f mem 0x91200000-0x9121ffff,0x91220000-0x91223fff irq 18 at device 0.0 on pci3
igb2: NVM V0.6 imgtype1
igb2: Using 1024 TX descriptors and 1024 RX descriptors
igb2: Using 2 RX queues 2 TX queues
igb2: Using MSI-X interrupts with 3 vectors
igb2: Ethernet address: 00:e0:97:1c:26:ca
igb2: netmap queues/slots: TX 2/1024, RX 2/1024
pcib4: <ACPI PCI-PCI bridge> irq 19 at device 28.3 on pci0
pci4: <ACPI PCI bus> on pcib4
igb3: <Intel(R) I211 (Copper)> port 0x5000-0x501f mem 0x91300000-0x9131ffff,0x91320000-0x91323fff irq 19 at device 0.0 on pci4
igb3: NVM V0.6 imgtype1
igb3: Using 1024 TX descriptors and 1024 RX descriptors
igb3: Using 2 RX queues 2 TX queues
igb3: Using MSI-X interrupts with 3 vectors
igb3: Ethernet address: 00:e0:97:1c:26:cb
igb3: netmap queues/slots: TX 2/1024, RX 2/1024
pcib5: <ACPI PCI-PCI bridge> irq 16 at device 28.4 on pci0
pci5: <ACPI PCI bus> on pcib5
igb4: <Intel(R) I211 (Copper)> port 0x6000-0x601f mem 0x91400000-0x9141ffff,0x91420000-0x91423fff irq 16 at device 0.0 on pci5
igb4: NVM V0.6 imgtype1
igb4: Using 1024 TX descriptors and 1024 RX descriptors
igb4: Using 2 RX queues 2 TX queues
igb4: Using MSI-X interrupts with 3 vectors
igb4: Ethernet address: 00:e0:97:1c:26:cc
igb4: netmap queues/slots: TX 2/1024, RX 2/1024
pcib6: <ACPI PCI-PCI bridge> irq 17 at device 28.5 on pci0
pci6: <ACPI PCI bus> on pcib6
igb5: <Intel(R) I211 (Copper)> port 0x7000-0x701f mem 0x91500000-0x9151ffff,0x91520000-0x91523fff irq 17 at device 0.0 on pci6
igb5: NVM V0.6 imgtype1
igb5: Using 1024 TX descriptors and 1024 RX descriptors
igb5: Using 2 RX queues 2 TX queues
igb5: Using MSI-X interrupts with 3 vectors
igb5: Ethernet address: 00:e0:97:1c:26:cd
igb5: netmap queues/slots: TX 2/1024, RX 2/1024
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
pci0: <memory> at device 31.2 (no driver attached)
orm0: <ISA Option ROMs> at iomem 0xc0000-0xcffff,0xee800-0xeffff pnpid ORM0000 on isa0
uart0: <16550 or compatible> at port 0x3f8 irq 4 flags 0x10 on isa0
hwpstate_intel0: <Intel Speed Shift> on cpu0
hwpstate_intel1: <Intel Speed Shift> on cpu1
hwpstate_intel2: <Intel Speed Shift> on cpu2
hwpstate_intel3: <Intel Speed Shift> on cpu3
hwpstate_intel4: <Intel Speed Shift> on cpu4
hwpstate_intel5: <Intel Speed Shift> on cpu5
hwpstate_intel6: <Intel Speed Shift> on cpu6
hwpstate_intel7: <Intel Speed Shift> on cpu7
Timecounter "TSC" frequency 1991999168 Hz quality 1000
Timecounters tick every 1.000 msec
ada0 at ahcich1 bus 0 scbus1 target 0 lun 0
ada0: <KINGSTON SA400S37480G 020KST17> ACS-3 ATA SATA 3.x device
ada0: Serial Number 50026B72832503F9
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
ada0: Command Queueing enabled
ada0: 457862MB (937703088 512 byte sectors)
Trying to mount root from ufs:/dev/gpt/rootfs [rw]...
ugen0.1: <Intel XHCI root HUB> at usbus0
uhub0 on usbus0
uhub0: <Intel XHCI root HUB, class 9/0, rev 3.00/1.00, addr 1> on usbus0



Edit2:
Nun ist das Interface einfach down, der Rest funktioniert aber weiterhin.

Code: [Select]

2024-07-15T16:32:55
[Notice]
kernel <6>igb2: link state changed to DOWN
2024-07-15T16:32:55
[Notice]
opnsense /usr/local/etc/rc.linkup: DEVD: Ethernet detached event for opt2(igb2)


Code: [Select]

igb2: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: DMZ (opt2)
options=4802028<VLAN_MTU,JUMBO_MTU,WOL_MAGIC,NOMAP>
ether 00:e0:97:1c:26:ca
inet6 fe80::2e0:97ff:fe1c:26ca%igb2 prefixlen 64 scopeid 0x3
inet 192.168.71.1 netmask 0xffffff00 broadcast 192.168.71.255
media: Ethernet autoselect
status: no carrier
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>


[mimugmail]

Dann wäre der nächste Test mit anderer Hardware und gleicher Konfiguration. Stromsparquatsch in Misc hast du nix angefasst oder?

[Alternativend]

War heute wieder da. Das Interface ist offline gegangen weil der Switch davor seinen Geist aufgegeben hat. Komplett tot. Hängt jetzt ein neues Gerät dran.

Habe demnach auch noch nicht wieder neugestartet, läuft seit knapp zwei Tagen.

Für den Fall das das Gerät noch mal ausfällt habe ich schon ein Austauschgerät vorbereitet.

Neustart versuche ich morgen noch mal.

An den Energieeinstellungen habe ich noch nie rumgestellt.