[GELÖST] Opnsense reagiert alle 3-7 Tage nicht mehr

[zitlo]

Hallo,

alle 3-7 Tage ist meine Opnsense Zuhause komplett offline, sie ist dann per WAN/LAN nicht mehr erreichbar. "Hängt" sich also komplett auf.

Ich habe mal in den logs nachgeschaut und nichts auffälliges gefunden, hier mal ein Auszug aus dem system.log:

Code Select Expand

Aug 25 03:04:38 ZOS1337 opnsense: /usr/local/etc/rc.newwanip: ROUTING: setting IPv4 default route to 62.xx.xx.xx
Aug 25 03:04:38 ZOS opnsense: /usr/local/etc/rc.newwanip: ROUTING: setting IPv6 default route to fe80::xx:xx:xx:xx
Aug 25 03:04:41 ZOS configd.py: [40d003a1-0fa7-4392-9ab8-71c17cba3c82] rc.newwanip starting pppoe0
Aug 25 03:04:42 ZOS opnsense: /usr/local/etc/rc.newwanipv6: IP renewal is starting on 'pppoe0'
Aug 25 03:04:42 ZOS opnsense: /usr/local/etc/rc.newwanipv6: On (IP address: fe80::xx:xx:xx:xx) (interface: WAN[wan]) (real interface: pppoe0).
Aug 25 03:04:42 ZOS opnsense: /usr/local/etc/rc.openvpn: OpenVPN: Resync server2 1194OpenVPN
Aug 25 03:04:43 ZOS configd.py: [f4caca09-15c7-4598-b3aa-aaec3832611e] Reloading filter
Aug 25 03:04:58 ZOS configd.py: [e84108f5-fb5a-42cb-8d3b-6630cb143f6f] Reloading filter
Aug 25 03:05:13 ZOS configd.py: [21e675e2-f846-49a6-b878-8a8f57c8d710] Restarting ipsec tunnels
Aug 25 03:05:28 ZOS opnsense: /usr/local/etc/rc.newipsecdns: IPSEC: One or more IPsec tunnel endpoints has changed its CLOG????

um 03:05:28Uhr hört das Log dann auf.

Folgende Einträge von meinem Syslog Server:

Code Select Expand

Aug 25 03:04:58 zos configd.py: [e84108f5-fb5a-42cb-8d3b-6630cb143f6f] Reloading filter
Aug 25 03:05:13 zos configd.py: [21e675e2-f846-49a6-b878-8a8f57c8d710] Restarting ipsec tunnels
Aug 25 03:05:30 zos configd.py: [c25566bb-14cd-4509-a573-f144023910e2] Restarting OpenVPN tunnels/interfaces WAN_DHCP6
Aug 25 03:05:31 zos configd.py: [aa69e4f0-457b-4097-8780-04004b920653] Reloading filter
Aug 25 03:05:46 zos configd.py: [73584c52-ba31-4e70-99ad-ad8d98dc038b] Reloading filter
Aug 25 03:06:01 zos configd.py: [926ce86f-de00-405b-9373-635b19b63318] Reloading filter
Aug 25 03:06:19 zos configd.py: [3fbae8cd-c3bb-4ccc-8e3c-8a66eca11be7] Reloading filter
Aug 25 03:06:34 zos configd.py: [9bab3ad2-0584-4ff3-af42-2dfd91a85708] Reloading filter
Aug 25 03:06:38 zos configd.py: [5f657990-c343-4eae-a8b5-2b13e2dfa604] Rewriting resolv.conf
Aug 25 03:06:39 zos configd.py: [b3b60a02-44fc-482a-a7de-69ea0c670c1d] Rewriting resolv.conf
Aug 25 03:06:42 zos configd.py: [d27866bb-3bab-4660-af3f-b1d2291453d2] Restarting ipsec tunnels
Aug 25 03:06:51 zos snmpd[67971]: disk_OS_get_disks: adding device 'ada0' to device list
Aug 25 03:06:51 zos devd: check_clients:  dropping disconnected client
Aug 25 03:07:08 zos configd.py: [1263ab0b-368a-4df2-b494-deac82c63405] Restarting OpenVPN tunnels/interfaces WAN_PPPOE
Aug 25 03:07:09 zos configd.py: [be71a1fc-b053-41a1-bb19-b84a93a08da5] Reloading filter


und dann hier die letzten Einträge:

Code Select Expand

Aug 25 03:37:41 zos configd.py: [8f601627-889f-436c-b09d-5a1224392a12] Restarting OpenVPN tunnels/interfaces WAN_PPPOE
Aug 25 03:37:42 zos configd.py: [137f70ec-0768-4973-8bf5-fee6094220d3] Reloading filter
Aug 25 03:37:58 zos configd.py: [5e9c265c-b61b-4c9d-b9b4-04f0f9582110] rc.newwanip starting pppoe0
Aug 25 03:38:13 zos configd.py: [b9402940-89ac-413d-9b7f-c62309ef7eff] Reloading filter
Aug 25 03:38:14 zos configd.py: [8f574d6c-b686-4ce1-a3e9-68f998d737ad] rc.newwanip starting pppoe0
Aug 25 03:38:30 zos configd.py: [c8582350-7224-4c1d-aa49-34136e8ed5a0] Reloading filter
Aug 25 03:38:44 zos configd.py: [af15abcf-44d1-4e50-b743-b69500e03701] Restarting ipsec tunnels
Aug 25 03:39:02 zos configd.py: [3ec37abb-eb48-406b-91d7-dabdcffec086] Restarting OpenVPN tunnels/interfaces WAN_DHCP6
Aug 25 03:39:03 zos configd.py: [2f174a7b-925a-4308-be93-936809ef2532] Reloading filter
Aug 25 03:39:18 zos configd.py: [fa8ea6e9-7a3f-4d17-b853-8470c81517ba] Reloading filter
Aug 25 03:39:32 zos configd.py: [d58ca3b6-f049-4b12-9d81-1a59605cbdab] Reloading filter
Aug 25 03:39:50 zos configd.py: [0c53d8b3-cca2-4bfd-9677-cbd9ad1a34c4] Reloading filter
Aug 25 03:40:04 zos configd.py: [f2d66fda-3afd-4898-9464-cadd36cb5550] Reloading filter
Aug 25 03:40:15 zos filterdns: failed to resolve host ggxxxxxxrioxxxx.net will retry later again.
Aug 25 03:40:15 zos configd.py: [c77eeb38-6d80-4b3d-bacd-55d1155d0887] Rewriting resolv.conf
Aug 25 03:40:16 zos configd.py: [bb374ecd-e06e-4a91-86e9-6b0dce2d252e] Rewriting resolv.conf
Aug 25 03:40:17 zos configd.py: [23ad9ed3-8305-4ebb-aa93-d57cd67491aa] Restarting ipsec tunnels
Aug 25 03:40:22 zos snmpd[41469]: disk_OS_get_disks: adding device 'ada0' to device list
Aug 25 03:40:22 zos devd: check_clients:  dropping disconnected client
Aug 25 03:40:44 zos configd.py: [3935c4ec-95de-4f5e-8bb3-5edd2beecbb0] Restarting OpenVPN tunnels/interfaces WAN_PPPOE
Aug 25 03:40:45 zos configd.py: [6d42664b-4fcb-4492-8b2f-52e8586f4042] Reloading filter
Aug 25 03:41:06 zos configd.py: [192e79f7-a15e-43f5-b77a-b4bb64374c7e] rc.newwanip starting pppoe0
Aug 25 03:41:15 zos filterdns: failed to resolve host kkv2yflxxxxxxxxxxx.net will retry later again.
Aug 25 03:41:15 zos filterdns: failed to resolve host ggxxxxxxrioxxxx.net will retry later again.
Aug 25 03:41:15 zos configd.py: [1b1f74b4-554c-443c-8ce6-c42209ebdf51] Reloading filter
Aug 25 03:41:22 zos configd.py: [f484d5dd-ba9e-478b-a6e2-771f94a7a7fd] rc.newwanip starting pppoe0
Aug 25 03:41:27 zos configd.py: [73de9813-aba2-4971-b521-28ef0b8a15ab] rc.newwanip starting pppoe0
Aug 25 03:41:36 zos configd.py: [0cf3c768-f43a-49c6-9ba2-c67bb73f0fa3] Reloading filter
Aug 25 03:41:51 zos configd.py: [b3b8c351-c2b1-4149-abaa-4df698a5035b] Restarting ipsec tunnels
Aug 25 03:42:09 zos configd.py: [214b4fad-b447-4b4b-bbba-87b64bc8a1c2] Restarting OpenVPN tunnels/interfaces WAN_DHCP6
Aug 25 03:42:09 zos configd.py: [1cd50a6f-b28a-40c2-b4c8-acdea1ea4254] Reloading filter
Aug 25 03:42:24 zos configd.py: [7ab9ec8f-edb3-4154-ab01-b22fe6ab5bae] Reloading filter
Aug 25 03:42:39 zos configd.py: [384c8456-b2ba-4b76-9d17-604ac400a506] Reloading filter
Aug 25 03:42:57 zos configd.py: [ef077f4f-98a7-4723-96fd-9f0f8806941e] Reloading filter
Aug 25 03:43:12 zos configd.py: [bfe3645f-bc05-491f-a056-6e268a327f33] Reloading filter
Aug 25 03:43:23 zos configd.py: [2950fe95-4140-4b8f-ac2b-83d0fa06c6d5] Rewriting resolv.conf
Aug 25 03:43:24 zos configd.py: [01f3364e-3641-4ddd-8d9e-e6027c7379c4] Rewriting resolv.conf
Aug 25 03:43:26 zos configd.py: [1f0e4118-4ff6-4968-ae4a-939b3ca190e6] Restarting ipsec tunnels
Aug 25 03:43:29 zos snmpd[81353]: disk_OS_get_disks: adding device 'ada0' to device list
Aug 25 03:43:29 zos devd: check_clients:  dropping disconnected client
Aug 25 03:43:49 zos configd.py: [c7ce2830-ee76-4995-a708-63461306e86c] Restarting OpenVPN tunnels/interfaces WAN_PPPOE
Aug 25 03:43:50 zos configd.py: [29c2c93f-3c5c-4591-bd1a-b01264c62120] Reloading filter
Aug 25 03:44:12 zos configd.py: [d6404cd0-2b97-4e5a-a929-581c14fd2a9c] rc.newwanip starting pppoe0

Wenn ich die Opnsense dann vom Strom nehme und wieder einschalte funktioniert alles wie gewohnt.
Jemand eine Idee wie ich das Problem eingrenzen könnte?

Vielen Dank!

[zitlo]

Ich scheine wohl nicht der einzige mit dem Problem zu sein: https://forum.opnsense.org/index.php?topic=5750.0

Das Monitoring zeigt auch eine höhere RAM Auslastung in der Zeit:

[franco]

Hi Zitlo,

Ist eine 17.1 oder 17.7? 17.1?


Grüsse
Franco

[zitlo]

Hallo Franco,

Ist eine 17.7!

Grüße

[franco]

Hmm, ok, höhere Last als sonst... sporadisch. Klingt vielleicht blöd, aber ist das Netzteil zu schwach oder die CPU zu heiss?

Normalerweise sollte 17.7 nämlich zumindest wieder rebooten in so einem Fall.

Einen PPPoE crash ist aber auch nicht auszuschießen. Wir testen gerade einen Patch für 17.7.1 der dies verhindert.

Ich glaube Till hatte sowas auch gemeldet, nämlich beim PPPoE reconnect.


Grüsse
Franco

[zitlo]

Hallo Franco,

ist eine APU3B4 an einer USV. Sonst hängen da auch keine Verbraucher dran.
Die läuft immer im idle 6-9% wird auch nicht heiß.

Ping ist nicht mehr möglich LAN/WAN
VPN funktioniert dann auch nicht mehr. Eingeschaltet ist sie dann aber noch. Wenn ich die dann kurz vom Strom nehme funktioniert wieder alles ganz normal.

Gibt es denn noch iwelche Logs die relevant wären? (ich bin neu in der Opnsense Welt)

[franco]

Ok, Ich habe heute Abend einen neuen Kernel parat den wir probieren sollten. Dann schauen wir was passiert. :)

Was helfen könnte: den Output der Serial-Console zum Crash Zeitpunkt. Ich denke die APU hängt im Debugger fest und möchte sich mitteilen.


Grüsse
Franco

[zitlo]

Vielen Dank,

kein Stress!
Ja Seriell ist so eine Sache ich habe leider das passende Kabel aktuell verliehen, deshalb auch die Syslog Geschichte.

[franco]

Ok, verstanden. Wenn der Kernel steht, dann steht auch das Dateisystem, daher keine Syslog-Nachrichten mehr. Ich denke genau das sehen wir. Aber eins nach dem andern. 8)

Noch eine Frage: auf 17.1 ist es nicht passiert, korrekt?

[zitlo]

Exakt 17.1 war stabil.

Danke!

[tillsense]

Ja das kommt mir bekannt vor.

cheers
till

[franco]

Moin,

Bitte mal diesen Kernel installieren / probieren. Der kommt mit 99% Wahrscheinlichkeit auch in 17.7.1 mit nächster Woche.

# opnsense-update -kr 17.7-pppoe
# /usr/local/etc/rc.reboot


Grüsse
Franco

[zitlo]

Hallo Franco,

ist installiert. Ich berichte. Vielen Dank!

[zitlo]

bisher keine Probleme, ich melde mich in ein paar Tagen.

[franco]

Hi Zitlo,

Klint gut. :)


Grüsse
Franco