Wiederholt Ausfall meiner OPNSense

[Tuxtom007]

Hallo,

ich habe diese Wochenende schon zweimal einen Ausfall meiner OPNSense gehabt.

Gestern nachmittag, fiel beim TV-schauen auf, das Bild stand auf einmal und hatte vom Notebook keine Internetverbindung mehr.
Zugriff auf die WebGUI der OPNSense ging nicht mehr, es kam nur der Login, aber dann war Ende, ssh-Zugang war möglich. ( darüber habe ich die dann rebootet )

Heute morgen auch wieder, da war machte ich gerade sehr große Downloads, welche meien GBit-Leitung auf komplett ausnutzen.
Wieder das selbe Verhalten, keien Zugriff mehr auf die WebGUI, ssh ging dennoch.

Netdata und Observium hatte ich gerade sogar auf, die CPU-Load war bei rund 20%, CPU-Temperatur im normalen Rahmen, ansonsten nichts auffälliges zu sehen.
Systemlog zeigt auch nichts auffälliges.

Im Moment hab ich noch keine Idee, was die Ursache war.

Hardware:  IPU882 mit Intel Core i5-8250U Kaby Lake, 32 GB Ram, 8x GBit-NIC, 250GB SSD
Das Gerät ist zwar Lüfterlos, ich habe aber einen 12cm Lüfter drauf liegen, der auf 5v läuft und somit immer für einen Luftstrom durch den Kühlkörper sorgt.

[mrk45k]

Hallo,

ist die ipu neu? oder schon länger in Betrieb?

[Tuxtom007]

ist die ipu neu? oder schon länger in Betrieb?

Ist schon einige Monate in Betrieb.


EDIT:  ich hatte gestern nachmittag wieder  einen Ausfall.
Ich konnte noch über eine andere IP auf die WebGUI zugreifen, Dienste liefen alle, ich hab mal testweise einige neu gestartet ( DHCP, unbound, radvd, routing, pf , usw. ) aber brauchte keine Verbesserung.

Dann hab ich testweise mal meine FritzBox neu gestartet, hab aber auch nichts geändert.

Erst ein Reboot der OPNSense brauchte Erfolg.


Das system - Logfile gibt nichts an Infos her, die auf Probleme deuten können.


Hardware: würde ich im Moment ausschliessen, ich komm ja problemlos per ssh drauf und auch die SNMP-Daten zeigen keine Auffällogkeiten aufgrund zu hoher Last, Temperatur usw.

[bringha]

Out of memory?

Disk full? besonders /var/log oder das root file system?

[Tuxtom007]

Nee,

der Rechner hat 32 GB Ram drin und ne 250 GB SSD, /var ist gerade mal bei 5% und Memory bei rund 14% und das war auch lt. SNMP-Graphen vor dem Ausfall so.

Merkwürdig ist, warum das am Wochenende 3mal passierte und seit dem nicht mehr obwohl ich HomeOffice mache

[meyergru]

Nur mal so als Frage, weil Du ja ursprünglich Temperaturprobleme hattest und diese mit einem Lüfter gelöst hast:
Hast Du eventuell auch mit C-States experimentiert? Bei mir haben C2/C3 auf einem Topton-System ab und zu Reboots ausgelöst.

[Tuxtom007]

Nur mal so als Frage, weil Du ja ursprünglich Temperaturprobleme hattest und diese mit einem Lüfter gelöst hast:

Nein nein, ich hatte keine Temperaturproblem.
Der Lüfter ist nur auf dem Gerät drauf, um eine Luftzikulation am Gehäuse zu erzeugen, da der Rechner in ein Rack kommen soll ( aber derzeit noch oben drauf steht ).

[Tuxtom007]

Mal ein Update:

Mittlerweile gehen mir die Ideen aus, was die Ausfälle am letzten Wochenende verursacht haben könnten.
- ich hatte in den letzten 2 Wochen keinerlei Konfigänderungen gemacht
- ich hatte keine Update gemacht
- Temperaturprobleme hab ich keine, der Rechner ist nicht mal handwarm am Kühlkörper und die CPU-Core Temperaturen sind auch im grünen Bereich, zudem wird der eh zwangsgekühlt mit einem langsam laufendne Lüfter obendrauf.
- Plattenplatz ist genug vorhanden ( max 5% Auslastung pro Filesystem )
- Arbeitsspeicher ist nicht mal mit 15% ausgelastet, auch nicht kurz vor den Ausfällen ( lt SNMP-Daten )
- Logfiles geben nichts her an Fehlermeldungen.
- beim letzten Ausfall hatte ich etliche Dienste mal per WebGUI neu gestarte, hat nichts bewirkt - nur der Reboot half.

- seit Sonntag mittag keine Probleme mehr - ich bin im HomeOffice remote im Firmennetz per VPN, es läuft abends TV- und tagsüber Radio-Streams oder Spotify darüber, ich hab eine Reihe von Linux-Update gemacht, auch abends große Downloads - nichts passiert.

- ich hab heute mal ein Update auf 22.1.9_1 gemacht.

Die einzige Änderung, die letzte Woche war, das Vodafone bei uns Arbeiten am Kabelnetz gemacht hat und das mehrfach zu kurzen Ausfällen kam - die waren auch angekündigt.
Meine FritzBox hatte ich beim letzten Ausfall am Sonntag auch mal rebootet, hat aber nichts bewirkt.

( FritzBox 6591 im BridgeModus, die OPNSense hält somit die externen WAN-IP-Adressen mit IPv4 & IPv6 )

Sehr suspekt alles - werde das weiter beobachten

[Tuxtom007]

Hallo,

mal ein Update:

Gestern Abend hatte ich wieder einen Ausfall.

Zugriff über WebGUI war noch möglich aber extrem träge. Dienste liefen alle, auch keine Auffälligkeiten.

Ich bin per ssh auf die OPNSense und hab darüber mal einen "Reload all services" gemacht, aber war hat nichts gebracht.
Was mir nur auffiel, das  erstellen des LACP-Interfaces in einen Fehler gelaufen ist.

Ich hab dann einen Reboot gemacht und danach lief wieder alles.
Irgentwie nervt es, das die Kiste öfters aussteigt, aber nicht zu sehen ist, woran es lieg.

Ich werde heute aber mal dass LACP zwischen der OPNSense und meinem Switch auflösen.

EDIT: ich habe einen Verdacht, wer der Übeltäter ist, muss das aber noch verifizieren, ob es wirklich so ist. Scheint aber, das AdGuard den Ärger verursacht, der ist gerade wieder ausgestiegen und das Verhalten gleich wie in den letzten Fällen.
Ich werde den heute abend mal deaktivieren und auf PiHole wechseln.