Ständig auftretende Segmentation Faults: Hardware oder Software Problem?

[|MatMan|]

Ich betreibe OPNsense seit einigen Jahren problemlos auf 3 verschiedenen Routern.
Bei einem Router habe ich vor ca. 3 Wochen die Hardware gegen ein Intel Core i5 7200U basiertes System getauscht (https://www.ipu-system.de/produkte/ipu672.html mit 8 GB RAM). Sobald ich unter System-> Settings -> Misc. -> Use PowerD aktiviert hatte, wurde OPNsense instabil bis das komplette System nach einiger Zeit abstürzte. Aus Zeitgründen habe ich das nicht weiter verfolgt, sondern PowerD deaktiviert gelassen, da OPNsense soweit stabil und performant lief.

Seit 1-2 Wochen kommt es nun ständig zu segmentation faults von einer Reihe von Prozessen bis schließlich das System komplett hängen bleibt und nur noch ein manueller Reset hilft. OPNsense legt in verschiedenen Verzeichnissen jeweils 1GB große .CORE files ab (z.B. sh.core, grep.core, syslogd.core, pfctl.core, ...). Die Internetverbindung wird dadurch praktisch unbenutzbar.
Ich habe OPNsense schon mehrmals neu installiert, nur minimal die beiden WAN interfaces konfiguriert, um Probleme durch meine sonstige Konfiguration auszuschließen - jeweils mit 19.7 und 19.7.3 (um ein Problem mit dem letzten Update auszuschließen). Kein Erfolg.
Attachment: Beispiel für abgestürzten Prozess direkt beim Bootvorgang.

Ein Memtest lief über 3h fehlerfrei durch (=2 Wiederholungen). Auch mit dem Linux stress tool konnte ich keinen seg. fault oder Absturz provozieren (Laufzeit etwa 1-2h).
Bei Memtest / stress stieg die CPU Temperatur bis auf 80°C, in OPNsense kaum über 50°C. Laut dem SMART monitor plugin soll die SSD auch in Ordnung sein (die lief im APUBoard-Vorgängersystem 1-2 Jahre problemlos). Das BIOS habe ich auf Standardwerte zurückgesetzt.

Ist die Mobil-CPU ggf. zu neu für freeBSD?
Wenn es ein Hardware-Fehler ist, warum lässt er sich nicht mit anderer Software reproduzieren?

Über Vorschläge zur Problemlösung würde ich mich sehr freuen!

[anpa]

Hallo,

Dein Screenshot sagt aus meiner Sicht schon etwas aus: Syslog-ng detektiert das Problem und wird angehalten; P_pax produziert dann den eigentlichen Fehler. Bist Du sicher, dass die SSD in Ordnung ist? Kannst Du zum Testen mal einen anderen Datenträger einbauen? Vielleicht ist es wirklich ein I/O Problem mit Deiner SSD.

Ich verwende ähnliche Systeme mit ULV CPUs, allerdings von Shuttle u./o. von Thomas-Krenn. Ich achte allerdings darauf die BIOS-Versionen immer aktuell zu halten. Hast Du überprüft, ob es für Deine Hardware ein aktuelles BIOS gibt?

Gruß anpa

[franco]

Ich glaube syslog-ng hat hier noch einen Bug mit einer unserer Mitigations. Passiert scheinbar beim Stop/Restart des Services also auch beim Herunterfahren.


Grüsse
Franco

[|MatMan|]

Hallo,

vielen Dank für die Rückmeldungen!
BIOS: Der eigentliche Hersteller ist scheinbar Kettop, der bietet aber leider kein BIOS zum Download an.

Am Freitag habe ich wieder physischen Zugang zum System, dann werde ich eine neue SSD einbauen und mich wieder melden.

Gruß,
|MatMan|

[banym]

Hallo,

kann bestätigen auch ich hab die Segfaults beim Start/Stop

VG,

[|MatMan|]

Hallo,

der Wechsel auf eine definitiv fehlerfreie SSD hat nichts gebracht. Es gab immernoch Segfaults bei verschiedenen Prozessen. Das Update von 19.7 auf die aktuelle Version hat zum kompletten Absturz des System geführt.

Was geholfen hat, war im BIOS den Turbomode, Speedshift sowie einige andere Optionen abzuschalten. OPNsense läuft nun seit 4 Tagen ohne einen einzigen Segfault. Welche BIOS Option genau das Problem hervorruft kann ich erst in 1-2 Wochen durch Trial and Error herausfinden.

Für mich bleibt weiterhin die Frage: Hardware oder Software Problem?!
Ich werde dazu auch einen Linux Stresstest mit aktiviertem Turbomode auf nur einem Thread laufen lassen, das müsste zum maximalen Turbotakt führen und zum Absturz, falls dieser hardwaremäßig nicht stabil ist. Wenn das stabil ist, würde ich das Problem bei OPNsense / freeBSD vermuten.

Beste Grüße,
|MatMan|

[franco]

Hardware-Probleme die durch Software-Mitigation eher auftreten... dann läuft FreeBSD vllt. noch "stabiler" als HardenedBSD. Um so mehr Mitigation eingebaut wird desto eher kann die Hardware "darüberstolpern" genau so wie eine Programmierfehler mit Mitigation eher zum Segfault führt als ohne.

Softwarefehler können wir zumindest nur für Syslog-ng feststellen im Moment.


Grüsse
Franco