OPNsense kappt Verbindung zum LAN

[negotiator]

Hallo zusammen,

seit Anfang des Jahres verwende ich OPNsense und taste mich seit dem regelmäßig weiter in das System und seine Möglichkeiten hinein. Ob es mit der Version zusammenhängt kann ich nicht sagen, aber gefühlt seit dem Update auf 20.7.3 habe ich das Problem, dass meine Clients auf der LAN Schnittstelle nicht mehr ins WAN kommen. Zugriff auf die Weboberfläche von OPNsense vom LAN aus klappt aber auch nicht mehr, so dass nur ein Neustart hilft.
Das Problem ist leider nicht reproduzierbar, tritt aber leider regelmäßig auf. Mal läuft zwei Wochen alles ohne Probleme, dann wieder habe ich drei Tage in Folge einen Ausfall. Bis auf eine Ausnahme passiert der Ausfall immer in der Nacht (morgens weckt dann der Sonos mit dem Wecker anstelle des Radios).

Da nach einem Ausfall relativ zügig das System wieder laufen muss, hatte ich bisher noch keine Gelegenheit, während des Ausfalls über die Konsole nach dem Fehler zu suchen, sondern zur Lösung wurde bisher immer ein Neustart ausgeführt. Bei einem der ersten Ausfälle konnte ich jedoch feststellen, dass das WAN Interface noch ansprechbar war, LAN war ausgefallen. Ob das bei allen Ausfällen so ist, ist nicht bekannt.

Leider bin ich kein ausgewiesener Linux-Experte, so dass ich nicht so recht weiss, wo ich ansetzen soll bzw. welche Logs mir konkret ansehen sollte. /var/log/system.log zeigt mir allerdings relativ häufig folgendes an:

Z.B. letzte Nacht, in zeitlichem Zusammenhang mit einem Ausfall:
Nov 13 04:17:46 OPNsense kernel: pflog0: promiscuous mode disabled
Nov 13 04:17:46 OPNsense kernel: pflog0: promiscuous mode enabled

Diese Meldung erscheint in den entsprechenden Nächten relativ häufig?!?

Zur Hardware:
OPNsense läuft in einer VM unter ESXi 6.5, ESXi hat OPNsense zwei Netzwerkkarten (VMXNET3), "internal" und "external" zugewiesen. Auf der "internal"-Karte liegen zusätzlich zwei VLANs auf, die in OPNsense als separate Interfaces "extrahiert" werden. "external" hängt direkt an einer FritzBox, die den Internetzugang bereitstellt.
ESXi weist der VM zwei CPU-Cores und 4GB RAM zu.

Habt ihr für mein Problem einen Ansatzpunkt?

Danke!

[micneu]

bitte auch einen netzwerkplan. so kann man das geschrieben besser verstehen.
bitte mehr informationen zur verwendentren hardware (sind in dieser realtek netzwerkkarten)?
wie alt ist die hardware?

[chemlud]

Hallo bei OPNsense!

Seit 20.7 hat sich einiges "unter der Haube" verändert, durch neue Version des Betriebssystems (FreeBSD 12). Ich hatte ein Problem mit wegfliegendem WAN Interface (allerdings nicht virtualisiert). Problem verschwand nach Neuinstallation und Import der Konfiguration.

[negotiator]

Schonmal vielen Dank für Eure schnelle Reaktion!
Verbaut ist Server-Hardware von Supermicro (X11SSH-TF) mit Intel-Netzwerkkarten (X550, allerdings beide Ports aktuell auf 1GB/s), Xeon E3-1240v6. Das System lief vorher aber auch wie beschrieben ewig lange stabil...
Ich hatte vergessen zu schreiben, dass ich die 20.7.3 bereits aus dem ISO neu installiert und die Config importiert habe. Es lief danach tatsächlich längere Zeit ohne Auffälligkeiten, aber im Laufe dieser Woche hatte ich leider wieder zwei Ausfälle.

Netzwerkplan liefere ich später nach, habe leider keinen zur Hand und muss erstmal kreativ werden :-)

[micneu]

bitte noch den grafischen netzwerkplan

[negotiator]

Hier noch der gewünschte Netzwerkplan - auf die wesentlichen Geräte beschränkt...
Neben dem VLAN für IoT gibt es noch ein Gast-Netz (primär über WLAN), das habe ich jetzt mal außen vor gelassen...

[negotiator]

Heute morgen wurde ich wieder vom Sonos mit dem Wecker anstelle des Radios geweckt. Ich habe vor dem Reboot mal einen Snapshot angelegt, so dass ich jetzt einen Stand habe, den ich untersuchen kann.
Habt ihr ein paar Tipps, wo ich ansetzen könnte?

[micneu]

und jetzt frage ich trotzdem nochmal was für eine hardware setzt du deine sense ein?
auch die vm muss auf einer hardware laufen

[negotiator]

Moin,
steht doch in Reply #3 vom Freitag - oder was konkret fehlt noch?

[micneu]

hast du mal versucht die sense auf richtiger hardware laufen zu lassen ob sie dann stabiler läuft?
ich habe meine sense seit mindestens 2 jahren nur auf echtem blech laufen, nie abbrüche bei meiner verbindung

[Gauss23]

Mal in Erwägung gezogen den ESXi auf 7.x zu aktualisieren?
Alternativ statt VMXNET3 eine andere Emulation ausprobiert? Muss man natürlich die Interfaces neu zuweisen. VMXNET3 und 20.7 ist aktuell noch ein etwas schwieriges Thema. Bei mir läuft es mit ESXi stabil aber ich habe viele andere Nutzer mit Problemen insbesondere mit älteren ESXi Versionen gehört.

[JeGr]

Also ich hatte bei OPNsense in VMware ständig unsinnige Probleme, die ich mit pfSense nicht nachvollziehen konnte, bei gleicher Einstellung von beiden VMs und minimalen Settings. Am Ende war es die Änderung auf Intel 1000 Server NIC statt VMXNET damit sich die OPNsense VMs beruhigt haben und ordentlich gelaufen sind. Gerade bei IPv6 und CARP gabs ziemlich nebulöse Probleme, die ich mit FreeBSD und pfSense nicht hatte, daher würde ich an deiner Stelle einfach mal die Virtualisierung auf die Gigabit Intel NICs umstellen und mit dem emX devices testen. Welcher ESX war da zudem egal, 6.x oder 7.x hatten beide seltsame Probleme.

[negotiator]

Vielen Dank für eure Rückmeldungen.
"Schlachtplan" ist wie folgt:

• Aktivierung "Hardware offloading" für die VMXNET3-Schnittstellen (habe dazu noch einen Thread im englischsprachigen Teil gefunden)
• Falls das nicht hilft: Umstellung auf Intel-NICs / E1000e-Adapter
• Falls das nicht hilft: Installation von OPNsense auf "echtem Blech" und Import der Konfiguration
• Falls das nicht hilft (soweit wird es hoffentlich nicht kommen): Komplette Neuinstallation und Neu-Konfiguration

Umstellung auf ESXi 7.0 ist aktuell keine Option, da Passthrough der Onboard-SATA-Ports an die VM für den Filer damit nicht geht. HBAs habe ich zwar noch reichlich rumliegen, aber ich würde gerne vermeiden, auf der Maschine nochmal 10W Strom zu verbraten...