Updates und Teststrategie von Opnsense

[u.n.known]

Hallo,

gerade hab ich die Firmware geupdated und damit meinen opnsense-frustlevel erhöht.

Was mich mal interessiert:
Immer wieder tauchen Fehler in relativ häufig genutzten Modulen auf. Zum Beispiel, dass es einige Wochen nicht möglich war von let's encrypt wildcard-zertifikate zu beziehen oder zu erneuern.
Jetzt hat das Firmware Update alle Portweiterleitungen zerlegt. Rules sind noch da, aber nichts geht mehr...

Für ein minor release recht heftig.

Daher frage ich mich, ob und wie Tests durchgeführt werden. Da, und das ist mein subjektiver Eindruck, immer wieder bugs bei nicht selten benutzten Features sich einschleichen.

Viele Grüße
Marc

[lfirewall1243]

Von welcher Version auf welche hast du geupdated

[micneu]

Das wollte ich auch fragen, bei mir läuft alles
- portweiterleitung
- openvpn
- WireGuard
Habe von der 20.1.7 —> 20.1.8
auf echtem Blech


Gesendet von iPhone mit Tapatalk Pro

[u.n.known]

Bei mir waren es die Versionen ebenfalls 2020.1.7 auf 8. Nur nicht auf Blech.

Aber letztlich ist die Frage auch nicht die, warum es jetzt nicht geht. Das bekomme ich schon wieder hin.
Meine Frage bezog sich eher auf die Qualitätssicherung mittels Tests.

[lfirewall1243]

Nunja die Frage ist nicht unwichtig. Warst du jetzt z.B. noch auf 18 gewesen und dann direkt aufs neuste hatte was schiefgehen können.

Aber bei dem kleinen Sprung sollte alles passen, da hast du Recht

[mimugmail]

Also ich hab gestern noch Firewalls von 18.7.8 auf 20.1.7 hochgezogen (vom Kunden verwaltetes System). Das ist dann ein lokales Problem an deiner Konfiguration und nicht dem Q&A.

[micneu]

Wie hast du es denn wieder in den Griff bekommen, hast du dein Config Backup eingelesen?


Gesendet von iPad mit Tapatalk Pro

[u.n.known]

Ich hab genug Redundanz, dass ich erstmal auf die eine verzichten kann.

Allerdings stellt sich für mich immer noch die Frage nach QA. Nachdem immer wieder ähnlich gelagerte Themen auftreten, fragt sich ob das dann letztlich eine gute Wahl war. Features hin oder her, wenn ein Update, sei es plug in oder firmware, ein Spiel mit dem Feuer ist, dann kommen einen solche Gedanken.

[lfirewall1243]

Also ich kann dich da verstehen. Allerdings denke ich ebenfalls, dass es nicht mit dem QA zusammen hängt sondern mit "Fehlern" in deiner Config.

Das gibt's überall mal

[u.n.known]

Was ich bemerkenswert finde ist, dass anscheinend keiner die Frage beantworten mag.

Gibt es vor releases automatisierte Tests? Gibt es Testpläne? Gibt's überhaupt eine QA oder ist die so streng geheim, daß keiner was drüber weiß?

Aufgrund der anderen Fehler, hier zum Beispiel das Thema mit der Acme.sh würde ich schon fast dahin tendieren, das maximal unit tests aber kein test auf das Gesamtsystem, geschweige denn funktionale Tests oder e2e gemacht werden. Etwas was mich langsam unruhig macht

[lfirewall1243]

Gute Frage

Fände ich auch interessant:)

[u.n.known]

Wir investieren einen hohen Anteil unserer Arbeit unter anderem in Tests, das ist nicht wenig, um die testpyramide weitestgehend abzudecken. Eine Firewall ist sicher nicht das einfachste System, um es komplett unter test zu stellen. Aber für ein dermaßen wichtiges System ist es unerlässlich. Vor allem, wenn man auch noch einen gewissen kommerziellen Erfolg haben möchte.

[mimugmail]

Wir investieren einen hohen Anteil unserer Arbeit unter anderem in Tests, das ist nicht wenig, um die testpyramide weitestgehend abzudecken. Eine Firewall ist sicher nicht das einfachste System, um es komplett unter test zu stellen. Aber für ein dermaßen wichtiges System ist es unerlässlich. Vor allem, wenn man auch noch einen gewissen kommerziellen Erfolg haben möchte.

Du weißt aber schon das OPNsense ein community Project ist? Klar gibt's hin und wieder Mal Fehler. Aber darf ich an das RED Debakel von Sophos in 9.6 erinnern? Wo alle Geräte gleichzeitig aufgegeben haben? Und innerhalb von 2 Monaten 2 RCE Bugs in der XG. Abonnier mal den Security Feed von Cisco, da läuft's drunter und drüber. Durchsuch Mal die issues in GitHub, da hat Franco das Mal umrissen wie das aussieht.

[u.n.known]

Ja, natürlich weil es ein community Projekt ist, stelle ich die Frage nach z. B. Tests. Heißt ja nicht, weil etwas community ist kommt es ohne aus. Eher im gegenteil. Viele Projekte aus der community sind deutlich stabiler und besser abgesichert als kommerzielle Produkte. Das liegt gerade daran, dass die maintainer ein hohes Interesse an der Stabilität haben. Insofern habe ich gehofft, dass ich auf die Frage auch ein einfaches "schau mal, hier sind die Tests und so arbeiten wir hier mit ihnen" als Antwort bekomme.
Wenn die Leute von Cisco oder sophos einen nicht so guten Job machen, sollte uns das nicht wirklich interessieren, auch sollten wir uns dann daran auch nicht messen.

[mimugmail]

Macht auch keiner, aber du zweifelst das Projekt an ohne dich informiert zu haben, während andere hier sehr viel Freizeit reinstecken.

Lies doch mal in den docs wie das Projekt aufgebaut ist. Lets Encrypt ist ein community Plugin, also kein core support, dafür gibt's sicher kein release testing und der plugin maintainer ist dafür verantwortlich.