Updates und Teststrategie von Opnsense

[u.n.known]

In den Docs selbst ist kaum was zu tests zu finden. In den Makefiles gibt's was zu Regressionstests. Damit endet das Thema Tests in der Doku.
Ja acme.sh gehört zu einem Plugin, war aber auch nur ein Beispiel von zweien, das andere gehörte in den Core.

Tests gehören zum Alltag von Softwareentwicklern und, ja, auch zu Community-Projekten. Es sei denn, man steht auf dem Standpunkt, dass Community-Projekte so cool sind, dass sie ohne Tests auskommen.
Sorry, das kann man durchaus anders sehen.

Naja, mittlerweile hab ich meine Portweiterleitungen wieder gefixt, die offenbar nichts mit meiner Config zu tun gehabt haben. Es war ein Core-Modul, was die alten Configs ignoriert hat, nach Neuanlage der Rules lief es durch. Aber gut, brauchen ja keine Tests, sind ja community... 

[mimugmail]

Ich kann den Fehler mit portforwards nach Update weg nicht reproduzieren, sorry. Wenn ich Forum und GitHub anschaue auch sonst keiner.

Wenn du wirklich dran interessiert bist komm ins IRC und frag AdSchellevis (tagsüber) oder issue in GitHub als Question. Da sind die unterwegs die das machen (davor gerne SuFu benutzen) 

[micneu]

@u.n.known ja, es war ärgerlich mit dem acme plugin, aber da es kein komerzieles produkt ist (und wir ja nichts dafür zahlen müssen) muss man damit einfach leben das es mal probleme gibt. ich denke wenn du eine 5stellige spende an die community machst, können die entwickler deine gewünschten test machen

ich habe mir einige projekte angeschaut, ipfire (war mir zu unflexibel), Ubiquiti EDGE Router (war mir auch zu unflexibel und die hardware war zu schwach), pfsense (da war ich schon ganz zufrieden, nur die gui war sehr lange nicht gepflegt worden), OPNsense (ist auch nicht alles perfekt, aber hier habe ich alles umgesetz was ich wollte, und es läuft gut) ich setze meine sense im privaten bereich ein.

[franco]

Hallöchen Marc,

Immer wieder tauchen Fehler in relativ häufig genutzten Modulen auf. Zum Beispiel, dass es einige Wochen nicht möglich war von let's encrypt wildcard-zertifikate zu beziehen oder zu erneuern.

Ich hätte das sehr gern quantifiziert und qualifiziert:

"immer wieder"
"relativ häufig genutzt"

Zum Thema LE interessiert mich der Bug Report mit den Details. Das Plugin selbst wird ordentlich und prompt von Frank gepflegt so weit ich das mitbekomme.

Jetzt hat das Firmware Update alle Portweiterleitungen zerlegt. Rules sind noch da, aber nichts geht mehr...

Ich sag einfach mal das ist jetzt eher ungewöhnlich...

Für ein minor release recht heftig.

Hier fehlt auch eine Quantifizierung/Qualifizierung: von welchem Update zu welchem. Wurde ein Reboot ausgeführt?

Daher frage ich mich, ob und wie Tests durchgeführt werden.

Ja.

Da, und das ist mein subjektiver Eindruck, immer wieder bugs bei nicht selten benutzten Features sich einschleichen.

Auch hier: "immer wieder", "benutzte Feratures", "einschlechen"

Ich kann den Frust prinzipiell nachvollziehen, aber Stand nach dem Post ist weder die Community noch die Core Entwickler haben hier Potential auszuhelfen bei den Ursachen für den Frust.


Grüsse
Franco

[superwinni2]

Ich möchte hier auch mal meinen Senf hinzu geben:
Ich bin bereits seit Version 18.1 in dem Projekt dabei.
Betreue mehrere Virtuelle OPNsense (von Kollegen und mir) sowie auch welche die auf Blech laufen. Teilweise auf der anderen Seite der blauen Kugel.
Ich hatte bisher noch kein Problem bei irgend einem Update. Egal ob Hotfix, Minor Release oder ähnliches.

Falls es doch mal Fehler geben würde:
Dafür ist alles in einer Hochverfügbarkeit konfiguriert. Wenn eben eine abraucht weil Update schief läuft, dann nehme ich eben meine Backup FW und alles läuft im schlimmsten Fall wieder innerhalb von wenigen Sekunden/Minuten.
Kostet mich vielleicht einmalig etwas Hardwarekosten wenn es Blechbezogen ist und regelmäßig etwas Strom. Dies ist jedoch absolut zu vernachlässigen wenn ich mir vorstelle, was eine kommerzielle FW an Hardware / Lizenzkosten und Support kostet. Wenn ich mir das als Gehalt vorstelle, brauche ich wohl in den nächsten
Jahren nicht mehr arbeiten gehen...


Seitdem ich auch verstanden habe, wie man die OPNsense richtig konfiguriert, hatte ich seitdem keine Ausfälle. Es lag regelmäßig einfach nur an der Konfiguration.
Und ja: Auch ich habe manchmal gedacht "Was für ein ***eiss, was hat man sich hierbei gedacht". Manchmal führen auch einfach mehrere Wege nach Rom.

Habe all meine OPNsense von 20.1.7 auf 20.1.8 geupdatet. Alle ohne Probleme.

Daher bin ich unter anderem auch auf dem Standpunkt:
Es wird genug getestet um Fehler im core auszuschließen.
Wenn man doch etwas ängstlich ist, muss man eben eine Hochverfügbarkeit aufsetzen.
Andere Hersteller machen ebenfalls Fehler. Aber man sieht immer nur die Fehler die man selbst hat und nicht die, die andere haben.

[u.n.known]

Hi Franco,

meine wiederholte Frage, war die: "wie testet ihr, wie ist eure Strategie/QA"?
Ach ja, um es zu quantifizeren: Die Frage war etliche male von mir in diesem Thread von mir gestellt worden.
UND NEIN, ich hab nicht um Hilfe nachgesucht!! (um auch dies zu quantifizieren)

"Prompt" ist übrigens auch etwas was man unter qualitativen und quantitativen Aspekten beleuchten sollte!

Für mich ist damit klar geworden, wie die Test-Strategie aussieht...

[franco]

> Für mich ist damit klar geworden, wie die Test-Strategie aussieht...

Dann brauch ich ja nichts zu erklären, prima.


Grüsse
Franco