Hallo,
gerade hab ich die Firmware geupdated und damit meinen opnsense-frustlevel erhöht.
Was mich mal interessiert:
Immer wieder tauchen Fehler in relativ häufig genutzten Modulen auf. Zum Beispiel, dass es einige Wochen nicht möglich war von let's encrypt wildcard-zertifikate zu beziehen oder zu erneuern.
Jetzt hat das Firmware Update alle Portweiterleitungen zerlegt. Rules sind noch da, aber nichts geht mehr...
Für ein minor release recht heftig.
Daher frage ich mich, ob und wie Tests durchgeführt werden. Da, und das ist mein subjektiver Eindruck, immer wieder bugs bei nicht selten benutzten Features sich einschleichen.
Viele Grüße
Marc
Von welcher Version auf welche hast du geupdated
Das wollte ich auch fragen, bei mir läuft alles
- portweiterleitung
- openvpn
- WireGuard
Habe von der 20.1.7 —> 20.1.8
auf echtem Blech
Gesendet von iPhone mit Tapatalk Pro
Bei mir waren es die Versionen ebenfalls 2020.1.7 auf 8. Nur nicht auf Blech.
Aber letztlich ist die Frage auch nicht die, warum es jetzt nicht geht. Das bekomme ich schon wieder hin.
Meine Frage bezog sich eher auf die Qualitätssicherung mittels Tests.
Nunja die Frage ist nicht unwichtig. Warst du jetzt z.B. noch auf 18 gewesen und dann direkt aufs neuste hatte was schiefgehen können.
Aber bei dem kleinen Sprung sollte alles passen, da hast du Recht
Also ich hab gestern noch Firewalls von 18.7.8 auf 20.1.7 hochgezogen (vom Kunden verwaltetes System). Das ist dann ein lokales Problem an deiner Konfiguration und nicht dem Q&A.
Wie hast du es denn wieder in den Griff bekommen, hast du dein Config Backup eingelesen?
Gesendet von iPad mit Tapatalk Pro
Ich hab genug Redundanz, dass ich erstmal auf die eine verzichten kann.
Allerdings stellt sich für mich immer noch die Frage nach QA. Nachdem immer wieder ähnlich gelagerte Themen auftreten, fragt sich ob das dann letztlich eine gute Wahl war. Features hin oder her, wenn ein Update, sei es plug in oder firmware, ein Spiel mit dem Feuer ist, dann kommen einen solche Gedanken. :(
Also ich kann dich da verstehen. Allerdings denke ich ebenfalls, dass es nicht mit dem QA zusammen hängt sondern mit "Fehlern" in deiner Config.
Das gibt's überall mal
Was ich bemerkenswert finde ist, dass anscheinend keiner die Frage beantworten mag.
Gibt es vor releases automatisierte Tests? Gibt es Testpläne? Gibt's überhaupt eine QA oder ist die so streng geheim, daß keiner was drüber weiß?
Aufgrund der anderen Fehler, hier zum Beispiel das Thema mit der Acme.sh würde ich schon fast dahin tendieren, das maximal unit tests aber kein test auf das Gesamtsystem, geschweige denn funktionale Tests oder e2e gemacht werden. Etwas was mich langsam unruhig macht
Gute Frage
Fände ich auch interessant:)
Wir investieren einen hohen Anteil unserer Arbeit unter anderem in Tests, das ist nicht wenig, um die testpyramide weitestgehend abzudecken. Eine Firewall ist sicher nicht das einfachste System, um es komplett unter test zu stellen. Aber für ein dermaßen wichtiges System ist es unerlässlich. Vor allem, wenn man auch noch einen gewissen kommerziellen Erfolg haben möchte.
Quote from: u.n.known on July 02, 2020, 08:59:59 PM
Wir investieren einen hohen Anteil unserer Arbeit unter anderem in Tests, das ist nicht wenig, um die testpyramide weitestgehend abzudecken. Eine Firewall ist sicher nicht das einfachste System, um es komplett unter test zu stellen. Aber für ein dermaßen wichtiges System ist es unerlässlich. Vor allem, wenn man auch noch einen gewissen kommerziellen Erfolg haben möchte.
Du weißt aber schon das OPNsense ein community Project ist? Klar gibt's hin und wieder Mal Fehler. Aber darf ich an das RED Debakel von Sophos in 9.6 erinnern? Wo alle Geräte gleichzeitig aufgegeben haben? Und innerhalb von 2 Monaten 2 RCE Bugs in der XG. Abonnier mal den Security Feed von Cisco, da läuft's drunter und drüber. Durchsuch Mal die issues in GitHub, da hat Franco das Mal umrissen wie das aussieht.
Ja, natürlich weil es ein community Projekt ist, stelle ich die Frage nach z. B. Tests. Heißt ja nicht, weil etwas community ist kommt es ohne aus. Eher im gegenteil. Viele Projekte aus der community sind deutlich stabiler und besser abgesichert als kommerzielle Produkte. Das liegt gerade daran, dass die maintainer ein hohes Interesse an der Stabilität haben. Insofern habe ich gehofft, dass ich auf die Frage auch ein einfaches "schau mal, hier sind die Tests und so arbeiten wir hier mit ihnen" als Antwort bekomme.
Wenn die Leute von Cisco oder sophos einen nicht so guten Job machen, sollte uns das nicht wirklich interessieren, auch sollten wir uns dann daran auch nicht messen.
Macht auch keiner, aber du zweifelst das Projekt an ohne dich informiert zu haben, während andere hier sehr viel Freizeit reinstecken.
Lies doch mal in den docs wie das Projekt aufgebaut ist. Lets Encrypt ist ein community Plugin, also kein core support, dafür gibt's sicher kein release testing und der plugin maintainer ist dafür verantwortlich.
In den Docs selbst ist kaum was zu tests zu finden. In den Makefiles gibt's was zu Regressionstests. Damit endet das Thema Tests in der Doku.
Ja acme.sh gehört zu einem Plugin, war aber auch nur ein Beispiel von zweien, das andere gehörte in den Core.
Tests gehören zum Alltag von Softwareentwicklern und, ja, auch zu Community-Projekten. Es sei denn, man steht auf dem Standpunkt, dass Community-Projekte so cool sind, dass sie ohne Tests auskommen.
Sorry, das kann man durchaus anders sehen.
Naja, mittlerweile hab ich meine Portweiterleitungen wieder gefixt, die offenbar nichts mit meiner Config zu tun gehabt haben. Es war ein Core-Modul, was die alten Configs ignoriert hat, nach Neuanlage der Rules lief es durch. Aber gut, brauchen ja keine Tests, sind ja community... ;D 8)
Ich kann den Fehler mit portforwards nach Update weg nicht reproduzieren, sorry. Wenn ich Forum und GitHub anschaue auch sonst keiner.
Wenn du wirklich dran interessiert bist komm ins IRC und frag AdSchellevis (tagsüber) oder issue in GitHub als Question. Da sind die unterwegs die das machen (davor gerne SuFu benutzen) ;)
@u.n.known ja, es war ärgerlich mit dem acme plugin, aber da es kein komerzieles produkt ist (und wir ja nichts dafür zahlen müssen) muss man damit einfach leben das es mal probleme gibt. ich denke wenn du eine 5stellige spende an die community machst, können die entwickler deine gewünschten test machen :)
ich habe mir einige projekte angeschaut, ipfire (war mir zu unflexibel), Ubiquiti EDGE Router (war mir auch zu unflexibel und die hardware war zu schwach), pfsense (da war ich schon ganz zufrieden, nur die gui war sehr lange nicht gepflegt worden), OPNsense (ist auch nicht alles perfekt, aber hier habe ich alles umgesetz was ich wollte, und es läuft gut) ich setze meine sense im privaten bereich ein.
Hallöchen Marc,
Quote from: u.n.known on July 02, 2020, 05:20:43 PM
Immer wieder tauchen Fehler in relativ häufig genutzten Modulen auf. Zum Beispiel, dass es einige Wochen nicht möglich war von let's encrypt wildcard-zertifikate zu beziehen oder zu erneuern.
Ich hätte das sehr gern quantifiziert und qualifiziert:
"immer wieder"
"relativ häufig genutzt"
Zum Thema LE interessiert mich der Bug Report mit den Details. Das Plugin selbst wird ordentlich und prompt von Frank gepflegt so weit ich das mitbekomme.
Quote from: u.n.known on July 02, 2020, 05:20:43 PM
Jetzt hat das Firmware Update alle Portweiterleitungen zerlegt. Rules sind noch da, aber nichts geht mehr...
Ich sag einfach mal das ist jetzt eher ungewöhnlich...
Quote from: u.n.known on July 02, 2020, 05:20:43 PM
Für ein minor release recht heftig.
Hier fehlt auch eine Quantifizierung/Qualifizierung: von welchem Update zu welchem. Wurde ein Reboot ausgeführt?
Quote from: u.n.known on July 02, 2020, 05:20:43 PM
Daher frage ich mich, ob und wie Tests durchgeführt werden.
Ja.
Quote from: u.n.known on July 02, 2020, 05:20:43 PM
Da, und das ist mein subjektiver Eindruck, immer wieder bugs bei nicht selten benutzten Features sich einschleichen.
Auch hier: "immer wieder", "benutzte Feratures", "einschlechen"
Ich kann den Frust prinzipiell nachvollziehen, aber Stand nach dem Post ist weder die Community noch die Core Entwickler haben hier Potential auszuhelfen bei den Ursachen für den Frust.
Grüsse
Franco
Ich möchte hier auch mal meinen Senf hinzu geben:
Ich bin bereits seit Version 18.1 in dem Projekt dabei.
Betreue mehrere Virtuelle OPNsense (von Kollegen und mir) sowie auch welche die auf Blech laufen. Teilweise auf der anderen Seite der blauen Kugel.
Ich hatte bisher noch kein Problem bei irgend einem Update. Egal ob Hotfix, Minor Release oder ähnliches.
Falls es doch mal Fehler geben würde:
Dafür ist alles in einer Hochverfügbarkeit konfiguriert. Wenn eben eine abraucht weil Update schief läuft, dann nehme ich eben meine Backup FW und alles läuft im schlimmsten Fall wieder innerhalb von wenigen Sekunden/Minuten.
Kostet mich vielleicht einmalig etwas Hardwarekosten wenn es Blechbezogen ist und regelmäßig etwas Strom. Dies ist jedoch absolut zu vernachlässigen wenn ich mir vorstelle, was eine kommerzielle FW an Hardware / Lizenzkosten und Support kostet. Wenn ich mir das als Gehalt vorstelle, brauche ich wohl in den nächsten
Jahren nicht mehr arbeiten gehen...
Seitdem ich auch verstanden habe, wie man die OPNsense richtig konfiguriert, hatte ich seitdem keine Ausfälle. Es lag regelmäßig einfach nur an der Konfiguration.
Und ja: Auch ich habe manchmal gedacht "Was für ein ***eiss, was hat man sich hierbei gedacht". Manchmal führen auch einfach mehrere Wege nach Rom.
Habe all meine OPNsense von 20.1.7 auf 20.1.8 geupdatet. Alle ohne Probleme.
Daher bin ich unter anderem auch auf dem Standpunkt:
Es wird genug getestet um Fehler im core auszuschließen.
Wenn man doch etwas ängstlich ist, muss man eben eine Hochverfügbarkeit aufsetzen.
Andere Hersteller machen ebenfalls Fehler. Aber man sieht immer nur die Fehler die man selbst hat und nicht die, die andere haben.
Hi Franco,
meine wiederholte Frage, war die: "wie testet ihr, wie ist eure Strategie/QA"?
Ach ja, um es zu quantifizeren: Die Frage war etliche male von mir in diesem Thread von mir gestellt worden.
UND NEIN, ich hab nicht um Hilfe nachgesucht!! (um auch dies zu quantifizieren)
"Prompt" ist übrigens auch etwas was man unter qualitativen und quantitativen Aspekten beleuchten sollte! ;)
Für mich ist damit klar geworden, wie die Test-Strategie aussieht...
> Für mich ist damit klar geworden, wie die Test-Strategie aussieht...
Dann brauch ich ja nichts zu erklären, prima. :)
Grüsse
Franco