Hallo,
aktuell habe ich das Problem dass reproduzierbar IPv6 nach einiger Zeit (<1 Tag) "ausfällt".
Das ganze passiert, ohne dass ich etwas an den Einstellungen ändere.
Starte ich OPNsense neu, kann ich den Google DNS Server problemlos anpingen:
(https://i.imgur.com/YAZTdkX.png)
Im Fehlerfall sieht es dann aber so aus:
(https://i.imgur.com/59UL8bv.png)
Ich habe eine Kabelanschluss und verwende ein TC4400 vor der OPNsense.
DHCPv6 habe ich für WAN folgendermaßen konfiguriert:
Use IPv4 connectivity : [x]
Prefix delegation size: 56
Request prefix only : [ ]
Send prefix hint : [x]
Interfaces
(https://i.imgur.com/XhyyQUJ.png)
Ich verwende aktuell Version 24.7_5, habe aber gerade auch noch das update auf 24.7_9 gemacht und nochmal neu gestartet.
Aktuell bin ich ziemlich planlos, was die Ursache sein könnte.
Habt ihr noch eine Idee wo ich nachforschen könnte?
Vielen Dank schon mal für eure Hilfe!
Edit:
Heute morgen für den Post neu gestartet, jetzt (nach ~8h) geht IPv6 schon wieder nicht.
Im log gibts warnings und errors. Starte ich den service "Router Advertisement Daemon" neu geht alles wieder
Edit2:
Heute bringt der RAD Neustart keine besserung
2024-08-03T18:42:17 Error opnsense /interfaces.php: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 64346'
....
2024-08-03T18:42:12 Notice opnsense /usr/local/etc/rc.newwanipv6: ROUTING: keeping inet6 default route to fe80::105:e201:22b3:3670%igb1
2024-08-03T18:42:12 Notice opnsense /usr/local/etc/rc.newwanipv6: ROUTING: configuring inet6 default gateway on wan
2024-08-03T18:42:12 Notice opnsense /usr/local/etc/rc.newwanipv6: ROUTING: entering configure using 'wan'
2024-08-03T18:42:11 Warning radvd exiting, 1 sigterm(s) received
2024-08-03T18:42:09 Error opnsense /usr/local/etc/rc.newwanipv6: The command '/bin/kill -'TERM' '34935''(pid:/var/dhcpd/var/run/dhcpdv6.pid) returned exit code '1', the output was 'kill: 34935: No such process'
2024-08-03T18:42:09 Notice opnsense /usr/local/etc/rc.newwanipv6: plugins_configure dhcp (execute task : dhcpd_dhcp_configure(,inet6))
2024-08-03T18:42:09 Notice opnsense /usr/local/etc/rc.newwanipv6: plugins_configure dhcp (,inet6)
2024-08-03T18:42:09 Notice opnsense /usr/local/etc/rc.newwanipv6: IP renewal starting (address: 2a02:XXXX:XXXX:XXXX:18c9, interface: wan, device: igb1)
...
2024-08-03T18:41:59 Error opnsense /interfaces.php: The command '/usr/sbin/daemon -f -p '/var/run/dhcpleases6.pid' '/usr/local/opnsense/scripts/dhcp/prefixes.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 99578'
Gibt es irgendeine Möglichkeit zyklisch neu zu starten? Im Moment mach ich händisch ein bis drei Neustarts am Tag und das ist wirklich sehr nervig.
Vielleicht kannat du was mit monit machen.
Z.B. ping check auf remote ipv6 adresse und wenn der fehlschlägt dann triggert das ein router advertisement service neustart.
Danke für deine schnelle Antwort.
Heute bringt der Neustart des RAD-Services leider keine Besserung, d.h. es bleibt mir aktuell nur ein kompletter System Neustart.
Ist das mit Monit auch möglich?
Bei IPv6 kennt sich Franco besser aus, vielleicht sieht er ja diesen Thread und kann sagen woran es liegt, dass IPv6 überhaupt ausfällt. Das wäre nachhaltiger als komplette restarts zu machen.
Ja, da hast du natürlich recht - die Ursache zu beseitigen wäre natürlich optimal!
Vielleicht schaut er ja im lauf der Woche rein - ich wäre über Hilfe echt dankbar.
Aktuell laufen viele Dienste beim Verbindungsversuch über IPv6 (DNS über IPv4 löst korrekt auf und gibt IPv6 zurück) in den Timeout und z.B. bei vielen Apps / Thunderbird sehe ich einfach einen endlosen Spinner (default Timeout ist glaube ich 5min).
Das fühlt sich dann so an, als hätte ich gar kein Internet.
Lieber auf 24.7.1 warten und dann noch mal beobachten. Ausfallen sollte es nicht. Ich nehme erstmal an nach 8 Stunden soll die Lease erneuert werden und das klappt dann nicht, aber der Neustart ist (immer) ok?
Grüsse
Franco
Genau! Ich würde auch erstmal nachsehen, wie lang die Lease Time ist. Wer ist denn der ISP?
Wo kann ich denn schauen wie lange die Lease Time ist?
Der aktuelle Ausfall war jetzt nach 6h. Provider ist Vodafone
Hast du im Dasbord unter Gateways mal nachgeschaut ob sich beim Ausfall irgendwetwas an deinem IPv6-Gateway geändert hat?
Quote from: DrSchnitzel on August 05, 2024, 04:54:56 PM
Wo kann ich denn schauen wie lange die Lease Time ist?
Im GUI werden die Lease Times nicht angezeigt,soweit ich weis. Man muss auf die Kommandozeile:
fgrep "IA_PD prefix: " /var/log/system/system_2024* | tail -10Da findest Du Werte für pltime (preferred) und vltime (valid) in Sekunden. Wie Vodafone Lease Times handhabt, weiß ich nicht. Nach der pltime versucht der dhcp6c das Lease zu erneuern, nach der vltime wird es verworfen. Wenn das zufällig Deiner Ausfallzeit entspricht, dann liegt das Problem darin, dass das Lease nicht erneuert wird.
Im Dashboard unter Gateways bleibt alles gleich und es ändert sich nichts.
fgrep findet leider nichts:
root@OPNsense:~ # fgrep "prefix: " /var/log/system/system_20240805.log
root@OPNsense:~ # fgrep "prefix: " /var/log/system/system_20240806.log
root@OPNsense:~ # tail -n 10 /var/log/system/system_20240806.log
Als ich mit tail mal in die Datei geschaut habe fiel mir auf dass es mehrere dieser Fehlermeldungen gibt.
Könnte das die Ursache sein?
root@OPNsense:~ # fgrep "process already running" /var/log/system/system_20240806.log
<11>1 2024-08-06T04:57:22+02:00 OPNsense.localdomain opnsense 67342 - [meta sequenceId="66"] /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 8577'
root@OPNsense:~ # fgrep "process already running" /var/log/system/system_20240805.log
<11>1 2024-08-05T16:57:25+02:00 OPNsense.localdomain opnsense 51959 - [meta sequenceId="14"] /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 45609'
<11>1 2024-08-05T22:57:09+02:00 OPNsense.localdomain opnsense 96270 - [meta sequenceId="33"] /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/dhcpleases6.pid' '/usr/local/opnsense/scripts/dhcp/prefixes.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 29992'
<11>1 2024-08-05T22:57:21+02:00 OPNsense.localdomain opnsense 96270 - [meta sequenceId="68"] /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 32511'
Muss nicht unbedingt an der Sense liegen.
Lass mich raten, du hast Voodoofone als Provider?
Bei den Nasen hab ich auch dauernd Probleme bei IPv6.
Das IPv6-Peering und -Routing bei denen ist grottenschlecht, andauernd Abbrüche und Probleme mit DNS.
Ist das TC4400 original oder selbst gekauft?
Sobald ich hier (Raum Nürnberg) eine andere Box als die Provider-Box anstöpsel, wird es nur noch schlimmer.
Die Lease-Time des Prefix ist bei mir knapp eine Woche, das der Adresse knapp 2 h (laut Fritzbox).
Allerdings habe ich ein festes Prefix (und ne feste IPv4/v6).
//Edith:
Was für ein Prefix bekommst du?
Größer als 62?
Wenn man bei denen versucht, ein größeres Netz zu beziehen, geht gar nichts mehr.
Eventuell mal mit dem Prefix Hint rum spielen?
Brauchst du mehrere (>4) Netze für VLANs oder reicht dir eins?
Ich betreibe das TC4400 jetzt seit über 5 Jahre am Anschluss und hatte bisher noch keine Probleme mit IPv6.
Im Backup habe ich nachgeschaut und die Einstellungen für IPv6 sind immer die gleichen (siehe erster Post).
Die Probleme fingen an als ich vor 2-3 Wochen das update von 24.1.? auf 24.1.MAX gemacht habe und blieben dann als ich auf 24.7 gewechselt bin. Kann natürlich immer noch Zufall sein aber es ist doch ein starker Indikator dass mit der OPNsense irgendwas nicht ganz passt und dass es eben nicht an Vodafone liegt. Dafür würde auch sprechen, dass nach einem reboot alles funktioniert.
Entweder hat das update meine Installation zerschossen (vielleicht sprechen die Fehlermeldungen dafür?), ich muss irgendwelche Einstellungen noch korrekt anpassen (bin mir aber nicht sicher welche) oder es ist ein Bug.
Ich hab jetzt OPNsense neu installiert, aber das Problem besteht weiterhin.
Auch bei der neuen Installation habe ich folgende Fehlermeldungen im log.
Hat jemand eine Idee, was die Ursache sein könnte?
2024-08-09T04:20:18 Error opnsense /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 79799'
2024-08-09T04:19:54 Error dhclient unknown dhcp option value 0x64
2024-08-08T22:20:18 Error opnsense /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 31434'
2024-08-08T22:20:06 Error opnsense /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/dhcpleases6.pid' '/usr/local/opnsense/scripts/dhcp/prefixes.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 80960'
2024-08-08T22:19:54 Error dhclient unknown dhcp option value 0x64
2024-08-08T16:20:42 Error opnsense /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 50951'
2024-08-08T16:20:37 Warning radvd exiting, 1 sigterm(s) received
2024-08-08T16:20:35 Warning opnsense /usr/local/sbin/pluginctl: warning: ignoring missing default tunable request: debug.pfftpproxy
2024-08-08T14:20:11 Warning opnsense /usr/local/etc/rc.bootup: dhcpd_radvd_configure(auto) found no suitable IPv6 address on lan(igb0)
2024-08-08T16:19:54 Error dhclient unknown dhcp option value 0x64
Zu unknown dhcp option value 0x64 findest du hier die Info, warum das ignoriert werden kann:
https://forum.opnsense.org/index.php?topic=35827.0
Hast du mehrere DHCP-Server auf der Sense aktiviert? Deine Log sagt, das da bereits ein DHCP-Prozess läuft.
Super - vielen dank für die Info.
Quote from: osmom on August 09, 2024, 10:10:48 AM
Hast du mehrere DHCP-Server auf der Sense aktiviert? Deine Log sagt, das da bereits ein DHCP-Prozess läuft.
KEA DHCP ist unter Control Agent deaktiviert. Ansonsten halt ISC DHCPv4 auf jedem lokalen interface.
Gibt es sonst noch einen DHCP?
Ich bekomme ähnliche Fehler auch für andere Dienste, hast du eine Idee warum?
2024-08-09T17:36:55 Error opnsense /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 62998'
2024-08-09T17:36:47 Error dhclient unknown dhcp option value 0x64
2024-08-09T11:37:09 Warning radvd exiting, 1 sigterm(s) received
2024-08-09T11:37:09 Error opnsense /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 33332'
2024-08-09T11:37:08 Warning opnsense /usr/local/sbin/pluginctl: warning: ignoring missing default tunable request: debug.pfftpproxy
2024-08-09T11:36:52 Warning opnsense /usr/local/etc/rc.bootup: dhcpd_radvd_configure(auto) found no suitable IPv6 address on lan(igb0)
Quote from: franco on August 05, 2024, 09:04:04 AM
Lieber auf 24.7.1 warten und dann noch mal beobachten.
Das Update auf 24.7.1 bringt keine Besserung.
IPv6 funktioniert weiterhin nach 6-8 h nicht mehr und folgende Fehler sind im immer noch Log:
2024-08-11T07:09:04 Error opnsense /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 3091'
2024-08-11T07:08:43 Error dhclient unknown dhcp option value 0x64
2024-08-11T01:08:54 Error opnsense /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/dhcpleases6.pid' '/usr/local/opnsense/scripts/dhcp/prefixes.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 27265'
2024-08-11T01:08:51 Error opnsense /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 92235'
Bevor das weiter so geht hier bitte mal DHCPv6 verbose logging einstellen und die "dhcp6c" Einträge im System Log heraussuchen. Alles andere ist eher peripher.
>/usr/local/sbin/pluginctl: warning: ignoring missing default tunable request: debug.pfftpproxy
Ziemlich alte Installation, nicht wahr? ;)
Grüsse
Franco
Hallo Franco,
Quote from: franco on August 11, 2024, 08:48:19 PM
>/usr/local/sbin/pluginctl: warning: ignoring missing default tunable request: debug.pfftpproxy
Ziemlich alte Installation, nicht wahr? ;)
Nein - ich habe am 08.08 eine komplette Neuinstallation des OPNsense nano images vorgenommen und mein Backup eingespielt.
Zum Zeitpunkt des Logeintrags ist die Installation so frisch - sie glüht quasi noch. ;)
Die ursprüngliche Installation war aber tatsächlich eine sehr alte, die immer durch Updates auf dem neuesten Stand gehalten wurde. Damit habe ich auch das Backup erzeugt. Einen Einfluss sollte das aber nicht haben, oder?
Soll ich den Eintrag
<item>
<descr>Disable the pf ftp proxy handler.</descr>
<tunable>debug.pfftpproxy</tunable>
<value>default</value>
</item>
aus dem backup.xml löschen?
Ansonsten finde ich wieder diese Errors:
2024-08-13T02:38:55 Error opnsense /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 54706'
2024-08-12T20:38:58 Error opnsense /usr/local/etc/rc.newwanipv6: The command '/usr/sbin/daemon -f -p '/var/run/dhcpleases6.pid' '/usr/local/opnsense/scripts/dhcp/prefixes.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 66710'
2024-08-12T20:38:55 Error opnsense /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 90079'
2024-08-12T14:39:13 Error opnsense /usr/local/etc/rc.newwanip: The command '/usr/sbin/daemon -f -p '/var/run/updaterrd.pid' '/var/db/rrd/updaterrd.sh'' returned exit code '3', the output was 'daemon: process already running, pid: 58655'
Im Anhang noch wie gewünscht das system.log gefiltert auf "dhcp6c".
Vielen Dank schon mal für deine Hilfe!
Ja, debug.pfftpproxy kann raus. Aber das nur am Rande.
Hast du nen Cron Job für Interface Reset laufen? 20:38, 02:38, 14:38? Die Valid Lifetime ist ja 24h, oder die IPv6 Lease time ist kürzer... Was scheinbar passiert ist, dass ein Release ausgeführt wird aber gleichzeitig auch ein Solicit. Und das Release gewinnt am Ende. Habe ich so noch nicht gesehen.
Grüsse
Franco
PS: Was mir noch auffällt ist, dass der DHCPv6 Server sehr langsam oder gar nicht auf Release reagiert. Der Fehler ist zwar letztlich im Client, aber trotzdem ist das unsinnig: das Release wird so lange verzögert bis das erfolgreiche Solicit/Renew überschrieben wird...
Vielen Dank für die Analyse @Franco!
Nein - ich habe keinen Cronjob für Interface Reset am laufen (zumindest ist nichts von mir angelegt).
Hast du eine Idee, woher die kommen?
Was kann ich sonst noch tun um den Fehler besser einzugrenzen oder ihn im Idealfall zu beheben?
Ich teste gerade. Da stimmt etwas nicht mit dem Release Verhalten im Client in so einem Grenzfall.
Grüsse
Franco
https://github.com/opnsense/dhcp6c/commit/9b2bb4d5004f
# pkg add -f https://pkg.opnsense.org/FreeBSD:14:amd64/snapshots/misc/dhcp6c-20240710_1.pkg
Bitte neu starten und beobachten. Habe es hier auch am laufen und Renew läuft weiter normal durch, nur nun ohne über RELEASE/INIT zu stolpern beim SIGHUP.
Grüsse
Franco
Ich habe es eingespielt und mal neu gestartet.
Muss ich das wieder entfernen oder wird das automatisch beim nächsten Update überschrieben?
Wird überschrieben. Im besten Fall ist's dann aber in 24.7.2 drin wenn es funktioniert. Sehe keine akute Gefahr.
Grüsse
Franco
IPv6 läuft seit 16h immer noch ohne Ausfall. So lange ging es vorher nie - ich denke das Problem ist damit erledigt.
Vielen Dank @franco für deine schnelle und kompetente Hilfe!
Sollte ich wegen den Error Meldungen "process already running" noch etwas unternehmen oder einfach ignorieren?
Prima, dann nehme ich den dhcp6c Patch in die 24.7.2 auf. :)
prefixes.sh ist bisschen komisch aber vermutlich harmlos (grosses DHCP Log File?) und updaterrd.sh wird sowieso gepatcht in 24.7.2 aus anderen Gründen.
Grüsse
Franco
Bitte noch auf den neusten Code wechseln:
# opnsense-revert -z dhcp6c
(am Besten wieder ein Reboot wenn möglich)
Das ist dann die Version die in 24.7.2 erscheinen wird. Habe ich hier auch am Laufen.
Danke,
Franco
Alles klar - ist eingespielt.