Erfahrungsbericht Einsatz HA-OPNsense und Fehler beim Failover mit PPPoE-Sessions
Das ist kein Cry for Help, aber vielleicht hilft es ja jemandem, der sich in einer ähnlichen Situation befindet... Lösungsideen sind aber natürlich jederzeit willkommen.
Setup: zwei OPNsense in HA-Mode, zwei WAN-Interfaces mit Glasfaser-Uplinks (virtualisiert auf Proxmox, aber das spielt keine Rolle). Beide nic0 gehen über einen kleinen Switch zum ONT, beide nic1 über einen zweiten Switch zum zweiten ONT.
OPNsense 26.7.4_1-amd64
FreeBSD 15.1-RELEASE-p3
OpenSSL 3.5.8
nic0 trägt ein vlan0.7.1, auf dem wiederum das pppoe0 liegt und nic1 trägt ein vlan0.7.2, das pppoe1 trägt.
Problem: beide pppoe0 auf opnsense1 und opnsense2 haben ihre PPPoE-Interfaces always up. Der Status ist nicht an CARP gebunden, weil sie ja keine CARP-VIP haben. Das führt dazu, dass der Node, dessen PADI als erste an der Gegenstelle auftauchen, die Session erhält - das kann eben auch gut der Backup-Node sein, der dann zwar nicht aktiv ist, aber die PPPoE-Session hält. Der Master-Node ist dann "leitungslos".
Mögliche Lösung: auf den vlan0.7.x-Interfaces eine VARP-VIP konfigurieren, damit das Interface nur hoch kommt, wenn der Knoten schwenkt. Das führt zu einem Folgeproblem: es gibt Berichte, dass manche OLTs (insbesondere Telekom) nur zwei MAC-Adressen am ONT akzeptieren. Mit der CARP-VIP wären das dann aber schon drei. Mit den eingesetzten Switches (Mikrotik CSS106) kann ich die leider nicht filtern.
Es gibt einen Pull Request (https://github.com/opnsense/core/pull/9896) dafür, der ist aber noch ungelöst und ich bin mir nicht sicher, dass er hier konkret hilft.
Am einfachsten ist es auch hier die Point to Point session vor der OPNsense zu terminieren, wenn HA benötigt wird.
Vor allem rauchen dann auch keine Sessions ab wenn es schwenkt, da pfsync states auf echten interfaces liegen.
Das läuft bei mir seit Jahren stabil.
Point to point is halt grundsätzlich eher point to point und nicht point to multipoint... das bedeuted HA ist immer etwas feindlich in so Szenarios.