OPNsense Wireguard+VXLAN+BGP+Bridge - Alguns hosts respondem e outros não.

[glgontijo]

Caros,

Tenho um servidor VPN em OPNsense e clientes também em OPN.

A estrutura é a seguinte:

VPN Wireguard conecta os clientes ao servidor
BGP+BFD garante a alta disponibilidade (02 links de WAN no servidor WG)
VxLAN + Bridge com as VLANs de cada lado. Garantindo o funcionamento da rede como uma só VLAN.

Todos os 3 clientes configurados de forma igual. Com a mesma versão do OPN 26.1.2
Somente o servidor que está na 25.7.11 (Mas o problema vem desde quando todos clientes também estavam com a 25.7)

Alguns hosts da rede local na sede, não enxergam o cliente, mas outros sim.
Se desativo o pf, ele responde normalmente, se reativo, somente alguns hosts da sede respondem.
O comportamento é mútuo, também atinge o cliente.
Broadcast trafega sem problemas na rede.

As regras são all-all any-any para a bridge, vxlan e vlan (floating com todas as interfaces que compõem a br).
Já ativei e desativei MSS Clamping.
Já ativei e desativei net.link.pfil.bridge e member (0,1 / 1,0 / 0,0) e nada.

Outros hosts atrás do cliente respondem sem erros e não tem problemas em tráfego de broadcast.

Preciso entender o que está acontecendo.

Não posso trabalhar com outra arquitetura, pois preciso de propagação de broadcast em L2 para CFTV, VOIP e controladora de Wifi.

Pensei em usar OpenVPN TAP para obter L2 (isso também eliminaria a necessidade do BGP, já que o OVPN faz isso diretamente), mas o WG tem mais qualidade para o VOIP.

AH!
Também já tentei desativar a VPN de um dos links, e forçar tudo em um só (pra ver se não era BGP encaminhando ARP em interface errada). Não houve alteração no comportamento.

Agradeço quaisquer ajudas.

[glgontijo]

Atualização.

Percebi que ao reiniciar, em alguns momentos o host volta a responder.
Mas depois de um tempo, cessa novamente.

Se conseguirem me dar qualquer dica, ficarei grato.

[jovangdg34]

Esse comportamento intermitente aponta para algo que merece ser observado no estado da bridge, ARP e filtragem do firewall, principalmente porque desativar o pf faz os hosts voltarem a responder. Eu começaria capturando o tráfego nos diferentes pontos da bridge para descobrir exatamente onde os pacotes deixam de passar.

Enquanto faço esses testes de rede, também gosto de ter algo mais leve para ocupar as pausas; Baixar Tomato Animes para TV Box pode ser uma opção para variar um pouco entre uma análise e outra.