Olá Pipe! Esse erro de certificado aparece ao tentar acessar uma página HTTPS e ser redirecionado? O Certificado que está usando é auto-assinado? Tentou instala-lo como confiável para ver se o erro deixa de acontecer?
Olá Pipe! Nós já fizemos algumas integrações personalizadas em clientes e costuma funcionar muito bem. O Free Radius ainda não tentamos, porém se quiser um bom ponto de partida é personalizar o template do Captive. Um exemplo: https://github.com/mixmint/opnsense-captive-portal-templateHá ainda plataformas SaaS como o IronWifi https://www.ironwifi.com/ que tem compatibilidade com o OPNsense.