Quebrei a cabeça tb, mas consegui. Executa ele normalmente em modo Love. Quando terminar liga com usuário root senha opnsense. Vai aparecer o menu escolha a opção 8 shell. Daí digita opnsense-installer e digita enter. Vai aparecer as opções para instalar.