Hetzner Rootserver, Proxmox 7.1 (routed), OPNSense 22.1.5 and IPv6

[Alpha_DE]

Hallo!

Ich möchte auf meinem Hetzner Root-Server (Haupt-IP, 3 zusätzliche IP, 2 zusätzliche /29, v6 /64 und zusätzliches v6 /56 Netz, dazu zwei interne vBridges, einmal nur für den Server, einmal für den vSwitch) OPNSense als Firewall vor den VMs einsetzen. Proxmox 7.1 wird in der "routed" Variante genutzt.

OPNSense ist in einer KVM installiert, konfiguriert und IPv4 (1:1 NAT bzw. Port NAT über die IPv4 der OPNSense VM läuft auch).

Nach einigem Rumprobieren und Durchlesen/-probieren zahlreicher Anleitungen habe ich es geschafft, dass die OPNSense KVM von der Kommandozeile per IPv6 mit der zugewiesenen WAN Adresse aus dem /56er Netz ins Netz kommt  (ICMP, TCP bspw. curl). Auch im LAN2 (IPv6)  mit einem /64 Subnet aus dem /56er Netz können die VMs mit der OPNSense kommunizieren (bpsw. ICMP, SSH per TCP).

Allerdings komme ich nicht von einer VM mit IPv6 ins Internet.

Hat jemand einen Tipp?

Netzwerk-Setup des Proxmox Hosts

auto lo
iface lo inet loopback

iface lo inet6 loopback

auto enp7s0
iface enp7s0 inet static
        address 5.9.111.111/32
        gateway 5.9.111.22
        pointopoint 5.9.111.22

iface enp7s0 inet6 static
        address 2a01:4f8:aaa:bbbb::2/128
        gateway fe80::1
        up sysctl -p

auto enp7s0.4000
iface enp7s0.4000 inet static
        address 0.0.0.0
        mtu 1400

auto vmbr4000
iface vmbr4000 inet static
        address 10.1.0.1/24
        bridge-ports enp7s0.4000
        bridge-stp off
        bridge-fd 0

auto vmbr0
iface vmbr0 inet static
        address 10.0.0.1/24
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up iptables -t nat -A POSTROUTING -s '10.0.0.0/24' -o enp7s0 -j MASQUERADE
        post-down iptables -t nat -F

auto vmbr1
iface vmbr1 inet static
        address 111.222.200.248/29
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        up ip route add 5.9.111.130/32 dev vmbr1

iface vmbr1 inet6 static
        address 2a01:4f8:aaa:bbbb:1::1/64

auto vmbr2
iface vmbr2 inet static
        address 111.222.222.240/29
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        up ip route add 5.9.111.110/32 dev vmbr2
        up ip route add 5.9.111.220/32 dev vmbr2

iface vmbr2 inet6 static
        address 2a01:4f8:ccc:ddd0::1/56



Interfaces der OPNSense:

WAN

Static IPv4: 5.9.111.130 (von der vmbr1), Gateway ist die Haupt-IP des Proxmox Hosts

WAN2

Static IPv6: 2a01:4f8:aaa:bbb0::2/56 (von der vmbr2), Gateway ist 2a01:4f8:aaa:bbb0::1/56

LAN:

Static IPv4: 10.0.0.102, VM use this IP as gateway

LAN2:

Static IPv6: 2a01:4f8:aaa:bbb1::1/64, VM use 2a01:4f8:aaa:bbb1::xxx/64 and 2a01:4f8:aaa:bbb1::1/64 as gateway

[Alpha_DE]

Ich habe versuchsweise das IPv6 LAN der OPNSense auf eine eigene Bridge gelegt... ohne Erfolg:

Die Routing-Tabelle

ipv6   default   2a01:4f8:aaa:bb01::1   UGS   NaN   1500   vtnet3   WANV6       
ipv6   ::1   link#6   UHS   NaN   16384   lo0   Loopback       
ipv6   2a01:4f8:aaaa:bb00::/64   link#5   U   NaN   1500   vtnet4   LANV6       
ipv6   2a01:4f8:aaaa:bb00::102   link#5   UHS   NaN   16384   lo0   Loopback       
ipv6   2a01:4f8:aaaa:bb01::/64   link#4   U   NaN   1500   vtnet3   WANV6       
ipv6   2a01:4f8:aaaa:bb01::2   link#4   UHS   NaN   16384   lo0   Loopback       

vtnet3 ist die v6 WAN Bridge zum Proxmox Host
vtnet4 ist das v6 LAN

Für das v6 WAN habe ich ein eigenes IPv6 /64

Ein route -6 show google.de zeigt richtige Daten:

route to: fra24s04-in-x03.1e100.net
destination: default
       mask: default
    gateway: 2a01:4f8:aaa:bb01::1
        fib: 0
  interface: vtnet3
      flags: <UP,GATEWAY,DONE,STATIC>
 recvpipe  sendpipe  ssthresh  rtt,msec    mtu        weight    expire
       0         0         0         0      1500         1         0

[Alpha_DE]

Nachtrag...

Ich habe den Grund gefunden, auf dem Link zwischen Proxmox Host und OpnSense darf nicht das /56, sondern ein /64 genutzt werden und auf  Proxmox Host muss für das /64 der OPNSense auf dem Link vmbr explizit eine Route mit der WAN IP der OPNSense als via eingetragen werden.