Hallo!
Ich möchte auf meinem Hetzner Root-Server (Haupt-IP, 3 zusätzliche IP, 2 zusätzliche /29, v6 /64 und zusätzliches v6 /56 Netz, dazu zwei interne vBridges, einmal nur für den Server, einmal für den vSwitch) OPNSense als Firewall vor den VMs einsetzen. Proxmox 7.1 wird in der "routed" Variante genutzt.
OPNSense ist in einer KVM installiert, konfiguriert und IPv4 (1:1 NAT bzw. Port NAT über die IPv4 der OPNSense VM läuft auch).
Nach einigem Rumprobieren und Durchlesen/-probieren zahlreicher Anleitungen habe ich es geschafft, dass die OPNSense KVM von der Kommandozeile per IPv6 mit der zugewiesenen WAN Adresse aus dem /56er Netz ins Netz kommt (ICMP, TCP bspw. curl). Auch im LAN2 (IPv6) mit einem /64 Subnet aus dem /56er Netz können die VMs mit der OPNSense kommunizieren (bpsw. ICMP, SSH per TCP).
Allerdings komme ich nicht von einer VM mit IPv6 ins Internet.
Hat jemand einen Tipp?
Netzwerk-Setup des Proxmox Hosts
auto lo
iface lo inet loopback
iface lo inet6 loopback
auto enp7s0
iface enp7s0 inet static
address 5.9.111.111/32
gateway 5.9.111.22
pointopoint 5.9.111.22
iface enp7s0 inet6 static
address 2a01:4f8:aaa:bbbb::2/128
gateway fe80::1
up sysctl -p
auto enp7s0.4000
iface enp7s0.4000 inet static
address 0.0.0.0
mtu 1400
auto vmbr4000
iface vmbr4000 inet static
address 10.1.0.1/24
bridge-ports enp7s0.4000
bridge-stp off
bridge-fd 0
auto vmbr0
iface vmbr0 inet static
address 10.0.0.1/24
bridge-ports none
bridge-stp off
bridge-fd 0
post-up iptables -t nat -A POSTROUTING -s '10.0.0.0/24' -o enp7s0 -j MASQUERADE
post-down iptables -t nat -F
auto vmbr1
iface vmbr1 inet static
address 111.222.200.248/29
bridge-ports none
bridge-stp off
bridge-fd 0
up ip route add 5.9.111.130/32 dev vmbr1
iface vmbr1 inet6 static
address 2a01:4f8:aaa:bbbb:1::1/64
auto vmbr2
iface vmbr2 inet static
address 111.222.222.240/29
bridge-ports none
bridge-stp off
bridge-fd 0
up ip route add 5.9.111.110/32 dev vmbr2
up ip route add 5.9.111.220/32 dev vmbr2
iface vmbr2 inet6 static
address 2a01:4f8:ccc:ddd0::1/56
Interfaces der OPNSense:
WAN
Static IPv4: 5.9.111.130 (von der vmbr1), Gateway ist die Haupt-IP des Proxmox Hosts
WAN2
Static IPv6: 2a01:4f8:aaa:bbb0::2/56 (von der vmbr2), Gateway ist 2a01:4f8:aaa:bbb0::1/56
LAN:
Static IPv4: 10.0.0.102, VM use this IP as gateway
LAN2:
Static IPv6: 2a01:4f8:aaa:bbb1::1/64, VM use 2a01:4f8:aaa:bbb1::xxx/64 and 2a01:4f8:aaa:bbb1::1/64 as gateway
Ich habe versuchsweise das IPv6 LAN der OPNSense auf eine eigene Bridge gelegt... ohne Erfolg:
Die Routing-Tabelle
ipv6 default 2a01:4f8:aaa:bb01::1 UGS NaN 1500 vtnet3 WANV6
ipv6 ::1 link#6 UHS NaN 16384 lo0 Loopback
ipv6 2a01:4f8:aaaa:bb00::/64 link#5 U NaN 1500 vtnet4 LANV6
ipv6 2a01:4f8:aaaa:bb00::102 link#5 UHS NaN 16384 lo0 Loopback
ipv6 2a01:4f8:aaaa:bb01::/64 link#4 U NaN 1500 vtnet3 WANV6
ipv6 2a01:4f8:aaaa:bb01::2 link#4 UHS NaN 16384 lo0 Loopback
vtnet3 ist die v6 WAN Bridge zum Proxmox Host
vtnet4 ist das v6 LAN
Für das v6 WAN habe ich ein eigenes IPv6 /64
Ein route -6 show google.de zeigt richtige Daten:
route to: fra24s04-in-x03.1e100.net
destination: default
mask: default
gateway: 2a01:4f8:aaa:bb01::1
fib: 0
interface: vtnet3
flags: <UP,GATEWAY,DONE,STATIC>
recvpipe sendpipe ssthresh rtt,msec mtu weight expire
0 0 0 0 1500 1 0
Nachtrag...
Ich habe den Grund gefunden, auf dem Link zwischen Proxmox Host und OpnSense darf nicht das /56, sondern ein /64 genutzt werden und auf Proxmox Host muss für das /64 der OPNSense auf dem Link vmbr explizit eine Route mit der WAN IP der OPNSense als via eingetragen werden.