Proxmox Host + VPN + Opnsense + VM – Zugriff auf VM Default deny Probleme

[workingbird]

Hallo zusammen,
ich brauche echt mal eure Hilfe. Seit Tagen doktore ich nun ohne wirklichen Fortschritt an meinem Setup rum, aber so richtig will das alles nicht.

Stand der Dinge:

Ich habe einen Proxmox Server bei Hetzner.
Auf diesem laufen 2 VMs mit gekauften IPs via MAC Adresszuweisung (DHCP) in direkter Netzanbindung.

Eine Verbindung zum Proxmox Server zwecks Management ist nur per VPN möglich (OpenVPN), ansonsten ist der Host per Hetzner Firewall von außen abgeschottet.

Dann gibt es eine VM auf der läuft Opnsense, ebenfalls mit gekaufter IP via MAC Adresszuweisung in direkter Netzanbindung.

Aufgabe dieser VM ist es, für weitere VMs ohne Public-IP für Internetzugang zu sorgen.

Daran hängt z.B. eine Debian VM, wo Portainer + Docker drauf läuft, die aber nur intern via VPN genutzt wird und nicht öffentlich am Netz hängt.

Ich gehe da gleich noch genauer drauf ein. Problem ist, dass ich auf die Debian VM zwar per SSH drauf komme, aber z.B. der Aufruf der Portainer Webadresse im Triggern der Default Deny / state violation rule endet.

Da ich so langsam an der Sache verzweifle, habe ich mich mal hier angemeldet und brauche eure Hilfe.


Zum Setup:

Proxmox Host:
vmbr0 – externe IP von Hetzner | nur Port 1194 von außen erreichbar für:
VPN Server | vergibt VPN Adressen in 10.8.0.0/24

vmbr1 – internes Netz | Adressbereich 10.10.0.0/24

vmbr2 – internes Netz | Adressbereich 10.20.0.0/24

Netzwerkconfig siehe Codeblock unten.


VM1 (CPanel Server):
WAN Netzwerk via vmbr0 – externe IP von Hetzner

VM2 (Windows 2K19 Server):
WAN Netzwerk via vmbr0 – externe IP von Hetzner
LAN Netzwerk via vmbr1 – interne IP 10.10.0.2 für RDP / Management via VPN

VM3 (Opnsense):
WAN Netzwerk via vmbr0 – externe IP von Hetzner
LAN Netzwerk via vmbr2 – 10.20.0.2 – Adressbereich für Clients mit Internet Access
OPT Netzwerk via vmbr1 – 10.10.0.5 – Adressbereich für Management Opnsense WebUI via VPN

VM4 (Debian 12):
WAN Netzwerk via vmbr2 – 10.20.0.200, Gateway 10.20.0.2, DNS 10.20.0.2
LAN Netzwerk via vmbr1 – 10.10.0.200, Gateway 10.10.0.1

Netzwerkconfig siehe Codeblock unten.



Das Problem:

Egal über welche IP (10.20.0.200/10.10.0.200) ich versuche die Portainer WebUI auf der Debian 12 VM über meine VPN Verbindung mit 10.8.0.2 aufzurufen:

http://10.20.0.200:9443/ oder http://10.10.0.200:9443/

es endet immer in:

LAN      2023-07-05T17:58:17   10.20.0.200:9443   10.8.0.2:62196   tcp   Default deny / state violation rule   
LAN      2023-07-05T17:58:16   10.20.0.200:9443   10.8.0.2:62197   tcp   Default deny / state violation rule
LAN      2023-07-05T17:54:50   10.10.0.200:9443   10.8.0.2:60378   tcp   Default deny / state violation rule   
LAN      2023-07-05T17:54:50   10.10.0.200:9443   10.8.0.2:60377   tcp   Default deny / state violation rule

ABER... ich komme z.B. problemlos per SSH auf die Debian Maschine drauf.

Doch egal was ich z.B. versuche über den Browser aufzurufen ist ein Problem, da gibt immer nur default deny.

Darin steht dann z.B.

Code Select Expand

__timestamp__ 2023-07-05T17:58:18
ack 9829583
action [block]
anchorname
datalen 0
dir [in]
dst 10.8.0.2
dstport 62196
ecn
id 0
interface vtnet1
interface_name LAN
ipflags DF
ipversion 4
label Default deny / state violation rule
length 60
offset 0
protoname tcp
protonum 6
reason match
rid 02f4bab031b57d1e30553ce08e0ec131
rulenr 9
seq 3660171452
src 10.20.0.200
srcport 9443
subrulenr
tcpflags SA
tcpopts
tos 0x0
ttl 63
urp 65160

So, jetzt habe ich schon die letzten Tage gesucht und probiert ohne Ende, aber ich komme nicht weiter.

Ausprobiert habe ich:
· Extra Regeln von Hand anlegen für alle Verbindungen von 10.8.0.0/24 ins LAN und umgekehrt
· Filterung statischer Route – Umgehe Firewall Regeln für Verkehr auf der gleichen Schnittstelle eingeschaltet
· Sloppy Status für die Paketregel ausgetestet
· Konservative Verbindungsbehandlung ausprobiert
· Fernes Gateway für 10.8.0.1 gesetzt
· Extra Route angelegt für 10.8.0.0/24 via Gateway 10.10.0.1

===> Alles ohne Erfolg. Die Default Deny Probleme bleiben exakt so bestehen.

Das einzige, was sofortige Abhilfe schafft und die Debian VM samt Portainer instant erreichbar macht über beide IP Adressen ist in den Einstellungen den Haken zu setzen bei:

Firewall deaktivieren    Paketfilterung komplett deaktivieren

....aber das ist ja logischer Weise nicht der Sinn des ganzen.


Also wende ich mich nun mal an euch, denn ich weiß einfach nicht mehr weiter was ich noch ausprobieren könnte. In meiner Verzweiflung habe ich die Opnsense bestimmt schon 10x neu installiert, daneben pfsense auch bestimmt 2-3x ausprobiert ob das was ändert, aber nein. Es bleibt dabei.

Ich würde halt gerne zukünftig so "interne VMs" wie die Debian VM einfach an die Opnsense hängen für den Internetzugang und mich dann halt lediglich intern über den 10.10.0.0/24 Adressbereich aus meiner VPN Verbindung im 10.8.0.0/24er Netz da drauf schalten.

Hier noch der Vollständigkeit halber die Netzwerkconfig vom Proxmox Host:

Code Select Expand

cat interfaces


        auto lo
iface lo inet loopback

iface enp4s0 inet manual

auto vmbr0
iface vmbr0 inet static
        address xxx.xxx.xxx.158/27
        gateway xxx.xxx.xxx.129
        bridge-ports enp4s0
        bridge-stp off
        bridge-fd 0

post-up iptables -A INPUT -i vmbr0 -p tcp --destination-port 111 -j REJECT || true
post-up iptables -A FORWARD -i vmbr0 -p tcp --destination-port 111 -j REJECT || true
post-up iptables -A INPUT -i vmbr0 -p udp --destination-port 111 -j REJECT || true
post-up iptables -A FORWARD -i vmbr0 -p udp --destination-port 111 -j REJECT || true

auto vmbr1
iface vmbr1 inet static
address 10.10.0.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0

post-up echo 1 > /proc/sys/net/ipv4/ip_forward
post-up iptables -t raw -I PREROUTING -i fwbr+ -j CT --zone 1
post-up iptables -t nat -A POSTROUTING -s 10.10.0.0/24 -o vmbr0 -j MASQUERADE
post-down iptables -t nat -D POSTROUTING -s 10.10.0.0/24 -o vmbr0 -j MASQUERADE
post-down iptables -t raw -D PREROUTING -i fwbr+ -j CT --zone 1


auto vmbr2
iface vmbr2 inet static
address 10.20.0.1
netmask 255.255.255.0
bridge_ports none
bridge_stp off
bridge_fd 0


und von der Debian VM mit Portainer drauf:

Code Select Expand


# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp6s18
iface enp6s18 inet static
        address 10.20.0.200
        netmask 255.255.255.0
        gateway 10.20.0.2
        # dns-* options are implemented by the resolvconf package, if installed
        dns-nameservers 10.20.0.2

# The secondary network interface
allow-hotplug enp6s19
iface enp6s19 inet static
        address 10.10.0.200
        netmask 255.255.255.0
        post-up ip route add 10.10.0.0/24 dev enp6s19 src 10.10.0.200 table rt2
        post-up ip route add default via 10.10.0.1 dev enp6s19 table rt2
        post-up ip rule add from 10.10.0.200/32 table rt2
        post-up ip rule add to 10.10.0.200/32 table rt2



Wer kann mir helfen?

[micneu]

so ähnliche setups hatten wir hier schon öfter im forum, hast du die forum suche genutzt?

[workingbird]

Ja ich habe schon mehrere Varianten von "SLOVED" thread durchprobiert, alle ohne Erfolg.

Daher ja erst mein umfänglicher Post und Hilferuf.

[micneu]

Wenn es für eine Firma ist vielleicht professionellen Support einkaufen?


Gesendet von iPhone mit Tapatalk Pro

[workingbird]

Firma? Nein. Ist mein persönliches Projekt, nichts für eine Firma.

Ich werde es wohl aufgeben an dieser Stelle und mir was anderes einfallen lassen. Zu viel Zeit drin versenkt nur um immer wieder die gleichen Fehlermeldungen zu lesen.