Proxmox LAN/Routing probleme (auf MGMT) :-/

[Aurel81]

Hallo liebe Community, bin gerade am basteln für das neue Heimnetzwerk und die Herausforderung war größer als gedacht ;-) und bin etwas am verzweifeln.

Hier ein Überblick, ich hoffe ich habe alle wichtigen Informationen hineingepackt. Wenn nicht, bitte fragen, ergänze es natürlich sehr gerne.


WAN ist ein Vodafone echtes Dual Stack, Modem ist meine FB6660, an Port 1 nach wie vor mein jetziges LAN, an port 2 gebridged das neue Testsetup.

Die ProxmoxBox enthält zum einen OpnSense (Port 1 (WAN) und 2 (Trunk für Testsetup) sind durchgeschleift, werden also nicht von Proxmox angerührt) und zum anderen den Omada Controller (Verbunden über die Proxmox Bridge mit ner festen IP, als Static ARP eingetragen)

Opnsense erkennt die richtige WAN IP, updates usw funktionieren

Vlans+LAN in der Opnsense sind u.a. wie auf dem Bild zu sehen, VLAN100 = MGMT, sind im Switch und AEP auch so hinterlegt

IP Vergabe über den L2+ Switch geht für PCs wunderbar. Port Tagged -> passende IP vom dem OPNsense VLAN DHCP

Test-PC1+2 agieren auch im normalen Rahmen, werden auch auf die regulären Gatways .1 weitergeleitet, haben zugriff auf DNS, können WAN Pingen (nicht LAN, das ist aber sofern ich das Verstanden habe normal weil ich ICMP noch nicht freigegeben habe), aber lokal nur innerhalb des VLANs agieren und die Server aufrufen. Also sowohl VLAN10 als auch 100 agieren wie die Regeln vorschreiben.

hier die Regeln:
   
Allerdings wundere ich mich, das ich auf Prox und Omada normal zugreifen kann, aber auf die OpnSense nur komme, wenn die untere Regel an ist... ist das normal ? kommt mir auch etwas spanisch vor


und hier das Ergebnis aus der Live-View


Problem besteht allerdings bei dem ProxVE.
Auf der Konsole der Omada-VM gehts so zu:

Code: [Select]

mich@Omada-ubuntu:~# ping 10.10.10.1
PING 10.10.10.1 (10.10.10.1) 56(84) bytes of data.
^C
--- 10.10.10.1 ping statistics ---
27 packets transmitted, 0 received, 100% packet loss, time 26659ms

mich@Omada-ubuntu:~# ping web.de
ping: web.de: Temporary failure in name resolution
mich@Omada-ubuntu:~# ping 10.10.10.1
PING 10.10.10.1 (10.10.10.1) 56(84) bytes of data.
^C
--- 10.10.10.1 ping statistics ---
6 packets transmitted, 0 received, 100% packet loss, time 5110ms

mich@Omada-ubuntu:~# ping 10.10.10.3
PING 10.10.10.3 (10.10.10.3) 56(84) bytes of data.
64 bytes from 10.10.10.3: icmp_seq=1 ttl=64 time=0.042 ms
64 bytes from 10.10.10.3: icmp_seq=2 ttl=64 time=0.045 ms
64 bytes from 10.10.10.3: icmp_seq=3 ttl=64 time=0.054 ms
^C
--- 10.10.10.3 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2071ms
rtt min/avg/max/mdev = 0.042/0.047/0.054/0.005 ms
mich@Omada-ubuntu:~#
Kein Zugriff auf das WAN, der Ping geht zwar raus, aber mit Destination 192.168.0.1:53 !... wtf EIGENTLICH dürfte die Proxmoxbox ja überhaupt nichts von dem 192.168.0.0/24 wissen ;-)
Ping auf 10.10.10.1 ist verboten
Ping auf 10.10.10.3 geht durch, wird von der FW aber nicht registriert
Zur Erinnerung 10.10.10.3 ist die ProxVE, über welche der Omada-Controller läuft.

Code: [Select]

MGMT 2024-10-20T15:51:56 10.10.10.10 10.10.10.1 icmp Default deny / state violation rule
MGMT 2024-10-20T15:51:56 10.10.10.10 10.10.10.1 icmp Default deny / state violation rule
MGMT 2024-10-20T15:42:42 10.10.10.10:56232 192.168.0.1:53 udp WAN ja, Intranet Block
MGMT 2024-10-20T15:42:37 10.10.10.10:48944 192.168.0.1:53 udp WAN ja, Intranet Block

Wenn ich das nun das gleiche über die Prox-Console Starte, sieht es genauso aus. Ping an die 10.10.10.10 geht, wird nicht registriert, Ping an OpnSense wird geblockt, Ping web.de kein DNS resolve, obwohl die FW sagt jupp, lass ich durch, schicke es aber unsinniger Weise an die 192.168.0.1


Die Gleichen Tests über die Opnsense Console gehen natürlich wunderbar ;-)

Bin mir nicht sicher, rätsel da jetzt schon einige Stunden und komme nicht voran. Hatte die Vermutung, dass der ProxVE irgendwie nicht richtig im VLAN angenommen wurde (weil die ProxVE IP ja von mir händisch vergeben wurde) und deshalb auch der Omada Controller nicht richtig agiert... auf der anderen Seite hat eben jener zuerst ne DHCP vom MGMT bekommen, welche ich dann die als static eingetragen habe...

Keine Ahnung :-/ bitte helft mir...

Noch ein paar Infos (habe nur den mMn wichtigen Teil gepostet)
-ip a vom Omada-Controller, habe hier kein VLAN eingestellt

Code: [Select]

eth0@if8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether bc:24:11:dc:76:95 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.10.10.10/24 metric 1024 brd 10.10.10.255 scope global dynamic eth0
       valid_lft 3799sec preferred_lft 3799sec
    inet6 fe80::be24:11ff:fedc:7695/64 scope link
       valid_lft forever preferred_lft forever
-ip a vom Prox VE Host, hier ist übrigens die Bridge auch auf VLAN aware gesetzt

Code: [Select]

vmbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 00:d0:b4:01:95:c3 brd ff:ff:ff:ff:ff:ff
    inet 10.10.10.3/24 scope global vmbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::2d0:b4ff:fe01:95c3/64 scope link
       valid_lft forever preferred_lft forever

[viragomann]

Hier ein Überblick, ich hoffe ich habe alle wichtigen Informationen hineingepackt. Wenn nicht, bitte fragen, ergänze es natürlich sehr gerne.

Was ist in der Grafik dieses VLAN10 vom Switch auf Proxmox #4? Ist das eine Schnittstellennummer?)
Wenn, dann ist irgendwas daran falsch, entweder "VLAN10" oder die Omada IP, denn VLAN10 sollte ja das Asguard Subnetz 192.168.10.0/24 sein.

hier die Regeln:

Allerdings wundere ich mich, das ich auf Prox und Omada normal zugreifen kann, aber auf die OpnSense nur komme, wenn die untere Regel an ist... ist das normal ? kommt mir auch etwas spanisch vor

und hier das Ergebnis aus der Live-View

Wäre an und für sich normal, allerdings zeigt der Regel-Screenshot die des MGMT Interfaces, während das Log zur Verwirrung Zugriff auf dem Asguard Interface zeigt.

Kein Zugriff auf das WAN, der Ping geht zwar raus, aber mit Destination 192.168.0.1:53 !... wtf EIGENTLICH dürfte die Proxmoxbox ja überhaupt nichts von dem 192.168.0.0/24 wissen ;-)

Das ist wohl ein DNS Request auf Port 53. Pings gehen auf keine Ports.

Ping auf 10.10.10.1 ist verboten
Ping auf 10.10.10.3 geht durch, wird von der FW aber nicht registriert
Zur Erinnerung 10.10.10.3 ist die ProxVE, über welche der Omada-Controller läuft.

Ja, so funktioniert Netzwerk und Firewall. Zugriffe innerhalb eines Subnetzes passieren normalerweise nicht die Firewall (den Router) und werden damit weder blockiert noch geloggt.

[Aurel81]

Vielen Dank für deine Antwort

Was ist in der Grafik dieses VLAN10 vom Switch auf Proxmox #4? Ist das eine Schnittstellennummer?)
Wenn, dann ist irgendwas daran falsch, entweder "VLAN10" oder die Omada IP, denn VLAN10 sollte ja das Asguard Subnetz 192.168.10.0/24 sein.

Ja das ist ein Fehler, das sollte natürlich VLAN100 sein, #4 ja ist der 4. lanausgang des MiniPCs. 1+2 für Opnsense, 3 ungenutzt, 4 für Proxmox + Omada
Habe das Bild korrigiert ;-)

Wäre an und für sich normal, allerdings zeigt der Regel-Screenshot die des MGMT Interfaces, während das Log zur Verwirrung Zugriff auf dem Asguard Interface zeigt.

So soll es geschehen. Regeln sind dupliziert und nur die entsprechenden Parts geändert, von daher dachte ich, könnte ich es mir sparen ;-) Sorry für die Faulheit

Kein Zugriff auf das WAN, der Ping geht zwar raus, aber mit Destination 192.168.0.1:53 !... wtf EIGENTLICH dürfte die Proxmoxbox ja überhaupt nichts von dem 192.168.0.0/24 wissen ;-)

Das ist wohl ein DNS Request auf Port 53. Pings gehen auf keine Ports.

Ja, aber der Punkt ist, dass es an die Fritzbox gerichtet ist, genauer gesagt eigentlich an das Gateway des an der FB hängenden ursprünglichen LANs und nicht wie aus dem Asgard-VLAN an die OpnSense ;-)... das VLAN100 sollte von 192.168.0.1 gar nichts wissen.

Ping auf 10.10.10.1 ist verboten
Ping auf 10.10.10.3 geht durch, wird von der FW aber nicht registriert
Zur Erinnerung 10.10.10.3 ist die ProxVE, über welche der Omada-Controller läuft.

Ja, so funktioniert Netzwerk und Firewall. Zugriffe innerhalb eines Subnetzes passieren normalerweise nicht die Firewall (den Router) und werden damit weder blockiert noch geloggt.

Naja eigentlich sollte ja jeder dieser Pings/Zugriffe innerhalb des Subnetzes stattfinden und so dachte ich zumindestens auch den gleichen Regeln unterworfen sein. Deshalb ist ja die Frage, weshalb kann ich von 10.10.10.10 (dem Omadacontroller) die Proxmox VE auf 10.10.10.3 pingen, aber nicht das Gateway des selben VLANs auf 10.10.10.1...

[viragomann]

Also Proxmox und Omada liegen im VLAN10, ebenso wie PC1, und natürlich hat auch OPNsense da ein Interface.
Zugriffe zwischen Geräten innerhalb dieses Subnetzes passieren nicht die OPNsense. Wenn du vom PC1 auf Proxmox oder Omada zugreifst, geht das über den Switch und die Bridge am Host direkt da hin. Das kann keine Regel auf OPNsense verhindern. Zugriffe von jedem anderen Subnetz kannst du aber sehr wohl blockieren.

Ja, aber der Punkt ist, dass es an die Fritzbox gerichtet ist, genauer gesagt eigentlich an das Gateway des an der FB hängenden ursprünglichen LANs und nicht wie aus dem Asgard-VLAN an die OpnSense ;-)... das VLAN100 sollte von 192.168.0.1 gar nichts wissen.

Muss sie von da her auch nicht.

Das ist ein DNS Request. Proxmox hat vermutlich noch die alte Gateway IP als DNS Server eingestellt und richtet ihre Anfrage da hin.
Welche Regel den Zugriff erlaubt, zeigt dir das Log: WAN ja, Intranet Block   
Das alte LAN ist nicht Teil des Aliases "Internal Networks", und damit erlaubt die Regel den Zugriff.

Naja eigentlich sollte ja jeder dieser Pings/Zugriffe innerhalb des Subnetzes stattfinden und so dachte ich zumindestens auch den gleichen Regeln unterworfen sein. Deshalb ist ja die Frage, weshalb kann ich von 10.10.10.10 (dem Omadacontroller) die Proxmox VE auf 10.10.10.3 pingen, aber nicht das Gateway des selben VLANs auf 10.10.10.1...

Bedenke, dass auf jedem Zielgerät eine eigene Firewall laufen kann. Für OPNsense trifft das wohl zu und die Regel funktioniert auch. Auf Proxmox ist die Firewall vielleicht nicht aktiviert. Die kannst du aber in der GUI konfigurieren.

Zugriffe von allen anderen Subnetzen auf das Management-Subnetz kannst du auf der OPNsense blockieren.

[Aurel81]

Also Proxmox und Omada liegen im VLAN10, ebenso wie PC1, und natürlich hat auch OPNsense da ein Interface.
Zugriffe zwischen Geräten innerhalb dieses Subnetzes passieren nicht die OPNsense. Wenn du vom PC1 auf Proxmox oder Omada zugreifst, geht das über den Switch und die Bridge am Host direkt da hin. Das kann keine Regel auf OPNsense verhindern. Zugriffe von jedem anderen Subnetz kannst du aber sehr wohl blockieren.

tut mir leid für die Verwirrung, mein Fehler. liegt auf VLAN100 = 10.10.10.0/24. VLAN10 ist die 192.168.10 ... didaktisch natürlich die dümmste Stelle einen Fehler zu machen :-D

Muss sie von da her auch nicht.

Das ist ein DNS Request. Proxmox hat vermutlich noch die alte Gateway IP als DNS Server eingestellt und richtet ihre Anfrage da hin.
Welche Regel den Zugriff erlaubt, zeigt dir das Log: WAN ja, Intranet Block   
Das alte LAN ist nicht Teil des Aliases "Internal Networks", und damit erlaubt die Regel den Zugriff.

Hm , muss ich mal auf Suche gehen wo das Standardgateway stehen könnte.

Naja eigentlich sollte ja jeder dieser Pings/Zugriffe innerhalb des Subnetzes stattfinden und so dachte ich zumindestens auch den gleichen Regeln unterworfen sein. Deshalb ist ja die Frage, weshalb kann ich von 10.10.10.10 (dem Omadacontroller) die Proxmox VE auf 10.10.10.3 pingen, aber nicht das Gateway des selben VLANs auf 10.10.10.1...

Bedenke, dass auf jedem Zielgerät eine eigene Firewall laufen kann. Für OPNsense trifft das wohl zu und die Regel funktioniert auch. Auf Proxmox ist die Firewall vielleicht nicht aktiviert. Die kannst du aber in der GUI konfigurieren.

Zugriffe von allen anderen Subnetzen auf das Management-Subnetz kannst du auf der OPNsense blockieren.

habe mir jetzt auf nem übrigen Zimablade nochmal ein Proxmox installiert und auf DHCP gestellt... werde da mal etwas herumtesten (-: