Hetzner+Proxmox+OPNsense+4 zusätzliche IPs

[CoolTux]

Hallo Leute,

Ich habe ein Interessantes Problem. Kurz mein Setup

Server bei Hetzner mit Proxmox installation
IP Konfiguration

Code Select Expand


auto lo
iface lo inet loopback
iface lo inet6 loopback

auto enp0s31f6
iface enp0s31f6 inet manual

iface enp0s31f6 inet6 static
        address 2a01:4f8:211:1104::2
        netmask 64
        gateway fe80::1



### Proxmox typische Netzwerke
auto vmbr0
iface vmbr0 inet static
        bridge_ports enp0s31f6
        bridge_stp off
        bridge_fd 0
        address 1xx.xxx.xxx.57
        netmask 255.255.255.192
        gateway 1xx.xxx.xxx.1
        pointopoint 1xx.xxx.xxx.1      (selbe wie Gateway)
        up ip route add 1xx.xxx.xxx.34/32 dev vmbr0
        up ip route add 1xx.xxx.xxx.60/32 dev vmbr0
        up ip route add 1xx.xxx.xxx.55/32 dev vmbr0
        up ip route add 1xx.xxx.xxx.51/32 dev vmbr0


### Virtuelle Netzwerke
iface enp0s31f6.90 inet manual
iface enp0s31f6.60 inet manual
iface enp0s31f6.80 inet manual
iface enp0s31f6.40 inet manual


auto vmbr90
iface vmbr90 inet manual
        bridge_ports enp0s31f6.90
        bridge_stp off
        bridge_fd 0

auto vmbr60
iface vmbr60 inet manual
        bridge_ports enp0s31f6.60
        bridge_stp off
        bridge_fd 0

auto vmbr80
iface vmbr80 inet manual
        bridge_ports enp0s31f6.80
        bridge_stp off
        bridge_fd 0

auto vmbr40
iface vmbr40 inet static
        bridge_ports enp0s31f6.40
        bridge_stp off
        bridge_fd 0
        address 10.6.4.5
        netmask 255.255.255.0
        up route add -net 10.6.32.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40
        up route add -net 10.6.6.0 netmask 255.255.255.0 gw 10.6.4.1 dev vmbr40


In Proxmox habe ich dann erstmal 2 Netzwerkkarten für die Sense VM vergeben. Einmal über vmbr0 Bridge und einmal über vmbr40 Bridge. vmbr0 ist WAN und vmbr40 ist LAN.


Diese Konfiguration mit der 2. IP Adrresse (also 1. zusätzliche IP) läuft seit 6 Monaten und ich kann ohne Probleme aus dem Internet meine angebotenen Services aufrufen welche die Sense dann entsprechend händelt. Also entweder HAProxy direkt auf der Sense oder über Portforwarding weiter auf interne Systeme.

Wie Ihr an der Netzwerkkonfiguration auf dem Proxmoxserver sehen könnt sind noch 3 weitere zusätzliche IP Adressen konfiguriert. Diese habe ich nun in der Sense versucht ein zu binden. Dazu habe ich ein weiteres Netzwerkinterface der Sense VM zugewiesen und wieder Bridge vmbr0 genommen. So wie auch schon bei der 1. zusätzlichen IP. Auf der Sense habe ich dann das dadurch entstandene Netzwerkinterface mit der 2. zusätzlichen IP konfiguriert und als einziges Unterschied unter Gateway "auto" zu stehen da ich sonst nichts weiter auswählen konnte. Aktiviere ich nun dieses Interface funktioniert das Portforwarding für die erste zusätzliche IP nicht mehr. Interessanter Weise bleibt mein VPN und die HA Konfiguration zur ersten zusätzlichen IP aber erreichbar. Es scheint also das alle Services welche direkt auf der Sense Enden weiter funktionieren wogegen Portforwarding nicht mehr geht. Eventuell Routing??
Kann mich da jemanden versuchen zu erhellen wieso ich das nicht zum laufen bekomme.


Danke und Grüße

[CoolTux]

OK ich habe noch was übersehen gehabt.
Musste bei Hetzner für die zusätzlichen IPs noch eine MAC beantragen, hatte ich für die erste damals auch gemacht. Und diese MAC trägt man dann bei den neuen Netzwerkdevices der Sense VM ein.
Leider ist das Ergebnis das selbige  :-\

[CoolTux]

Nach dem ich nun den ganzen Tag getestet habe bin ich zu folgender Erkenntnis gekommen.

Anscheinend lässt etweder Hetzner es nicht zu 2 zusätzliche IPs auf ein und der selben VM zu legen oder OPNSense hat Probleme mit dem Routing wenn 2 oder mehr zusätzliche IPs von Hetzner an die Netzwerkdevices der Sense gebunden werden.

[lewald]

Ich habe etwas ähnliches sbei Hetzner am laufen.


Allerdings habe ich die zusätzlichen IPs als /29 subnetz bei Hetzner bestellt.
Alle IPs die vom Subnetz nutzbar sind reiche ich an die OPNsense weiter und kann Sie da auch nutzen.

Eine davon ist auf dem Wan Interface direkt und die anderen sind Virtual IPs in der Sense.
Das ist der routed Mode. Da müssen dann auch keine Macadressen bei Hetzner geordert werden.
Auf dem Proxmox Server muss allerdings das IpForwarding aktiviert werden.

[CoolTux]

Und Du musstest auch nicht für die IP welche direkt auf den WAN Interface steckt eine MAC mit ordern? Oder nur keine MAC für die anderen welche bei Dir Virtuell sind? Ich habe so ziemlich alles mögliche durchgetestet. Auch virtuelle Zuweisungen

[lewald]

Nein ich brauchte keine virtuelle Mac,

weil in dem Mode eine ip des Subnetzes direkt unter Proxmox an eine Bride gebunden wird.
Als 29 er . Das 29 Netz wird beim Routing von der echten Netzwerkkarte an die Bridge weitergebeben (Sofern ipforwarding auf dem Proxmox Host angestellt ist).
An die gleiche Bridge die Opnsense Vm. Dort dann die zweite ip. Gateway ist dann die erste ip.
Im Wan habe ich das auch als 29 definiert. Über die gleiche Bridge habe ich auch eine zweite VM dran.
Mit einer eigenen IP vom 29 er Netz. Ich habe zwei verschiedenen Firewalls drauf laufen.

Der Rest der vms bekommt dann Bridges die im Proxmox keine IPs haben. Die sind nur intern und private in den vms. die Firewalls sind dann natürlich auch an diese gebunden. Das ist dann das virtuelle Lan für die VMs.

[CoolTux]

Nein ich brauchte keine virtuelle Mac,

weil in dem Mode eine ip des Subnetzes direkt unter Proxmox an eine Bride gebunden wird.
Als 29 er . Das 29 Netz wird beim Routing von der echten Netzwerkkarte an die Bridge weitergebeben (Sofern ipforwarding auf dem Proxmox Host angestellt ist).
An die gleiche Bridge die Opnsense Vm. Dort dann die zweite ip. Gateway ist dann die erste ip.
Im Wan habe ich das auch als 29 definiert. Über die gleiche Bridge habe ich auch eine zweite VM dran.
Mit einer eigenen IP vom 29 er Netz. Ich habe zwei verschiedenen Firewalls drauf laufen.

Der Rest der vms bekommt dann Bridges die im Proxmox keine IPs haben. Die sind nur intern und private in den vms. die Firewalls sind dann natürlich auch an diese gebunden. Das ist dann das virtuelle Lan für die VMs.

Vielen Dank für Erklärung.
Gut mit einer zweiten Firewall kann ich dann auch eine zweite mir zugewiesene IP bedienen und da weiter machen wo ich gerade feststecke.
Wollte aber eigentlich nur eine Firewall administrieren. Ich kann nun ein 29/ Netz ordern, aber ich hatte schon mit meiner einzel IP soviel Aufwanf bezüglikch Mailsystem und t-online. Wenn ich denn jetzt mit noch einer weiteren IP Adresse für mein Mailsystem komme dann drehen die durch :-)

[lewald]

Die zweite Firewall war nur ein Beispiel das man von einem 29 Netz nicht nur eine Vm bedienen kann.


Bei mir geht ein Teil der Ips in die OPNsense und ein anderer Teil eben in die zweite Firewall. Hier ist das Historisch auch ein zweites anderes Podukt