HA - Mehrere CARP VIPs auf WAN Interface

[Felix.]

Hallo!

Ich bin auf ein neues Problemchen gestoßen.
Dieser Post hier beschreibt mein Problem quasi 1:1 : https://forum.opnsense.org/index.php?topic=5249.0

Ich habe mehrere Subnetze vom Provider (Hetzner Colocation) gestellt bekommen und möchte nun eine *zusätzliche* IP aus einem der anderen Subnetze als VIP an meine OPNsense Firewalls (HA-Aufbau) klemmen.

Wie im Post beschrieben habe ich auf der 1. FW eine neue VIP angelegt in neuer VHID auf dem Interface WAN mit dem Typ CARP.
Die 1. FW hat auch den Zustand MASTER und die 2. FW wird als BACKUP angezeigt. Soweit so gut.
Ich kann die neue IP allerdings nicht erreichen, nicht mal per ICMP - und dafür existiert eine floating rule die ICMP Pings global erlaubt. Im Live Log ist auch gar kein Traffic sichtbar an diese IP.

Wo könnte denn hier der Hase im Pfeffer liegen?
Ich hänge mal ein Bild an, falls die Beschreibung nicht ganz treffend ist. 

VG
Felix

[mimugmail]

Erst mal Glückwunsch dass du CARP bei Hetzner zum laufen bekommen hast, da tun sich viele schwer
Der Post ist von 2017 und gilt nicht mehr. Mittlerweile legst du einen Alias an und gibts im Alias die VHID vom ersten CARP interface an.

Hast du denn die richtige Subnetzmaske verwendet?
Routet Hetzner die zusätzliche IP über deine Mail IP oder machen die ein statisches MAC Mapping? Musst du mal fragen. Ist bei dem Laden immer wieder anders ...

[Felix.]

Hi 

Mittlerweile legst du einen Alias an und gibts im Alias die VHID vom ersten CARP interface an.

Alias wie "IP Alias"?

Ich habe mal die CARP VIP gelöscht (HA-sync auf 2. FW gemacht) und einen IP Alias angelegt mit der Adresse, Subnetzmaske stimmt auch. Ist in dem Fall ein /28.
Das externe Gateway von Hetzner habe ich auch eingetragen (habs auch ohne getestet - gleiches Ergebnis).
Wieder HA-sync gemacht.

Leider hat sich de facto nichts an der Situation verändert.

Statisches MAC Mapping macht Hetzner soweit ich weiß überhaupt nicht mehr oder äußerst selten.
Wir haben unserem Colocation Rack mehrere Subnetze zugewiesen bekommen mitsamt Gateway von Hetzner, also die routen das eigenständig.

Natürlich kann man das nicht 100% gleichstellen, da das kein HA-Aufbau ist, ABER:
Wir haben eine CheckPoint 790 in Betrieb, welche sehr bald von den OPNsenses abgelöst werden soll und auf der CheckPoint können wir beliebig unsere Public IPs aus beliebig verschiedenen Subnetzen verwenden, seit gut 5 Jahren.

[Felix.]

Ich habe mal was ausprobiert.

Die beiden Firewalls hängen mit ihren primären Public IPs und der entsprechenden CARP VIP in einem /29 Subnetz, welches auch das Gateway im selbigen Subnetz liegen hat.
Wenn ich eine der übrigen IPs aus diesem Netz per IP Alias mit VHID 1 (primäre CARP VIP) hinzufüge, flutscht es.

Kann das mit den externen Gateways von Hetzner zusammenhängen?
Wobei ja die CheckPoint demonstriert, dass es technisch möglich ist bzw. sein sollte.

[Felix.]

Ich hatte ein kleines Detail übersehen.

Offenbar wurde damals auf Anfrage hin das Gateway von allen Subnetzen mit Ausnahme von einem - das der alten Firewall - auf die primäre IP der alten Firewall umgestellt.
Jetzt habe ich mal testweise auf einem der Subnetze das Gateway auf die CARP VIP der OPNsenses umstellen lassen.

Die IPs als "IP Alias" in VHID Gruppe 1 (CARP VIP auf WAN) auf dem Interface WAN angelegt und e voila - alles läuft.
Ich habe dann auch das Failover / Failback getestet, mit Erfolg!