Home
Help
Search
Login
Register
OPNsense Forum
»
International Forums
»
German - Deutsch
»
HA Cluster Probleme mit Internet Access
« previous
next »
Print
Pages: [
1
]
Author
Topic: HA Cluster Probleme mit Internet Access (Read 136 times)
Spitzbube
Newbie
Posts: 2
Karma: 0
HA Cluster Probleme mit Internet Access
«
on:
October 16, 2024, 07:47:12 am »
Guten Morgen,
seit einigen Tagen versuche ich nun meinen alten HA Cluster auf neuer Hardware erneut einzurichten.
Hatte ursprünglich ein APU Dual Board in einem 1U Case von Varia. Da die APUs aber nicht mehr weiterentwickelt werden und ich virtualisieren möchte und IDS IPS etc. betreiben möchte waren die APU Boards etwas schwach, daher habe ich mir ein Supermicro SuperServer 5019D-FN8TP gekauft. Diese hat noch zusätzlich über die Riser Card eine Intel X710-DA4 10GBe SFP+ mit SR-IOV Quad Port für die VLANs verbaut. Auf dem System läuft aktuell mal ein ESXi 8 U2 als Test.
Bisherige Konfiguration:
Auf jedem der APU Boards war OPNsens installiert. Die Boards waren über CARP mit einander verbunden und haben eine Ausfallsicherheit zur Verfügung gestellt. Auf jeder OPNsense war noch Adguard Home als DNS 1 und DNS 2 konfiguriert. Das funktionierte bis dato echt gut.
Zielsetzung:
2 OPNsense VMs die eine Hochverfügbarkeit bieten und den Weiterbetrieb bei Ausfall der ersten Master auf der Backup VM weiter führt. Später dann noch ein WAN Failover, wenn das Internet mal über die Fritzbox läuft.
Also habe ich zunächst 2 VMs mit OPNsense aufgesetzt, dabei unbewusst die gefälschten Übertragungen und die MAC Adress Änderungen unter den Einstellungen des vSwitches und der Portgruppe zugelassen und die MAC Adresse auf automatisch in den Einstellungen der Netzwerkkarte der VM gestellt. Als Lan Adapter wurde der Intel E1000 verwendet. So habe ich zunächst eine VM installiert und dann die Zweite. Interfaces, IP Adressen, VLANs und Firewall-Rules auf beiden hinzugefügt und die Virtuellen IP-Adressen + die Hochverfügbarkeit + Outbound NAT konfiguriert.
Später habe ich dann beim ersten Test der Hochverfügbarkeit bemerkt, dass die Interface Zuweisungen der VMs sich total verschoben haben. Was beim Setup der VMs der OPNsense noch em1 -> WAN em0 -> LAN und -> em2 für CARP waren, wurde wohl bei der Zuweisung der VLANs komplett durcheinander geworfen. Sprich: VLAN 50 für MGNT hatte bei der Prüfung dann das Interface em2 was beim Config noch für CARP gedacht war. Sprich die MAC Adressen und Interfaces waren auf der 2. VM anders als bei der ersten. Also nochmals alles gelöscht.
Habe dann versucht, die Netzwerkkarten einzeln hinzuzufügen. Erst die LAN, WAN, CARP welche über die Onboard Schnittstellen der Firewall gestellt werden, dass hat dann endlich funktioniert, bis diese Intel Quad Nic mit den VLANs ins Spiel kam. Hab dann versucht, die MAC Adressen manuell in den Einstellungen der VM zuzuordnen aber dann starten die virtuellen Maschinen nicht. Nun habe ich für die Interfaces LAN, WAN, CARP zunächst die E1000 genommen und die Intel Quad Nic für die VLANs mal nicht konfiguriert. Die beide VMs die gleichen haben nun Interfaces. em1 -> WAN, em0 -> LAN und em2 -> CARP und die MAC Adressen passen soweit auch.
Nach einigen Tutorials und Artikel im Internet habe ich beide Firewalls nun für die Hochverfügbarkeit konfiguriert. Das CARP funktioniert und synct die Config von der Master auf die Backup FW. Was nun nicht geht ist der Ping auf die virtuelle WAN und LAN IP sowie der Internet Zugriff. Hab dann im Firewall Log geprüft, der Ping auf die Virtual WAN wird vom WAN-IF geblockt, da Haken bei Block private Networks im Interface gesetzt ist. Der Ping auf die virtuelle LAN IP, welcher nicht geht ist mir ein Rätsel.
Config Fritzbox:
Exposed Host auf die CARP MAC Adresse des virtuellen WAN Interfaces mit der IP 192.168.0.15/24 der OPN Sense.
OPN-Sense 1:
GW-WAN 192.168.0.10/24
Interface WAN: 192.168.0.10/24
Interface LAN: 192.168.10.10/24
CARP Interface: 10.0.0.1/24
Virtuelle IP:
WAN: 192.168.0.15/24
LAN: 192.168.10.1/24
OPN-Sense 2:
Interface WAN: 192.168.0.20/24
Interface LAN: 192.168.10.20/24
CARP Interface: 10.0.0.2/24
Virtuelle IP:
WAN: 192.168.0.15/24
LAN: 192.168.10.1/24
Firewallrules - Auf beiden Seiten:
LAN IN OUT any any
WAN IN CARP
CARP: IN OUT any any
LAN DHCP auf beiden Firewalls:
Pool 192.168.10.21 - 192.168.10.249
GW: 192.168.10.1
DNS: 192.168.10.1
Als DNS habe ich mal den DNS Masq konfiguriert
Port 53
-> Enable DNSSEC Support
-> Register DHCP leases
-> Query DNS servers sequentially
Unter System-Settings-General
DNS Server 9.9.9.9
-> Do not use the local DNS service as a nameserver for this system
Irgendwo ist eine Setting nicht richtig aber ich komm echt nicht dahinter. Er meldet zwar ein DNS_PROBE_FINISHED_NO_INTERNET im Browser aber wenn die virtuelle LAN IP schon nicht erreichbar ist, bleibt der DNS Server erst mal 2. Prio. Möglich, dass Freebsd / OPNsense mit dem VMware Netzwerkadaptern nicht klar kommt? Meine, mich erinnern zu können dass mit den Intel E1000 zumindest der Ping auf die virtuelle WAN IP funktioniert hat.
Logged
trixter
Jr. Member
Posts: 76
Karma: 0
helfe, so gut ich kann
Re: HA Cluster Probleme mit Internet Access
«
Reply #1 on:
October 18, 2024, 02:03:56 pm »
wie sehen denn VHID / advbase und advskew bei Dir aus ?
welche physikalischen Interfaces stecken hinter den Carp-VIPs ?
Für mich sieht das aus, als hingen die in der Luft.
Logged
VMW / PMX / PFS / OPS
Spitzbube
Newbie
Posts: 2
Karma: 0
Re: HA Cluster Probleme mit Internet Access
«
Reply #2 on:
Today
at 05:03:59 am »
Hallo,
sorry für die verspätete Nachricht. An sich geht der Cluster jetzt. Hab da noch etwas in den VMware Einstellungen der Port Gruppe getestet. Eine der LAN Ports hatte die MAC-Adress Änderung nicht aktiv. Habe dann noch den Promiscuous-Mode auf allen Nics aktiviert und dann hats auch mit dem Internet funktioniert.
Stimmt die VIPS hatte ich nicht ausführlich beschrieben:
VHDI Group natürlich von 1 beginnend auf jeder FW fortlaufend.
Virtual LAN -> LAN Interface
Virtual WAN -> WAN Interface
Auf der Master FW advskew 0 & Backup FW dann advskew 100, zwecks Gewichtung.
Allerdings habe ich jetzt noch ne Problematik mit einem Switch vor dem ganzen Cluster zu lösen: Die Fritzbox hat ja 4 Lan Ports. 2 davon gehen bereits in meinen 2 Node Firewall Cluster. Dieser Cluster ist nur für die Home Seite sprich private Clients und IoT. Habe nun mal einen TP-Link TL-SG2218 als Core Switch davor gehängt, um meine Möglichkeiten zu erweitern.
Ziel soll es sein 2 weitere 2 Node Firewall Cluster zu integrieren. Dabei soll meine alte APU Dual Board Lösung als LAB Cluster und eine andere Supermicro Firewall als DMZ Firewall dienen. Der Switch soll lediglich den Zugang zum WAN verbessern, damit ich alle Firewalls WAN-Seitig von 4 auf 6 Anschlüsse erhöhen kann.
Nun ist es aber so, dass der Switch im WAN Netz der Fritzbox mit der 192.168.0.5/24 hängt und zwar ansprechbar ist, den WAN Traffic für die Firewall aber nicht durchlässt.
Fritzbox (192.168.0.1/24) -> Switch (192.168.0.5/24) -> Firewall (VIP WAN 192.168.0.15/24) was muss ich am Switch bzw. an den Firewalls den einstellen? Hab schon am WAN Interface -> das Block private Netzworks deaktiviert und in den Firewall Rules mal pass any any aktiviert. Aber damit hat es auch nicht geklappt. hat jemand ne Idee oder anders gefragt nen Vorschlag wie man das vllt. besser umsetzen kann mit der WAN Anbindung?
Logged
viragomann
Jr. Member
Posts: 80
Karma: 3
Re: HA Cluster Probleme mit Internet Access
«
Reply #3 on:
Today
at 01:04:08 pm »
Hast du die Tipps in
https://docs.opnsense.org/manual/virtuals.html#virtual-cloud-based-installation
berücksichtigt?
Mit der HA OPNsense verbundene Geräte müssen den Wechsel der MAC Adresse erlauben. Die Funktion wird oft MAC Spoofing genannt. Das müsste zumindest am Switch aktiviert werden.
Logged
Print
Pages: [
1
]
« previous
next »
OPNsense Forum
»
International Forums
»
German - Deutsch
»
HA Cluster Probleme mit Internet Access