[gelöst][umgesetzt] Suche Rat HA & STP

[mrk45k]

Hallo,

ich bräuchte etwas Hilfe. bzw. Vorabinformationen bzw. Umsetzungsvorschläge/Herangehensweisen.

Momentan sieht meine Netzwerk grob wie folgt aus:
2x ISP (2ts ist nur Backup kein shaping oder ähnliches)
1x appliance (aktuellste Opnsense version)
1x poe switch

Weiter dabei aber für mein Vorhaben nicht wirklich wichtig in Bezug auf die Probleme/Hilfestellung
5x AP (vlan's inklusive)
5x switch (vlans's inklusive)
Und das ganze zeug was so reden will aber hier nicht gesondert aufgelistet werden muss. PC's, TV's etc. Endgeräte halt.
Das Ganze funktioniert auch ganz passabel.
Die appliance und der switch sind mit einem lagg über 3 ports angebunden mit mehreren vlans.
Gateway umswitchen bei Verlust bzw. Wiederkehr auch tadellos funktional.

Jetzt hatte ich mir einst eine zweite appliance besorgt.
Für den Fall das die aktuelle abraucht und dann geht so erst einmal überhaupt nichts mehr.
Die alte/aktuell aktive hat Intel i211 Ports die neue i225er.
In Opnsense also igb oder igc Schnittstellennamen.
Um die Ersatz-appliance aktuell und jederzeit auswechselbar zu bekommen ziehe ich mir ein backup nach dem installieren/update. Editiere das Backupfile, also ersetze igb mit igc. Das ganze dann auch noch für das Zenarmor backup genau so. Den editierten kram spiele ich dann in die neue appliance.
Das funktioniert, ist aber nur eine Krücke.

Also wollte ich das ganze via High availability lösen.
Virtuelle IP's erstellen mit DHC auf diesen. NAT anpassen etc.. Habe mich da schon ein wenig reingelesen. Sollte ich hinbekommen.

Aber wenn das so umgesetzt ist dann kann man ja auch direkt den Switch redundant ausführen.
50/50 der AP's aufteilen und rest auch aufteilen.
Wenn mein Hauptswitch abraucht geht nämlich auch nichts mehr.
Also das mit der Aktion auch noch abfangen.
Bei den heutigen Stromkosten nicht gerade Grün. Aber immerhin spar ich Gas, da mein Netzwerk dann die Bude auf Temperatur hält. Spass beiseite!
Der zweite Hauptswitch ist auch vorhanden für das Vorhaben.
Wenn ich das Ganze jetzt redundant ausführe dann Bastel ich mir eine schleife wie ich denke. Deshalb STP oder LLDP.
Das habe ich aber noch nie umgesetzt bzw. was mit zu tun gehabt. Die beiden Hauptswitche können das. Da muss ich aber noch einmal gucken.

Zum Vorhaben.
Pro appliance möchte 2 laggs erstellen. Einer geht auf jeweils einen switch. In diesen laggs sind alle VLAN's inkludiert.
Jetzt kommt Problem Nr.1:
Muss ich dafür neue vlan interfaces anlagen? Also quasy ,,beinahe" clones vom ersten lagg für den zweiten (anderes parent)? Wenn ja, muss ich diese dann bridgen (z.b. lagg0_vlan1 <> lagg1_vlan1)? Wenn nein, dann kann mir auch einer sagen wie?


Da die beiden appliances verschiedene Schnittstellennamen haben muss ich für HA ja sowieso über einen LAGG gehen für das pfsync.
Kann ich dann die vorhandenen laggs benutzen oder sollte dieser wirklich nur für die Kommunikation beider FW's sein? Also noch ein drittes lagg auf die appliances? (mir gehen die schnittstellen aus ☹ 2x lagg1, 1x lagg2, 1xISP, 1xISPbckp, 1x managing port)


Die beiden Hauptswitche sollen auch mit einem weiteren lagg(2 ports/device) verbunden werden mit allen VLAN's.
Und damit hätten wir den Ring geschlossen oder alles über kreuz noch. Kann opnsense das handeln? Oder was muss ich machen?

Gruß Karsten

[mimugmail]

Bin hier grad am Handy, deswegen kurz:

Lacp auf 2 Switche geht nur vernünftig wenn die Switche gestacked sind. Dann hast du auch keinen Loop und machst STP nur um Loops zu verhindern anstatt es für Redundanz zu missbrauchen. Laggs verwenden weil Interfaces unterschiedlich sind ist ne gute Idee, sollte aber vermieden werden. Je komplexer du das machst, desto geringer wird die Hilfe ausfallen wenn du mal ein Problem hast. Ist meine persönliche Meinung .. hat aber auch dann eher den background vom Business, da will man es ja so einfach wie möglich machen. Lldp ist nur dafür da zu sehen an welchem Port was steckt, hat nichts mit Redundanzen etc. zu tun.
Theoretisch wäre es möglich den lagg mit Modus failover zu machen, also kein lacp, dann hättest du auch keine Loops

[mrk45k]

Hallo,
ich habe etwas rumgetestet.
Alles was ich versucht habe scheitert irgend wo.

Versuch 1: HA aufzubauen.
Habe mich an folgende Anleitungen gehalten:
https://www.thomas-krenn.com/de/wiki/OPNsense_HA_Cluster_einrichten
https://docs.opnsense.org/manual/hacarp.html
https://docs.opnsense.org/manual/how-tos/carp.html

Im Aufbau der Hardware habe ich nur eine Firewall verwendet. Muss ja gehen weil wenn eine ausfällt sollte das Ganze ja immer noch funktionieren. So denke ich mir das.
Mein Problem ist jetzt das ich keine IP via DHCP erhalte. Wenn ich eine statische IP benutze und den dns manuell setze funktioniert die kommunikation zur FW und zum router (auch internet).
Der Router sieht beide Schnittstellen. Also die IP's der reallen und virtuellen Schnittstelle.
Der DHCP server ist aktiv aber zeigt keinerlei anfragen in den logs.
FW Rules LAN (da ist auch der DHCP drauf aktiv) ist auf alles erlauben zum testen.
Ich habe das ganze jetzt 4x neu aufgesetzt weil es nie geklappt hat. Und immer noch nicht funktioniert.
Kann es sein das ich die zweite FW für den test brauche?

Versuch 2: Redundante Switche mit vlan.
Hardware aufbau ist wie folgt:
firewall: 2 ports als lagg für switch_1, 1 port lagg (oder einzel port versucht) für switch_2.
lagg(s) oder einzelport haben alle vlans inkludiert (8stk.)
Eine kommunikation der laggs (oder lagg mit port) bekomme ich nur hin wenn ich diese beiden bridge.
Aber die DHCP adresse bekomme ich nur wenn ich an dem ersten lagg (switch_1) hänge wo der DHCP läuft.
gehe ich an den zweiten dann bekomme ich keine adresse da die bridge keine vlans zuläst. So wie ich mir das denke da bei der Anfrage immer an vlan0 angefragt wird. Aber da gibt es keinen DHCP server.
Auch hier funktioniert das ganze nur wenn ich eine feste IP benutze.
Oder ich musste vermutlich 2 dhcp server für beide schnittstellen der vlan's aufbauen.
Aber das ist am ende zuviel arbeit und muss nachgehalten werden. Das ist nix. Würde vermutlich funktionieren aber funktion ist hier nicht alles. Zudem müsste ich alle bekannten geräte erst einmal an beiden anlernen um die auf beiden zu "identifizieren" um ein umstecken von einem switch auf den anderen zu ermöglichen.
Also so erst einmal nicht möglich.
Wie mimugmail schon angekündigt hat funktionirt es mit stacken. Aber das bringt mir keine redundanz was ja das Ziel war.
Ich denke mir jetzt das es unmöglich ist das so umzusetzen da freebsd diese funktion nicht unterstützt (vlan's in bridges), Oder?

[mimugmail]

Vlans in Bridges geht nicht. Du machst das dann eher mit lagg .. also LACP, um einer Redundanz schaffen.

Also FW1 port 1 und port 2 zu einem LAGG mit LACP und jeder port geht auf einen Switch (im Stack) und macht LACP. Darauf kannst du dann Vlans machen.

Das sollte auch locker mit DHCP funktionieren. Für mich hört sich das eher nach einer Funktion am Switch an .. DHCP Guard oder sowas, was die DHCP Requests blockiert weil die Ports nicht erlaubt sind.

[mrk45k]

Das mit einem lagg (2 ports) der FW auf beide switches hatte ich probiert. Funktionierte aber gar nicht.
Ok, ich habe diese nicht noch einmal miteinander verbunden (die switche) das könnte ich noch testen.
Da ist einer nur ansprechbar immer. Probier ich aber noch einmal aus um sicher zugehen.
Mein Gedanke war das es so eigentlich gehen könnte/sollte.
Beide Switche sind identisch die ich zum testen habe.
Wenn ich diese umstecke funktionieren auch beide wie oben beschrieben.
Ich schliesse das blocken auf der switch seite aus, da ich sämtliche konstellationen meines erachtens ausprobiert hatte und ich immer einen switch nicht erreichbar bzw. kein dhcp auf einem verfügbar habe.

[mrk45k]

Ich habe das jetzt getestet.
Also, den lagg von der fw auf je einen switch geht nicht. Zumindest bekomme ich es mit meinen switchen(switches?) nicht hin. dann ist immer nur einer ansprechbar bzw. das gesamte Netzwerk nur aus dem ansprechbaren nutzbar. Der "tote" sieht nur sich selbst und mein test-device (wenn es dran hängt).

Was aber geht ist wenn ich jeweils einen Port eines switches mit allen vlans versehe und diese dann verbinde (stacke).
Meintest du das so?
Oder den lagg auf den switchen auch via doppel port und dann diese verbinden.
Also im Ring den ganzen lagg. FW_1 > Sw1_1, FW_2 > Sw2_1, Sw1_2 > Sw2_2.?

Wenn ich die switch1-switch2 verbindung jetzt als lagg ausführen würde dann hätte ich eine redundanz aller Kabel und der switche.
Das umschalten der FW lagg verbindung dauert etwas beim umschalten aber wird gemacht. Ich muss mal testen was da "fast timeout" im lagg bringt.

[Patrick M. Hausen]

Also, den lagg von der fw auf je einen switch geht nicht. Zumindest bekomme ich es mit meinen switchen(switches?) nicht hin. dann ist immer nur einer ansprechbar bzw. das gesamte Netzwerk nur aus dem ansprechbaren nutzbar. Der "tote" sieht nur sich selbst und mein test-device (wenn es dran hängt).

Natürlich nicht. Es sei denn, du hast Switche, die Multi-Chassis-LACP, manchmal auch "Stacking" genannt, ausdrücklich unterstützen. LACP geht zwingend nur mit je einer Control-Plane auf beiden Seiten. Manche Produkte können wie gesagt mehrere Chassis als einen "virtuellen" Switch, also eine Control-Plane, abbilden. Dann funktioniert es.

Was ich generell tue:

1. Solche Switche verwenden (@work) oder eben nur einen Switch (@home).
2. Alle Server, Firewalls, Router, ... mit einem Interface an je einen Switch per LACP anbinden (@work) oder mit zwei Interfaces an den einen Switch (@home).
3. Alles andere darauf per VLANs abbilden.

Dieses Design nennt sich auch "router on a stick". Wenn die Bandbreite nicht das Problem ist, also 2x 1G oder 2x 10G für alle VLANs in allen Richtungen reicht, dann ist das übersichtlich, zuverlässig, und flexibel.

Was ich nicht verstehe, ist, wie bei dir LLDP in diese Fragestellung rein kommt? Das ist ein reines Layer2-Signaling-Protokoll. Das macht man einfach auf allen Interfaces an, die man mit einem ebenfalls LLDP-fähigen Gegenstück verbindet. Dann kannst du auf dem Switch, z.B. einem Cisco sagen "show CDP neighbor" und er sagt dir auf welchem Switchport welches Interface deiner OPNsense hängt, ohne dass du auf beiden Seiten nachgucken musst.

[mrk45k]

Was ich nicht verstehe, ist, wie bei dir LLDP in diese Fragestellung rein kommt?

Ich auch nicht mehr wirklich ;) Habe es wegeditiert!

Aber warum bekomme ich keine HA zustande. Muss ich zwei Firewalls haben um das zu testen. Kann ich das nicht mit einer hardware fw testen? Diese sollte doch dann Master werden. Weil die andere nicht da ist. Oder sehe ich das falsch?

[micneu]

esit zwar keine antwort auf deine frage, nur verstehe ich nicht warum du ein HA Setup bauen willst mit 1 Firewall. was genau ist dein ziel, warum willst du das machen, ganz komme ich da noch nicht hinter?
Es hört sich für mich nicht richtig an, das währe so als wenn ich ein auto ohne räder bauen.

[mrk45k]

Kann es sein das ich die zweite FW für den test brauche?

Das ist mein Testaufbau da ich "nur" 2 Appliances habe und eine gerade produktiv aktiv ist.

Soll nur zum Testen sein. eine HA mit einer FW macht ja mehr als wenig Sinn!

[mrk45k]

Ich habe jetzt alles soweit am laufen was der Plan war.

2 fw-appliances und 2x switch. Alles so ziemlich redundant.
Einziger Wehmutstropfen ist/sind meine Router. Beides Fritzboxen.
Die mögen nicht wirklich das beide Firewalls sich mit der gleichen virtuellen IP anmelden.
Somit "klebt" der erst zugelassene immer auf der Fritzbox und er andere hat kein Gateway. Ein umschalten ist nur möglich wenn eine fw sich nicht mehr meldet, muss mal gucken ob ich das noch umgehen kann.

Oder stimmt vieleicht doch nicht alles mit der HA funktion bzw meinem Setup?
Sollte die Backupfirewall vieleicht garnicht die virtuelle IP parallel benutzen?

Der Aufbau jetzt ist wie folgt:
fw1 mit lacp lagg (2ports) auf einen lagg an switch1 (einen Port) und ein lagg auf switch2 (ein port)
fw2 das gleiche spiel.
Die beiden Switche sind mit einem lagg verbunden der zudem noch auf einem switch STP&loop protection aktiv auf dem lagg hat.

Das Umschalten von einer FW auf die zweite dauert etwas, funktioniert aber. Also stossfrei ist anders!
XMLRPC Sync funktioniert auch von der Master auf die Backup trotz igb/igc ports ohne lagg.

Mir ist klar das ganze für zuhause etwas overkill ist. Aber ich wollte das mal umsetzen und gucken wie und ob das so funktioniert. Vieleicht bekomme ich das mit den virtuellen wan IP's auch noch geregelt.

Ach ja, zum testen reicht eine Firewall, falls das mal einer auch wissen möchte und hier landet. Zumindest für den Anfang um zu schauen ob die virtuellen IP's arbeiten und die Rules und das Naten stimmt. Hatte ja bis dato leider keine Antwort auf die Frage bekommen vieleicht hat das hier auch noch niemand ausrobiert. Ist ja eigentlich so auch ersteinmal sinnfrei.

Edit:
Das "virtuelle wan IP" Problem habe ich gelöst!
War wie fast vermutet mein falsches HS Setup.
Es war fälschlicherweise in den dhcp's die failover peer IP auf die virtuelle IP gelegt und nicht auf die andere fw. Jetzt fluppt das umschalten auch flotter und gefülht stossfrei!