Hilfe bei neuem Netzwerkdesign

[BOSSJoe]

Hallo zusammen,

ich könnte einmal eure Hilfe gebrauchen bezüglich Netzwerkdesign. Ich habe hier ein Bestandssetup und komme irgendwie nicht ganz weiter. Wahrscheinlich sehe ich den Wald vor lauter Bäumen nicht...

Folgendes ist gegeben:

-2 Gebäude (eigentlich sogar 3, allerdings ist das 3. mit dem 2. per Glasfaser verbunden und im gleichen Subnetz)
-zwischen dem Hauptgebäude besteht schon immer eine WLAN Richtfunkverbindung zu einem der Nebengebäude
-Die Nebengebäude sind per Glasfaser miteinander vernetzt (gleiches Subnetz)
-das Häuptgebäude hat einen Internetzugang die Nebengebäude keinen
-Alles in einem Subnetz (192.168.0.0/24), außer GastWLAN (seperates VLAN mit eigenem Subnetz 172.23.0.0/24)
-In den Nebengebäuden sind eigentlich nur VoIP Geräte und Access Points sowie Switche

- Neu hinzu gekommen ist ein seperates Nebengebäude welches zwei bis drei Büroarbeitsplätze hat
- Dieses Gebäude war bisher per VPN angebunden und hat einen eigenen Internetzugang sowie ein eigenes Subnetz (192.168.178.0/24)
- Durch die niedrige Uploadrate der Internetzugänge und die gute Performance der WLAN Richtfunk Geschichte hat man sich entschlossen auch dieses Gebäude per WLAN einzubinden und den dortigen Internetzugang als Backup zu verwenden

Ich hab das ganze mal versucht als Diagramm darzustellen:



Was soll gemacht werden:
- beide Netzwerke sollen bis auf weitere bestehen bleiben
- beide Netze sollen uneingeschränkt miteinander kommunizieren (eventuell werde ich das noch ein bisschen beschränken)
- Die Gebäude benutzen weiterhin ihre jeweiligen Internetzugänge, bei einem Ausfall kann aber der jeweils andere Zugang mitgenutzt werden
- das Netzwerk sollte Zukunftsfähig sein (zu dem VLAN für das GästeWLAN werden wahrscheinlich noch weitere VLANs kommen, eigenes VoIP VLAN, etc...)
- im Zuge des Netzumbaus wird im Hauptgebäude eine opnSense HA Lösung implemetiert, welche eine weitere Backupinternetleitung über LTE bekommt (das Unternehmen benötigt dringenst immer einen funktionierenden Internetzugang, da viele Dienste mit Cloudanbietern geregelt sind)

Bei den verwendeten Geräten handelt es sich um:

Hauptgebäude:
- aktuell Eigenbau pfSense mit zwei NICs (wird gegen eine opnSense HA Lösung auf Appliance Basis getauscht, btw. ich suche noch nachpassender Hardware)
- Cisco SG300 Switche
- Ubiquiti Lite Beam AC Gen2 (https://www.ubnt.com/airmax/litebeam-ac-gen2/)

Nebengebäude alt:
- Cisco SG300 Switche
- Ubiquiti NanoBeam5 AC - 16 kein Gen2 (https://www.ubnt.com/airmax/nanobeam-ac-gen2/)

Könnte mir bitte jemand grob auf die Sprünge helfen? Ich stehe glaube ich grad total auf dem Schlauch wie ich das am sinnvollsten umsetzen kann.

Vielen Dank

Joe

[NicholasRush]

Hallo BossJoe,

ja da würde ich auch auf dem Schlauch stehen, wenn du alles, aber auch wirklich alle Geräte auf VLAN umkonfigurierst, sollte es einfacher werden. Soweit ich gesehen habe sollten das auch alle von dir zur Verfügung stehenden Geräte unterstützen.

Das bedeutet, das auch auf den Ubiquiti Light Beam´s, VLANs gefahren werden. So hast du an jeder OPNsense nachher alle VLANs anliegen und kannst entsprechend entscheiden, über welche Internetverbindung der Traffic raus soll. Soweit angegeben kann ich sonst kein Problem erkennen.

z.B.

VID 5 => ISP 1
VID 6 => ISP 2 (Backup)
VID 9 => Hausnetz 1 (192.168.0.0/24)
VID 10 => Hausnetz 2 (192.168.178.0/24)
VID 20 => GastWLAN (172.23.0.0/24)

Ist nur ein grobes Beispiel. Wenn ein "Flaches"-Hausnetz erwünscht wird, kannst du auch die Geräte von VID 10 in VID 9 mit reinpacken.

"ISP 1" und "ISP 2" heißt, das du statt wie bisher, den Provider Router in das jeweilige VLAN legst und OPNsense oder Pfsense greifen darauf dann Dynamisch zu, mittels eines LACP VLAN Trunk. So ist es dann egal in welchem Gebäude die Internetzugänge liegen. Letzlich steckst du also einfach das Provider Modem auf einen Switchport welcher als "Access" mit VID 5 oder 6 konfiguriert ist. Und in der OPNsense oder der Pfsense legst du dazu VLAN Interfaces an.

Entscheiden solltest du allerdings trotzdem nachher über die Routing Policy´s was über welchen Internetzugang rausgeht, da ansonsten evtl. einiger Traffic zweimal über die WLAN Verbindung läuft und so Bandbreite wegschnappt.

Hoffe das ich dir damit weiterhelfen konnte.

Schönen Sonntag

NR

PS: Natürlich kann man das auch noch eine Stufe eleganter Lösen, wird dann allerdings auch komplizierter, da dann Dynamische Routingprotokolle wie OSPF zur Lösung herangezogen werden.

[BOSSJoe]

Hi NR,

vielen Dank für die schnelle und ausführliche Antwort.

In einem anderen Forum kam dieser Vorschlag auf:



Vorteile:
- Ich brauche nicht all zuviel an den Netzwerkeinstellungen der einzelnen Clients machen
- Ich nutze vorhandene Hardware
- HA Lösung räumlich getrennt mit jeweils dediziertem Internetzugang

Nachteile / eventuelle Probleme:
- Jeder Internetzugang hat eine eigene fixe externe IP mit bestimmten Services am laufen. Mir ist nicht ganz klar wie ich es hinbekommen soll das nicht mindestens einer der Services immer über die Funkstrecke läuft und diese auslastet
- Generell die Funkstrecke. Ich bin ein wenig unsicher wie stabil das ganze ist wenn ich die als HA Sync verwende
- ...

Soweit erst einmal meine ersten Gedanken dazu.

Ich habe auch einmal deinen Vorschlag aufgefasst und eine Zeichnung angefertigt. Ich hoffe ich habe dich korrekt verstanden:



Vielleicht könntest du das auch mit OSPF noch einmal näher erläutern. Bin zwar noch nicht so tief in der Materie drin, würde es aber gerne einmal probieren...

Vielen Dank

Joe

[fabian]

OSPF ist ein Routing-Protokoll, kann als plugin (os-frr) nachinstalliert werden.
Dadurch können die Firewalls die Routen dynamisch ändern, wenn sich die Topologie ändert (zum Beispiel durch einen Leitungsausfall).

[NicholasRush]

Im Schaubild (Angehängt) habe ich aufgezeigt wie ich meinen Vorschlag gemeint habe. Du kannst nachher an jeder OPNsense jedes VLAN abgreifen. Der LACP Trunk dient lediglich der Dynamischen Verteilung auf beide Physischen Netzwerkinterfaces um eine gleichmäßige Auslastung zu erreichen.

OSPF ist Optional in diesem Szenario, da du bei Bedarf an beiden OPNsensen den gesamten Traffic Routen kannst.
Im Grunde könntest du sogar die OPNsense im Nebengebäude 1 dann ins Hauptgebäude holen (Da macht dann HA sinn). Lediglich die WLAN Verbindung darf nicht ausfallen. OSPF würde auch erst dann richtig sinn machen wenn du die Netze vollständig trennst also in Abteilungen, und dann die Teilnetze von Gebäude 1 auch dort Routest, da du das aber nicht machst brauchst auch da keine OPNsense. Klar könnte man HA machen, du würdest allerdings immer Verbindungsausfälle haben da das WLAN dazwischen bei Verbindungsabbrüchen immer einen Failover auslösen würde.

Bei den Wifi Bridges solltest du ins AirOS Handbuch schauen, um die Konfiguration so zu ändern das die VLAN Tags ungefiltert übertragen werden. Die Glasfaserverbindung sollte ebenfalls getaggt werden.

Gruß
NR

[BOSSJoe]

Hi NR,

vielen Dank für das Schaubild. Jetzt hab ich kapiert was du mit dem LACP gemeint hast. Ich dachte mir schon wie soll ich den ein VLAN Interface trunken???

Also soweit alles klar. Was ich jetzt noch nicht verstehe ist wie ich das mit den Gateways mache. Bei den Clients ist das klar, hier hinterlege ich die jeweilige VLAN IP der OPNsense als Gateway und DNS.

Aber:

- 1. Ich kann ja immer nur ein Gateway mitgeben und in dem Szenario hab ich ja zwei???
- 2. Wie würde ich die beiden Provider Router in der OPNsense eintragen? Als Gateway Group?

Vielen Dank

Gruß

Joe

[NicholasRush]

Ich habe zu sehr im Cisco Jargon geschrieben, welcher leider sehr verwirrend sein kann.

Also LACP ist auf deinen Cisco SG300 Switchen der Port-Channel. Und mit "VLAN Trunk" meine ich einen Switchport auf dem du auf die VLANs anhand der Tags abgreifen kannst. Heißt bei Cisco auch "Trunk". Die PC Ports bleiben weiterhin ACCESS. Und die ISP Modems/Router kommen ebenfalls per "Access" in ihr jeweiliges VLAN. Der Port Channel an dem die OPNsense hängt wird auch als VLAN Trunk konfiguriert, so kannst du dann auf alle VLANs zugreifen und zwischen denen routen. Und ins Internet routen. Der Port Channel sorgt dafür das Anfragen gleichmäßig auf beide Interfaces verteilt werden und bei einem Ausfall eines Interfaces alles über das verbleibende läuft.

Ich würde die OPNsense aus dem Nebengebäude 1 entfernen und ins Hauptgebäude holen. Die kannst du dann als Cold Backup konfigurieren. Es macht  in einer solchen Netzstruktur einfach keinen sinn HA zu fahren. Und OSPF mit Default Gateway Advertising würde dich evtl. bei jedem takeover, fehler suchen lassen, da du bei einer solchen Konfiguration das Netz aus mehreren Richtungen betrachten musst. Du darfst, und das wäre eben schwierig zu konfigurieren bei NAT nur ein Default Gateway Advertisen. Sonst hättest du nachher den Fehler das eine Anfrage über die Haupt Internetleitung rausgeht und du nie ne Antwort kriegst.

Du hast nachher weiterhin nur 1 Gateway/VLAN. Da zwei OPNsensen in deinem Netz wenig sinn machen. So bleibt dir zumindest eine über, falls die Haupt OPNsense mal ausfallen sollte.

Das sollte für eine solche Netzstruktur wohl die beste Lösung darstellen. Bei Fragen einfach hier fragen.

Beste Grüße
NR