OPNsense MultiWAN

[jinn]

Hallo zusammen,

aus einem kleinen Testprojekt soll nun doch ein Liveprojekt werden -> OPNsense soll die aktuelle Firewalllösungen ablösen

Wir besitzen bei der Telekom 3 IP Netze mit /29-Gateway, die wir so auch auf der OPNsense nutzen wollen. Derzeit wird ein Netz von der Watchguard für den Zugang nach außen und ein Netz auf dem TMG für den Zugang nach innen (die Lösung habe ich bei Arbeitsbeginn so "übernommen" - daher kann ich nicht beantworten, warum man sich für so eine Lösung entschieden hat)

Nun stellt sich mir aber die Frage, ob wir alle 3 Netze an einem NIC nutzen können? Wie wäre hier die sinnvollste Lösung?
Derzeit haben wir eines der Netze an die Test OPNsense angebunden, wenn wir raus gehen erhalten wir aber nicht immer die gleiche IP Adresse sondern unterschiedliche aus dem jeweiligen Netz.
Für den Zugang nach innen muss ich vermutlich 1:1 NAT nutzen, wenn ich das richtig gelesen habe? Zumindest arbeitet auch der TMG mit diesem Prinzip, hier wird nur angegeben von welcher externen IP die Anfrage kommt und an welchen Server diese dann übermittelt wird.
Wäre es hier sinnvoller/einfacher die Konfiguration komplett in der OPNsense zu machen und zwischen den beiden Geräten der Telekom (failover) nur einen unmanaged Switch (aktuelle Lösung) zu klemmen, oder das NAT in einem Switch zu konfigurieren?


In Zukunft soll dann auch noch eine zweite OPNsense als Failover dazu kommen. Ist es hier nötig die komplett gleiche Hardware zu nehmen? Wir haben uns jetzt für die "viel zu große Lösung" entschieden, 16GB RAM, XEON-1230, 2x 240GB SSD, damit wir auch gar keine Performanceprobleme bekommen, da die ersten Dienste am besten sofort über die neue Firewall laufen sollen.
Für das Failoversystem würde ich aber, wenn es keine Probleme geben würde, die Minimallösung nehmen: 4GB Ram, Intel Pentium G4600

[mimugmail]

Hi,

bzgl. dem NAT warte am besten auf 18.1.6, dann ist das gefixt. Du kannst auch im englischen 18.1 Forum nach 18.1.5 und nat im Betreff schauen, da steht auch ein Hotfix, aber wenn du nicht live bist warte am besten.

Wegen der kleineren Maschine wäre CPU und RAM kein Problem, aber die Namen und Nummerierung der NICs sollte schon gleich sein, sonst kann CARP da paar Fehler spucken.

[JeGr]

Allein aus den CARP Gründen sollte die 2. Maschine so identisch wie möglich sein (gerade bei den NICs). Aber auch rein logisch dimensioniert man ja Appliances so, dass sie groß genug sind mit Luft nach oben. Da sollte man dann schon das Gleiche nehmen, denn im Ausfall-Falle will man dann ja nicht auf dem Zahnfleisch rumkugeln bis der Master wieder läuft. Wir hatten in der Vergangenheit verschiedene Maschinen - das war ein einziger Graus und ich kann nur jedem produktiv davon abraten.

> Nun stellt sich mir aber die Frage, ob wir alle 3 Netze an einem NIC nutzen können? Wie wäre hier die sinnvollste Lösung?

Nutzen sicherlich, aber wie ist "an einem NIC" gemeint?
Wie bekommt ihr die 3 /29er Netze denn von der Telekom? Geroutet?

> Für den Zugang nach innen muss ich vermutlich 1:1 NAT nutzen, wenn ich das richtig gelesen habe?

Die Antwort darauf hängt an der Frage darüber: wie bekommt ihr die Netze von der Teleokom auf eure Kiste momentan (also den TMG vermutlich)?

> Derzeit haben wir eines der Netze an die Test OPNsense angebunden, wenn wir raus gehen erhalten wir aber nicht immer die gleiche IP Adresse sondern unterschiedliche aus dem jeweiligen Netz.

Schau mal dazu im Forum, es gab da eine Diskussion dazu und einen patch von Franco, den du dazu einspielen kannst. Künftig gibts das nicht mehr wie mimu schon sagt mit dem nächsten Release. Hat auch IMHO keinen Grund/Vorteil dass das überhaupt reinkam, sondern wie in deinem Fall eher Probleme.

Gruß

[jinn]

>Allein aus den CARP Gründen sollte die 2. Maschine so identisch wie möglich sein (gerade bei den NICs). Aber auch rein logisch dimensioniert man ja Appliances so, dass sie groß genug sind mit Luft nach oben. Da sollte man dann schon das Gleiche nehmen, denn im Ausfall-Falle will man dann ja nicht auf dem Zahnfleisch rumkugeln bis der Master wieder läuft. Wir hatten in der Vergangenheit verschiedene Maschinen - das war ein einziger Graus und ich kann nur jedem produktiv davon abraten.

Ich würde hier bis auf zwei Komponenten (Pentium anstatt Xeon und 4/8GB anstatt 16) ändern. Mainboard und PCI-E NIC würden identisch bleiben.


>> Nun stellt sich mir aber die Frage, ob wir alle 3 Netze an einem NIC nutzen können? Wie wäre hier die sinnvollste Lösung?

>Nutzen sicherlich, aber wie ist "an einem NIC" gemeint?
Wie bekommt ihr die 3 /29er Netze denn von der Telekom? Geroutet?

Genau, derzeit sind an den Netzwerkkarten im TMG und in der Watchguard jeweils ein Netz direkt am NIC eingetragen, sprich die IP ist eine externe, das Gateway die Gateway IP aus dem jeweiligen /29-Netz. Die anderen 3 Adressen können werden dann als Alternative IP (Watchguard) bzw "IP addresses" eingetragen (attachment)



>> Für den Zugang nach innen muss ich vermutlich 1:1 NAT nutzen, wenn ich das richtig gelesen habe?

>Die Antwort darauf hängt an der Frage darüber: wie bekommt ihr die Netze von der Teleokom auf eure Kiste momentan (also den TMG vermutlich)?

(attachment)

>> Derzeit haben wir eines der Netze an die Test OPNsense angebunden, wenn wir raus gehen erhalten wir aber nicht immer die gleiche IP Adresse sondern unterschiedliche aus dem jeweiligen Netz.

>Schau mal dazu im Forum, es gab da eine Diskussion dazu und einen patch von Franco, den du dazu einspielen kannst. Künftig gibts das nicht mehr wie mimu schon sagt mit dem nächsten Release. Hat auch IMHO keinen Grund/Vorteil dass das überhaupt reinkam, sondern wie in deinem Fall eher Probleme.

Danke, euch beiden für die Info, dann hoffe ich vorerst auf einen schnellen Release, der neue Server soll kommende Woche kommen, ansonsten werde ich den Patch nutzen

Gruß

[mimugmail]

Wenn du die 3 Netze auf einer NIC nutzen willst geht das nur mit NAT Pools. Vorteil ist dass man auch Netz- und Broadcastadressen verwenden kann, Nachteil, dass lokale Dienste nicht mit NAT IPs funktionieren.

Ansonsten halt die Netze jeweils einer NIC zuordnen.

Alles andere wäre unsauber und macht nur Ärger.

[JeGr]

Moment moment! Das sind aber nicht 3 NETZE, sondern 3 Adressen über die wir hier reden? Deshalb war meine Frage, wie ihr 3(!) /29er Netze bekommt. Du sprichst aber nur von einem(!) /29er Netz wo noch 3 Adressen frei sind.

Was ist jetzt genau gemeint?

[jinn]

Nein, wir haben 3 Netze, der Screenshot zeigt nur den Beispiel von dem einem Netz, dass am TMG genutzt wird.

Insgesamt sind es aber 3 /29er Netze die wir haben:

86.167.49.88/29
86.167.153.104/29
76.216.133.200/29
(andere IPs aber quasi dieses Schema)

IP 1 aus Netz 1 (86.167.49.90) nutzen wir für den externen Ausgang
Die 4 IP Adressen für Netz 2 nutzen wir für den Eingang auf z.B. gehostete Systeme

Netz 3 wurde bisher nicht verwendet und dient daher aktuell nur zum Testen an der OPNsense.
In Zukunft sollen aber alle 3 Netze an der OPNsense verwendet werden. Die gleiche IP soll für extern genutzt werden, die gleichen externen IPs auf die gleichen internen gemappt. Die freien IPs werden dann für zukünftige externe Zugänge (weiteres Hosting, ...) genutzt.
In dem Fall werde ich also ein Netz jeweils einem NIC zuordnen, wenn das die einfachste Lösung ist.

MultiWAN war auch der falsche Ausdruck, wir haben zwar zwei Verbindungen, davon ist eine allerdings nur eine aktiv. Die zweite Leitung wird als Failover verwendet, sollte die erste ausfallen, das Routing wird dann automatisch gewechselt. Bei Verfügbarkeit der Hauptleitung geht es dann wieder zurück

[JeGr]

OK dann wirds nun durchsichtiger

> IP 1 aus Netz 1 (86.167.49.90) nutzen wir für den externen Ausgang

Dann aber nochmal die Nachfrage: Wie ist das WAN konfiguriert. Ihr habt eine IP aus Netz1 auf dem WAN und die erste IP aus dem Netz ist euer Gateway? Und damit sind dann noch 4 zusätzliche aus dem Netz nutzbar?
Und wie stehts mit Netz 2 und 3? Die sind komplett nutzbar?

[jinn]

Die Netze sind alle gleich Aufgebaut:
(Es sind natürlich 3 IPs pro Netz, nicht 4 wie ich bisher falsch gesagt habe)
Bei Netz 1 habe ich jetzt die erste VHID mit der ersten IP getauscht, um es einfacher zu machen. Real ist aber die 86.167.49.90 die erste IP und 86.167.49.92 gehört zur VHID

Netz	86.167.49.88/29	86.167.153.104/29	76.216.133.200/29
GW	86.167.49.89	86.167.153.105	76.216.133.201
VHID	86.167.49.90	86.167.153.106	76.216.133.202
VHID	86.167.49.91	86.167.153.107	76.216.133.203
IP	86.167.49.92	86.167.153.108	76.216.133.204
IP	86.167.49.93	86.167.153.109	76.216.133.205
IP	86.167.49.94	86.167.153.110	76.216.133.206
BC	86.167.49.95	86.167.153.111	76.216.133.207

[JeGr]

OK dann dazu aber die Frage: wenn das ALLES über EINE WAN Anbindung rein kommt, wozu habt ihr dann 3x Gateways bekommen? Das macht doch keinen Sinn... Ihr konfiguriert ja EINEN WAN Uplink - wahrscheinlich den .89 aus dem ersten Netz - und da wird alles hingeschickt. Dann machts doch keinen Sinn vom ISP euch drei Netze aufzulegen mit eigenen Gateways etc. die eh nicht genutzt werden

Ich würde da nachhaken und die beiden Netze 2 & 3 anfragen, ob die nicht schlicht auf die Sense IP aus Netz 1 geroutet werden können. Dann stünde euch der komplette /29er Adressraum vollständig zur Verfügung UND ihr könntet damit machen was ihr wollt - auch weiterrouten in eine DMZ etc.

Dazu noch die Frage was mit VHID gemeint ist. Momentan ist ja nur eine Sense am Start, also kein CARP. Warum sind dann 2 IPs mit VHID (und was soll das an der Stelle) markiert? Soll die erste Sense dann die 90 und die zweite die 91 bekommen? Und welche IP wird dann die CARP IP? 92?

Das ist noch etwas unklar in der Konstellation. VHID ist eigentlich auch nur bei CARP IPs relevant und als Begriff lediglich die Definition, welche virtuelle MAC Adresse die CARP IP bekommt (und in der gleichen Broadcast Domain muss diese eben eindeutig sein und darf nicht mehrfach vorkommen). Ansonsten hat VHID keinen Bezug zur IP

[jinn]

Da kann ich nur raten, da ich noch nicht so lange im Betrieb bin. Ich vermute aber, dass es daran lag, dass unterschiedliche Geräte die unterschiedlichen Netzte genutzt haben (TMG, Watchguard und in der Vergangenheit ggf. noch was älteres)
Routing auf eine IP wäre auch kein Problem, laut der Telekom. Da wir aber aktuell mit der OPNsense das 3. Netz nutzen war das für mich bisher aber eine gute Lösung, da ich so nicht noch einen Router intern für das Routing konfigurieren musste.

VHID habe ich quasi nur übernommen, das sind die zwei IPs die von der Telekom für das Failover genutzt werden und daher nicht von uns genutzt werden können (würde beim Routing natürlich wegfallen).

Aktuell sehe ich also momentan folgende Wege:

Aktuelle Konfiguration beibehalten und pro Netz 1 NIC verwenden
Routing von Netz 2 und 3 auf IP in Netz 1 und nur 1 NIC für alle verwenden und mehr IPs zur Verfügung stehen zu haben

zumindest wirken beide Konfigurationen sauber, wovon die 2. natürlich den Charme der weiteren IP Adressen hat.
Der Plan wäre also aktuell folgender: Testsystem mit 3. Netz aufbauen
Konfiguration von TMG (Netz2) und Watchguard (Netz1) in OPNsense abbilden
Netz 3 Routing auf Netz1 umstellen lassen -> Nach Testphase Netz2 auf Netz1 routen lassen

Vielen dank für die ausführliche Unterstützung von allen hier!