Umzug pfSense zu OPNsense / Tipps zum Netzwerkaufbau

[BOSSJoe]

Hallo zusammen,

wir planen bei uns in der Firma den Umzug von pfSense zu OPNsense und würden gerne die Gelegenheit nutzen unseren Netzwerkaufbau zu optimieren. Das Netzwerk um das es geht ist ein Netzwerk in unserem Demolab, das heißt es gibt keine Produktivsysteme. Allerdings arbeiten viele meiner Kollegen in diesem Netz um Projekte vorzubereiten, es ist also eher semiproduktiv. 

Ich hatte hier schon einmal eine ähnliche Frage gestellt allerdings ist seither ein wenig Zeit vergangen und ich würde gerne noch einmal um eure Hilfe bitten...

https://forum.opnsense.org/index.php?topic=2559.msg8272#msg8272

Also worum geht es genau. Wir haben eine OPNsense Firewall mit eingerichtetem CARP. Die WAN Schnittstelle geht in unser richtiges Produktivnetz und von dort dann ins Internet. Die LAN Schnittstelle besteht aus einer "HauptIP" (172.16.0.100/19) und mehreren Virtuellen IPs (172.16.32.1/19; 172.16.64.1/19;...).

Jede dieser IP Adressen stellt somit das Gateway für eines der Subnetze unserer einzelnen Teams dar.

Das "Routing" erfolgt dabei über Firewallregeln. Wenn ich das recht verstanden habe kann ich eine statische Route eintragen und alles würde zwischen den Subnetzen ungefiltert geroutet oder ich mache das über die Firewallregeln und kann genau definieren was ich in die einzelnen Subnetze durchlasse und was nicht. Korrigiert mich bitte wenn ich das falsch verstanden habe...!

Meine Frage ist jetzt, ist das so wie wir das noch machen überhaupt sinnvoll oder gibt es eventuell eine bessere Alternative. VLANs haben wir schon in Betracht gezogen, das würde aber das Netz ungleich komplexer machen wie wir fürchten!

Das Problem das wir halt haben ist, das dieses Netzwerk immer weiter wächst und auch immer komplexer wird und wir derzeit auch schon unschöne Effekte haben. Beispielsweise haben erhalten manche unserer VMs nach einem neustart eine APIPA Adresse obwohl sie eine statische Adresse haben. Erst ein deaktivieren und wieder aktivieren lässt das Phänomen verschwinden.
Auch haben wir aktuell das Thema das wir ein komplett getrenntes Netzwerk aufbauen wollen. Dafür habe ich den IP Bereich 172.23.0.0/16 augesucht und eine entsprechende Virtuelle IP (172.23.0.1/16) eingerichtet. Die einzelnen Maschinen innerhalb dieses Netzwerkes funktionieren, allerdings wenn ich einen Uplink zu unserem Demolab einrichte habe ich auf den anderen Virtuellen IPs (172.16.32.1/19,....) Ping abbrüche und Paketverluste. Auf der HauptIP (172.16.0.0/19) funktioniert alles. Kann sich das einer erklären?

Wir haben schon alles gecheckt, doppelte IPs, Loops, etc.... Und ich weiß nicht weiter...

Vielen Dank Gruß

Joe

[faunsen]

Hi Joe,

ich würde die Aufteilung des Demolab mittels VLANs machen. Dafür sind VLANs ja da.
Wenn Du alles nur mischst bekommen alle den kompletten Netzwerkverkehr mit. Also auch Broadcasts etc.
Dabei stellt sich mir die Frage ob Benutzer aus dem einen Netzwerk Daten aus dem anderen Netzwerk sehen dürfen.
Wenn ja, warum dann die Unterteilung. Wenn nein, wirst du VLANs benötigen.
Das würde auch die Integration des 172.23.0.0/16 Netzes erleichtern.
Komplex ist beides sowieso.
Um Alternativen zu suchen müsste man die Bedingungen kennen.

Semiproduktiv gibt es aus meiner Erfahrung nicht. Wenn Kollegen arbeiten müssen ist das immer produktiv.
Stell dir vor was passiert wenn bei der Menge an Subnetzen das Demolab ausfällt.
Ich würde deshalb noch eine Link Aggregation lagg(4) unter die CARP Schnittstellen legen. Je nach Switch Konfiguarion Active/Passive oder Active/Active.

Bei deinen Problemen kann ich ohne nähere Kenntnis der Netzwerktopologie bzw. Switch Konfiguration nicht weiterhelfen.


Viele Grüße
Frank

[BOSSJoe]

Hi Frank,

vielen Dank für die ausführliche Antwort.

Mir ist schon klar das man hier ohne die genauen Umstände keine oder nur rudimentär Hilfe leisten kann. Du hast aber vollkommen recht das wenn die Kollegen nicht arbeiten können es schon zu Einschränkungen kommt. Ich verstehe also dein Argument bezüglich "semiproduktiv".
Das ist auch der Grund warum ich jetzt anfange alles per LACP und redundant zu verkabeln. Von meinem Vorgänger stammt noch die pfSense und diese ist halt der Single Point of failure. Mache ich hier ein Update oder passiert etwas mit der Hardware haben wir kein Routing mehr innerhalb der Netze und generell keine Verbindung aus unserem Firmennetzwerk ins Demolab... Wie gesagt die Gefahr hier ist schon erkannt und ich bin dran!

Um nochmal auf die VLANs zurück zu kommen. Du hast sicherlich Recht und dies wäre der ideale Weg alles voneinander zu trennen. Leider habe ich auch die Erfahrung machen müssen das VLANs ein erhebliches Fehlerpotenzial bergen. Vorallem im Hinblick auf die verschiedenen Bereiche die damit tangiert werden. Es geht ja nicht nur um das reine Netzwerk, sondern auch um die Hypervisor welche mit dem Netzwerk verbunden sind, deren virtuelle Switche und teilweise auch die einzelnen VMs. Dann noch Backupsoftware, Storage, etc... Alles nicht so ohne und ich bin da jetzt auch nicht in allem so ein Spezialist das ich mir zutrauen würde das alles auf einmal über den Haufen zu schmeißen...

Daher meide ich gerade so ein bisschen VLANs wie der Teufel das Weihwasser, obwohl ich weiß das es die beste Technologie für dieses Unterfangen ist!

BTW. Das Problem mit dem 172.23.0.0 Netzwerk hat sich erledigt. Es war tatsächlich eine alte Konfig auf einem CISCO Nexus Switch. Soweit, sogut.

Allerdings hab ich ein neues Problem. Ich habe jetzt CARP auf beiden OPNsense eingerichtet und es scheint alles zu funktionieren. Allerdings schaltet mein Master immer auf seinen Backup um weil angeblich ein Problem besteht. Ich soll alle VIP Ports überprüfen. Diese sind allerdings alle up. Kann es sein das hier noch ein Problem mit dem LACP besteht das ich nur nicht sehe?

Gibt es eventuell eine Möglichkeit einen manuellen Schwenk zurück auf den Master auszuführen?

Vielen Dank

Gruß
Joe

[faunsen]

Hi Joe,

es tut mir leid aber Du musst schon konkreter werden.

Was meinst Du mit "erhebliches Fehlerpotential"?
Wenn Du kein "Spezialist" bist welche Kenntnisse hast Du dann von Netzwerktopologien?
    Das frage ich nur weil gerade die Netzwerkinfrastruktur das Herzstück Deines Setups ist.
    Wenn Du nicht weißt was Du tust wird die nicht stabil laufen und Du wirst nicht glücklich damit.

Und weiter gehts:
Wieso hast Du ein Problem wenn "alles zu funktionieren scheint"?
Was heißt "weil angeblich ein Problem besteht"? Wie macht sich das bemerkbar? Was hast Du bisher mit welchem Ergebnis unternommen?

Auch wenn ich mich wiederhole, ich sitze hier ganz weit weg von Deinem Problem und um Dir dabei helfen zu können muss ich es von hier aus irgendwie analysieren können. Ohne genaue Informationen geht das nicht.

Es gibt zig verschiedene Setups: ein einzelner Switch, mehrere Switche mit oder ohne Interlink, gestackte Switche, mit Trunks (oder Etherchannel in der CISCO Terminologie) oder LACP. Dann die Interface Konfigurationen, Deine LACP Konfiguration (statisch/dynamisch) sowohl auf dem Switch(-stack) als auch auf der OPNsense. Wie ist das ganze verkabelt. Wie sind die Virtualisierungshosts angeschlossen, welche Typen sind das (ESX, KVM, Xen...)?
usw. usw.

Ach ja, und ein Bild sagt mehr als tausend Worte 

Gibt es eventuell eine Möglichkeit einen manuellen Schwenk zurück auf den Master auszuführen?

Ja, indem Du CARP auf dem derzeitigen Master unter Firewall->Virtual IPs->Status deaktivierst. Dann müsste der Backup wieder zum Master werden. Normalerweise...


Viele Grüße
Frank

[BOSSJoe]

Hi Frank,

also dann will ich mal ein bisschen ausholen. Ich bin verantwortlich für das Demolab meiner Firma. Dort testen und probieren wir immer wieder neueste Hard- uns Software aus dem Datacenterbereich (Storage, Netzwerk, Server, Backupsoftware, etc...). Für jeden Themenbereich oder Hersteller gibt es bei uns einen oder mehrere bestens ausgebildete Consultants welche ich jederzeit zu Rate ziehen kann. Von diesen erhalten wir intern auch immer wieder Schulungen und Einweisungen in die Materie. Mich selbst würde ich ein bisschen als Allrounder mit Schwerpunkt auf Virtualisierung und Netzwerk bezeichnen.

Ich habe durchaus schon das Wissen um mit dem mir Anvertrauten Material umgehen zu können, allerdings ist es meiner Meinung nach etwas anderes zu wissen wie etwas funktioniert und der Erfahrung ein "Rechenzentrum" im laufenden Betrieb umzukrempeln... Dazu später mehr... Soviel erst einmal zu mir.

Nun etwas zu unserem Netzwerk/Rechenzentrum:
Wie schon geschrieben gibt es zwei komplett eigenständige Netze bei uns. Einmal das Firmennetzwerk welches nicht von mir betreut wird und das Netzwerk unseres Demolab. Diese sind über eine Juniper Firewall (Firmennetz) und eine pfSense (Demolab-->wird gerade durch OPNsense ersetzt) verbunden.
Gerade habe ich mit einem Kollegen zusammen die Switche hierfür umkonfiguriert. Es gibt zwei 10G-Switche im MLAG und zwei 1G-Switche welche gestackt sind. Alles ist so mit LACP und redundanten Pfaden miteinander und dem OPNsense HA verbunden das egal welche Komponete ausfällt alles noch funktioniert. Selbst den pfSync habe ich per LACP Trunk zwischen den beiden OPNsense Nodes verbunden.
An diese Core-Switche habe ich dann drei HyperV Hypervisor mit SystemCenter  und 4 ESXi Hypervisor samt vCenter mit dem entsprechenden Storage angebunden. HyperV nutzt zur Storageanbindung SMB3 und ESXi nutzt NFS und iSCSI. Alles in einem eigenen VLAN. Ich kann dir bei Gelegenheit mal eine Visiografik hochladen, bin leider gerade nicht mehr auf der Arbeit.

Mein Vorgänger hatte damals unterschiedliche IP Subnetze für die einzelnen Teams und Hersteller bei uns eingerichtet und das habe ich so übernommen. Somit existieren folgende Netzwerke:

172.16.0.0/19
172.16.32.0/19
172.16.64.0/19
172.16.96.0/19 usw...

172.16.0.0/19 ist unser "Hauptnetz" alle anderen sind auf der pfSense (OPNsense) als virtuelle IP eingerichtet. Physikalisch läuft alles über einen Port (Trunk).

Das jetzt mal ganz grob zu unserer Umgebung. Wie schon gesagt habe ich auch schon mehrmals mit VLANs  gedanklich gespielt, den Gedanken aber immer wieder verworfen. Ich habe damals schon als wir die ersten VLANs für den Storage der Hypervisor eingerichtet haben immer wieder Probleme gehabt das irgendetwas nicht erreichbar war. Und das trotz fachkundiger Hilfe meines Netzwerkkollegen. Daher habe ich einfach größte Bedenken das ganze auch nur Probeweise irgendwie mit VLANs einzurichten.

Ich bin mir absolut bewußt das VLANs für uns sicherlich die ideale Möglichkeit darstellen unsere Netze gegeneinander abzugrenzen. Nur sehe ich für mich derzeit keine Möglichkeit dies ohne größere Umbaumassnahmen und damit Downtime bei uns einzuführen.

Das mag angesichts der Vorteile dumm klingen, aber ich habe aufgrund eingeschränkter Ressourcen leider nicht die Möglichkeit alles von der grünen Wiese neu aufzubauen und das alte solange nebenbei zu betreiben. Sicherlich kann man das ganze auch anders umsetzen aber dafür fehlt mir einfach die Erfahrung.

Ok der Text ist ein bisschen länger geworden. Ich hoffe ich konnte dir ein wenig einen Einblick geben und du hast ein wenig Verständnis für meine Situation. Eigentlich bin ich recht gut in dem was ich tue und verstehe auch mein Handwerk, aber das Thema VLANs treibt mir immer wieder Sorgenfalten auf die Stirn. Ich glaube ich habe einfach zuviel schlechte Erfahrung damit gemacht.

vielen Dank und Gruß

Joe

[fabian]

Ich bin mir absolut bewußt das VLANs für uns sicherlich die ideale Möglichkeit darstellen unsere Netze gegeneinander abzugrenzen. Nur sehe ich für mich derzeit keine Möglichkeit dies ohne größere Umbaumassnahmen und damit Downtime bei uns einzuführen.

Die Downtime lässt sich gering halten, indem man das alte Netz mit dem neuen VLAN mit einem Switch oder Crossover-Kabel verbindet - nacher die Geräte umschaltet und  anschließend den Link zwischen den Netzen entfernt. Wenn man den Datenverkehr von diesem Port spiegelt, kann man sehen, wo es noch Probleme geben kann. Wichtig ist nur, das am Ende eine saubere Trennung besteht. Die meisten Virtualisierungsserver unterstützen VLANs und müssen dabei vermutlich umkonfiguriert werden (Netzwerkadaptereinstellungen), da hier vermutlich der Modus der Netzwerkkarten geändert werden muss.

Dem Hypervisor würde ich sowieso einen Trunk-Link geben, damit dort das richtige VLAN einer VM zugewiesen werden kann.

[faunsen]

So, so. Sich vor VLANs fürchten aber MLAG einrichten.
Wie habt Ihr das gemacht, so ohne VLAN? 

Damit ich das richtig verstehe: die Juniper routet nur vom "Hauptnetz" in die Produktion und die OPNsense soll zwischen den anderen 172.16.er Netzen routen?
Und Ihr habt 10GB mit 1GB gemischt?
Klingt für mich alles sehr kompliziert.

Aus meiner Erfahrung kann ich nur raten macht es so einfach wie möglich.
In Eurem Fall würde ich die 10GB Switche als privates SAN Netzwerk im Active/Passive Mode konfigurieren.
Kein MLAG. Wenn der Trunk vom ISC nicht funktioniert war's das mit dem kompletten Netz.
Und in 99% der Fälle sterben die Switch Ports nicht so einfach von einer Sekunde auf die andere sondern siechen noch so vor sich hin und lassen das eine oder andere Paket doch noch durch. Viel Spaß bei der Diagnose.
Active/Passive hätte auch den Vorteil, dass keine besondere Switchkonfiguration benötigt wird.
Zwar wird Euch vermutlich das Herz bluten wenn ein 10GB Switch zum nichts tun verdammt ist aber es gibt nichts stabileres.
Und ob Ihr mit 7 Virtualisierungshosts 20GB auslasten könnt wage ich zu bezweifeln.
Die Latenzen könnt Ihr jedenfalls so nicht halbieren.

Den 1GB Stack würde ich dann für die Kommunikation der VM's verwenden.
Dort könnten dann auch die VLANS konfiguriert werden. Das Routing zwischen den Netzen würde ich komplett der Juniper überlassen, die OPNsense also weglassen.

Das schaut dann so aus:
                    +---------+
                 +--| 10GB S1 |--+
                 |  | active  |  |      +------+     Demolab
+-------------+  |  +---------+  +------|      |  +-----------+  +---------+  Production
| SAN Storage |--+       |     NIC Team | ESX  |--| 1GB Stack |--| Juniper |---
+-------------+  |       |       +------|      |  +-----------+  +---------+
                 |  +---------+  |      +------+
                 +--| 10GB S2 |--+
                    | passive |
                    +---------+


Beim Einsatz von CARP gilt zu beachten, dass VRRP die selben MAC Adressen verwendet wie CARP.
VRRP kommt beispielsweise bei CISCO Geräten zum Einsatz. D.h. jede CARP/VRRP Adresse benötigt ihre eigene ID und davon gibt es nur 255.
In einer VLAN Konfiguration könntet Ihr die ID's freilich vergeben wie Ihr wollt 

Bei der Juniper mit NSRP muss ich leider passen.

Was sagen denn die Consultants zu dem Thema?


Viele Grüße
Frank

[BOSSJoe]

Hallo zusammen,

vielen Dank euch beiden für die ausführlichen Antworten...

@fabian:
So ähnlich hatte ich mir das auch schon gedacht. Aber müsste ich dann nicht die ganze Infrstruktur doppelt haben? Also die alte laufen lassen und die neue nebenbei aufbauen?

@faunsen:
Naja fürchten würde ich jetzt nicht sagen, aber Respekt habe ich schon. Immerhin kann ich bei einer falschen Konfig auf einem Switch oder so mir den ganzen Storage wegziehen oder ähnliches... 

MLAG hat mir einer meiner Kollegen eingerichtet. Wie gesagt, die wissen schon was Sie tun! Leider haben die nie den gesamten Überblick über die gesamte Infrastruktur sondern immer nur ihren eigenen "begrenzten" Blick auf das Gesamtkonstrukt. Und dann ist da natürlich auch das Thema Zeit. Die Kollegen helfen ja gerne aber Kundenaufträge sind dann halt priorisiert zu behandeln...

Wie zum Geier hast du die rafik hier rein bekommen ohne das sich alles verschiebt???

Morgen erstelle ich die auf Arbeit eine Visio Grafik. Das erklärt alles ein bisschen besser...

Vielen Dank schon einmal

Joe

[faunsen]

Wie zum Geier hast du die rafik hier rein bekommen ohne das sich alles verschiebt???

MIt der Funktion "Teletype (Tt)" wird der Text als Monospace dargestellt.

[fabian]

@fabian:
So ähnlich hatte ich mir das auch schon gedacht. Aber müsste ich dann nicht die ganze Infrstruktur doppelt haben? Also die alte laufen lassen und die neue nebenbei aufbauen?

Ne geht auch auf der gleichen Hardware - das einzige was du dafür zusätzlich brauchst ist ein oder mehrere Crossover-Kabel. Der Rest ist VLAN-Konfiguration am Switch. Die Downtime hast du dann, wenn du den Port vom Sammelnetz auf das VLAN umschaltest. Mit einem Skript sollte sich das auf wenige ms + ggf. ARP/NDP-Cache refresh halten lassen. Für diesen musst du den idealen Zeitpunkt finden (wann gerade nicht so viel los ist) und dann gehts. Solange die Switchports miteinander verbunden sind, ist das verhalten so, als ob es sich um ein VLAN handelt. Die große Gefahr ist also erst, wenn das Kabel anschließend entfernt wird und damit die "vergessenen" Systeme deren Kommunikationsparter nicht mehr erreichen. Unter Umständen muss man dafür aber auch was am Client bzw. Server umstellen (zum Beispiel einrichten mehrerer VLANS wenn dieser selbst einen Trunk verwendet.

[BOSSJoe]

Hallo zusammen,

ich hab mal eine Visio Zeichnung gemacht für unser Netzwerk. Ich hoffe ich hab alles wichtige mit drin. Ansonsten einfach fragen... 

Gruß

Joe

[faunsen]

Hi Joe,

zum Verständnis.

Der 1GB Stack hat genau eine LACP Aggregation mit 4 Ports zu den 10GB Switchen?
Je OPNsense gibt es ebenfalls nur eine Aggregation diesmal mit nur 2 Ports zu den 10GB Switchen?
So auch bei den Virtualisierungshosts?
CARP auf der OPNsense ist auf das lagg Interface konfiguriert?
Sind die vhids von pfSense und OPNsense unterschiedlich?
Gibt es auf der Juniper Seite auch CARP?

Besteht das Problem eigentlich noch? 


Viele Grüße
Frank