Netzwerkstruktur

[Fabi--82]

Hoi Metenand,

ich möchte mein aktuelles Mesh aus 3 ASUS Routern durch eine neue Konfiguration mit OPNsense ersetzten,
dabei etwas mehr Kabelgebunden arbeiten...
Ebenso möchte ich mich richtung "Enterprise" Konfikurationen heran tasten... wenn man dem so sagen darf?
Also mit unterschiedlichen VLANs arbeiten, um die Sicherheit etwas zu erhöhen,
aber auch einfach, um die Mechanismen in einem grösseren LAN welches "Professionell" aufgebaut wurde, besser zu verstehen.

Ich betreibe unter anderem einen Server zu persönlichem Nutzen.
Dieser stellt Dienste zur Verfügung, welche ich meinem Persönlichen Umfeld ebenfalls zur Verfügung stellen möchte.
Später eventuell ein Forum für eine kleine Gruppe von Personen zu betreiben.

Schon mal vielen Dank für eure Unterstützung.


Zu meiner Frage:
- Welche Grundstruktur eignet sich besser? (persönlich tendiere ich zur Version B)
- Welche Vor- und Nachteile müssen in kauf genommen werden hinsichtlich Performance seitens OPNsense (Hard- Software)?


Version A ( mit Level 2 Switch's )

Code Select Expand


DOWN    1000 MBit/s
UP       100 MBit/s
        |
+-------+---------+
|   Modem         |
|   Bridg-Mod     |
+-------+---------+
        |
      1GbE
        |
+-------+---------+
|   OPNsense      |
|   Firewall      |
+--+---+---+---+--+
   |   |   |   |                               +------------+ - - - - - Mail
   |   |   |   | VLAN-100                      |            + - - - - - WEB
   |   |   |   +------------------10GbE SFP+---+   Server   + - - - - - Cloud
   |   |   |                                   |            + - - - - - NAS
   |   |   |                                   +------------+ - - - - - PLEX
   |   |   |                                   +------------+
   |   |   | VLAN-60                           |            +-----1GbE--Laser-Printer
   |   |   +----------------------10GbE SFP+---+ PC-Tower   |
   |   |                                       |            +---2.5GbE--Foto-Printer
   |   |                                       +------------+
   |   |                                       +------------+-----------TV
   |   | VLAN-40                               |            +-----------TV-Box
   |   +------------------------------2.5GbE---+ Switch     +-----------SONOS
   |                                           |            +-----------HUE
   |               +---------------+           +------------+
   | VLAN-20       |               |
   +------2.5GbE---+ Switch PoE    |
                   |               |
                   +---+-------+---+
                       |       |               +------------+----------Laptop
                       |       |               |            +----------Smartphone
                       |       +------2.5GbE---+ UG AP WLAN +----------* GAST *
                       |                       |            +----------Kaffee
                       |                       +------------+----------Netatmo
                       |                       +------------+----------LS BAD
                       |                       |            +----------LS Bastel
                       +--------------2.5GbE---+ OG AP WLAN +----------LS Schlafzimmer
                                               |            +----------Smartphone
                                               +------------+


Version B ( mit Level 3 Switch )

Code Select Expand


DOWN  1000 MBit/s
UP     100 MBit/s
        |
+-------+-------+
|   Modem       |
|   Bridg-Mod   |
+-------+-------+
        |
      1GbE
        |
+-------+-------+
|   OPNsense    |
|   Firewall    |
+-------+-------+
        |
     2.5GbE
        |
+-------+-------------------+
|   Ubiquiti                |
|   Switch Enterprise 8     |
|   10 Port                 |
|   PoE                     |
|   Level 3                 |
+---+---+---+---+---+---+---+
|   |   |   |   |   |   |   |
|   |   |   |   |   |   |   |                  +------------+ - - - - - Mail
|   |   |   |   |   |   |   | VLAN-100         |            + - - - - - WEB
|   |   |   |   |   |   |   +-----10GbE SFP+---+   Server   + - - - - - Cloud
|   |   |   |   |   |   |                      |            + - - - - - NAS
|   |   |   |   |   |   |                      +------------+ - - - - - PLEX
|   |   |   |   |   |   |                      +------------+-----------Laptop
|   |   |   |   |   |   | VLAN-80              |            +-----------Smartphone
|   |   |   |   |   |   +-------------2.5GbE---+ UG AP WLAN +-----------* GAST *
|   |   |   |   |   |                          |            +-----------Kaffee
|   |   |   |   |   |                          +------------+-----------Netatmo
|   |   |   |   |   |                          +------------+-----------LS BAD
|   |   |   |   |   | VLAN-80                  |            +-----------LS Bastel
|   |   |   |   |   +-----------------2.5GbE---+ OG AP WLAN +-----------LS Schlafzimmer
|   |   |   |   |                              |            +-----------Smartphone
|   |   |   |   |                              +------------+
|   |   |   |   |                              +------------+
|   |   |   |   | VLAN-60                      |            +-----1GbE--Laser-Printer
|   |   |   |   +-----------------10GbE SFP+---+ PC-Tower   |
|   |   |   |                                  |            +---2.5GbE--Foto-Printer
|   |   |   |                                  +------------+
|   |   |   |                                  +------------+
|   |   |   | VLAN-40                          |            |
|   |   |   +---------------------------1GbE---+ TV         |
|   |   |                                      |            |
|   |   |                                      +------------+
|   |   |                                      +------------+
|   |   | VLAN-40                              |            |
|   |   +-------------------------------1GbE---+ TV-Box     |
|   |                                          |            |
|   |                                          +------------+
|   |                                          +------------+
|   | VLAN-20                                  |            |
|   +-----------------------------------1GbE---+ Sonos      |
|                                              |            |
|                                              +------------+
|                                              +------------+
| VLAN-10                                      |            |
+---------------------------------------1GbE---+ HUE        |
                                               |            |
                                               +------------+


Grüsse
Fabi

[meyergru]

Ich würde Version B nehmen - prinzipiell muss man sehen, dass die Firewall die logische Verteilung auf unterschiedliche VLANs macht, aber der Switch und auch die APs die Verteilung auf die Clients. In Deiner Grafik kommt das nicht vor, aber Du möchtest eventuell mehrere VLANs als separate SSIDs per WLAN verfügbar machen (z.B. IOT für Deine eigenen "unzuverlässigen" Geräte (SmartHome, Drucker, die nach Hause telefonieren, Smartphones usw.), "LAN" für Deinen Laptop und GAST für fremde Clients, die nur Internet-Zugriff haben sollen). Ich habe mal ein Beispiel angehängt.

Logisch spielt es dabei überhaupt keine Rolle, ob diese logischen Netze als VLANs an Ethernet-Ports herausgeführt werden oder ob Du Clients in ein gleichnamiges WLAN reinlässt.

Das bedeutet, dass Du bei Version B an der Firewall nur zwei physische Ports brauchst (modulo der Bandbreite, die eine Aufteilung sinnvoll machen kann, entweder ein physischer Port pro VLAN oder ein LAGG zum Switch).

Du musst aber einen Switch haben, der alle diese VLANs an die APs weitergibt, d.h. dieser Switch hängt nicht nur an einem VLAN wie in Variante A, sondern an einem Trunk Port. Man sollte auch managebare Level-3-Switches nehmen, damit man später ggf. den "Trunk-Backbone" erweitern kann.

Ich würde auch davon abraten, die Netzwerkdrucker direkt an den PC anzuschließen - es ist allemal einfacher, diese Geräte allen Clients dauerhaft zur Verfügung zu stellen - das kann auch bedeuten, Zugriffsregeln von LAN (und eventuell GAST) auf diese Drucker (IOT) einzutragen.

Also: Erst logisch segmentieren, dann verteilen. Und diese beiden Aufgaben liegen dann jeweils bei der Firewall und bei Level-3-Switch bzw, Unifi-APs (via Unifi-Controller).

[Tuxtom007]

Also: Erst logisch segmentieren, dann verteilen. Und diese beiden Aufgaben liegen dann jeweils bei der Firewall und bei Level-3-Switch bzw, Unifi-APs (via Unifi-Controller).

Ich würde auch zu Version B tendieren aber auch mit dem selben Anmerkungen.

Das ganze VLAN-Routing würde ich die OPNsense machen lassen.
Wenn du Unifi-Switch/AP's nutzen willst, muss du die AP's eh mit einem Switchport verbinden, der auf dem "ALL" Profil steht und somit alle VLAN rausgibt. Da kannst du dann auch die ganzen Regelwerke anlegen für z.b. Inter-VLAN Traffic.
Die Zuordnung der VLAN zu den SSID's erfolgt über die WLAN-Konfig in Unifi dann.

Ich nutze das genauso so,  mehrer VLAN auf der OPNSense und die Unifi-Switch und AP's kümmern sich nur um die Verteilung des Netzwerkes bzw. WLAN's.
Ich hab 10 VLAN's für diverse Spielszenarien und 4 davon werden auch als WLAN verteilt.

Nachteil dabei:  man muss eben alle VLAN's doppelt anlegen, auf der OPNSense mit Einstellungen wie DHCP usw. und im Unifi-Controller eben als VLAN-only Netz ohne weitere Einstellungen.
Aber das macht man im Regelfall ja nur einmal.

[Fabi--82]

vielen Dank für eure Antworten.

Anhand dem Beispiel, habe ich nun mein Umfeld darin mal abgebildet.

Da mir leider die eint oder andere Hardware in den letzten Monaten das Zeitliche segnete, bin ich gezwungen, neu aufzubauen...

OPNsense bekommt nun ein Mainboard zur Seite, mit einem RJ-45 2,5GbE von Intel I225-V sowie ein RJ-45 10GbE von Marvell AQtion.
PiHole würde ich in die OPNsense implementieren, sowie ein paar weitere Funktionen wie zB GEObloking.

Ubiquiti liefert den Switch Enterprise 8, 10 Port (8x2.5GbE PoE+ / 2xSFP+)
Access Point WiFi 6 Enterprise (U6 Enterprise) sobald erhältlich.

Server seitig kommt ein TrueNAS Scale zum einsatz, was ich ebenfalls noch am aufbauen bin.
Diesem wird später eine SFP28 Netzwerkkarte E810-XXVDA2 PCI-Express x8 zur Seite gestellt.
Würde es Sinn machen, den Datenverkehr für iSCSI / SMB Zugänge auf einen anderen NIC zu legen, so dass alles was ins Internet darf, über den zweiten NIC laufen würde?

Den Controller für die Ubiquiti würde ich auf dem Server laufen lassen.

Bezüglich Drucker:
Da die meisten Sachen sich im Wohnzimmer befinden, ausser Büro und OG, sehe ich diese Anschlussart als Sinnvoll. Natürlich hast Du recht, in der Regel würde man dies so machen. Die Wahrscheinlichkeit ist so gering, dass ein Gast bei mir etwas ausdrucken müsste, dass es dazu andere Wege gibt, dies zu realisieren. Damit kann ich mir einen kostspieligen Switch ersparen.

Somit heisst es nun, restliches Material bestellen und Bauen :)

[meyergru]

Ein paar Tipps:

1. Anstelle des Enterprise 8 würde ich den Switch Enterprise 24 PoE nehmen - 300 Euro mehr und Du bekommst massiv mehr Ports, so dass Du Dir um die Drucker u.v.a.m. keine Sorgen mehr machen musst.

2. Wenn Du 10 GBit per SFP+ machen willst und die Entfernungen nicht zu groß werden, würde ich DAC-Kabel verwenden. Du sparst Kosten für die SFP+-Transceiver und Energie pro Port. 10 GbE über RJ45 braucht ca. 2 Watt pro Port (und Seite!) - abgesehen davon, dass bei vorhandener Verkabelung oft Verbindungsprobleme auftreten, weil CAT.5-Kabel (insbesondere Buchsen) meist nicht ausreichend sind. Ob die Marvell Aqtion also eine gute Wahl ist, steht zur Diskussion. Wenn die Kabelage länger wird und die Möglichkeit für Glasfasferverlegung besteht, würde ich eher das als Ethernet machen (billiger & stromsparender).

3. 10 GBit benötigt ziemlich schnelle Hardware für die OpnSense, die meist reichlich Leistung braucht. Leider geht es nicht anders, wenn die Firewall zwischen den VLANs vermittelt. Bindet man die OpnSense nur mit einem phyischen Port an die VLANs an, halbiert sich der Durchsatz bei VLAN-VLAN-Traffic. Es gibt nicht wirklich viel stromsparende Hardware für so etwas. Mir waren 40 Watt für einen kleinen Intel-Server von Supermicro dafür zu viel und ich habe mir eine DEC750 geholt. Man muss bedenken, dass bei aktuellen Strompreisen 1 Watt Dauerleistung pro Jahr ca. 2€ kosten. Das läppert sich.

4. Ob der U6 Enterprise mehr bringt als der U6 Pro, darüber lässt sich trefflich streiten. Einerseits braucht er mit 22 Watt 9 Watt mehr als der U6 Pro. Klar, er hat 2.5 GBps ins LAN, aber welcher Client kann das? Oder wieviele WLAN-Clients hast Du, die gleichzeitig viel Durchsatz brauchen? Wifi6E würde nur helfen, wenn man ernsthaft Probleme mit der 5 GHz Kanalbelegung hat - sehr unwahrscheinlich, weil meist die Hauswand die natürliche Grenze bildet.

[Fabi--82]

Danke für deine Tipps!

Zu Punkt 1:
Mit diesem Gedanken hatte ich auch gespielt... meine sorge gilt der Geräuschentwicklung!
Der kleine Enterprise 8 ist lüfterlos und macht mir somit keine Geräusche. Der 24er hat Lüfter, welche zwar geregelt sind... dennoch möchte ich ungern das Risiko eingehen, mein Wohnzimmer mit zusätzlicher Geräuschkulisse von einem Switch beschallen zu lassen, dies würde ich mehr als störend empfinden. Zudem werde ich versuchen, den Switch im PC-Gehäuse zu integrieren, wo er zusätzlich vom Luftzug profitieren könnte.

Zu Punkt 2:
Aktuell ist es noch kein Notwenigkeit, mit 10GbE zu arbeiten. Würde mich gerne vorbereiten, um später eines meiner Hobbys mit Videoaufnahmen zu Dokumentieren. Hierfür wäre ein entsprechende Verbindungsgeschwindigkeit keine falsche Investition. Alles was 10GbE betrifft, wird neu Angeschafft und von mir Verlegt. Restliches Material von mir sind Cat6 oder 7 Kabel. Das in der Wohnung seitens Bauherr verbaute Material, sollte für 1GbE ausreichen. Wenn dann wäre lediglich der AP im OG davon betroffen... worüber ich mir jetzt erstmal keine Gedanken mache.

Wenn ich Dich richtig Verstehe, machst Du dir sorgen um den Marvell Controller... da sind wir schon zu zweit.
Dieser hätte die "einfache" Aufgabe, mit lediglich 1000Mbit/s Richtung Modem (ISP) zu Kommunizieren. Hoffe sehr, dass er dazu in der Lage ist... andernfalls muss ich mir dafür eine zusätzliche LAN-Karte erwerben, wenn es die Treiber nicht richten können. Hier gilt, einfach mal Testen und Beobachten. Leider besitzen nur sehr wenige Mainbord's reine Intel Controller Setups... oft werden sie mit Realtek gemischt, bei diesem kommt nun ein Marvell zum Einsatz.

Zwischen OPNsense und Switch darf dann der Intel mit 2.5GbE vermitteln.

Somit sollte zwischen PC, OPNsense, Switch und Server keine Kommunikationsprobleme auftreten, da alles von Intel kommt, ob 1 oder 10gbE. Der 2.5GbE Port am PC wäre ein Realtek, sollte dieser Probleme bereiten, ist dann ja der 1GbE Port mit Intel vorhanden.

Zwischen Switch und Server sollte ein 3m Kabel vermutlich bereits reichen. Sobald die neuen Gehäuse angekommen sind, und ich diese Testweise hinstellen kann, kann ich auch die Masse nehmen. Je ein Gehäuse soll neben dem Lowboard seinen Platz finden. Voraussichtlich von rechts OPNsense, Lowboard, dann Server.
Das Kabel zwischen Switch und PC im Büro, sollte etwa 14 Meter betragen... denke hier wäre ein Glasfaser sicherlich die bessere alternative.

Zu Punkt 3:
Da PC und Server im selben LAN oder VLAN eingebunden sind, über einen Level 3 Switch, sollte die Belastung für die OPNsense rein Theoretisch gegen 0 laufen... aber da fehlt mir eindeutig das Wissen, um dies vorherzusagen. Das wäre jetzt einfach mal meine bescheidene Anmerkung.

Die OPNsense Hardware schaut vorerst mal so aus, und sollte für dieses Vorhaben mehr wie Ausreichen.
Kann sein, dass ich diese Später durch eine andere ersetzten werde... und diese dann für den TV nutze.
Ryzen 9 5900X (eco Mode mit 45 Watt)
Corsair Dominator 4x8GB RAM
ASUS ProArt X570 Creator
Samsung 980 Pro 250GB M.2
Seasonic Prime PX-450 Fanless
NZXT Kraken X73 (Lüfter werden deaktiviert / Pumpe silent)
6x Noctua NF-A12x25 PWM (alle 6 Lüfter (600rpm) saugen Luft ins Gehäuse, der "Überdruck" entweicht via Radiator in die 2. Kammer, um von da aus das Gehäuse wieder zu verlassen, was rein Theoretisch beinahe unhörbar sein dürfte.)
Gehäuse ist ein Lian-Li EVO

Bezüglich Kosten seitens Strom, hab ich mir jetzt noch nie all zu sehr Gedanken gemacht.
Da ich die paar Taler gerne für etwas mehr Leistung ausgebe. Von nichts kommt eben auch nichts.
Eventuell darf dann mal eine kleine Solaranlage mit Speicher die PC Autark betreiben... aber selbst dies verursacht Kosten, welche den Strompreis ein paar Jahre decken würde.

Zu Punkt 4:
Hier ist eher die Idee, 6E zu haben, um gleich Zukunftssicher zu starten.
Etwas Musik hören über die Sonos wird diesen sicherlich nicht ausreizen... aber eventuell gibt es dann mal etwas im Schlafzimmer, was von der Leistung profitieren könnte.
Daneben bietet dieser auch im 2.4GHz eine beinahe Verdoppelung der Geschwindigkeit.
Denn wie Du treffend schon sagst, die Mauern,Türen und Fenster sind das Hindernis... also braucht es etwas mehr Leistung, um diese zu überwinden, was dieser wiederum eventuell könnte.
Die drei ASUS Router vom Typ AX88U konnten Gemeinsam eine gute und schnelle Deckung bieten.
Was ich mir von den beiden U6 Enterprise Kollegen ebenfalls erhoffe.

Grüsse
Fabi