Opnsense auf VMWare ESXi Probleme mit VLAN

[Krathorias]

Guten Tag liebe Community,

ich bräuchte mal Hilfe bei einem kleinen Problem.

Folgender Aufbau ist gegeben:

HUNSN Firewall
VMWare ESXi mit gültiger Lizenz
Opnsense als VM

Ich möchte die Appliance als Gateway sowie Host für div. virtuelle Maschinen nutzen.

Ich habe ein vSwitch mit einem Uplink Port als WAN erstellt.
Die restlichen NICs sind im LAN vSwitch zusammengefasst.

In der Opnsense wird die 192.168.2.0/24 als LAN Netz und das ist auf den LAN vSwtich gelegt.
Zusätzlich habe ich noch 3 VLAN´s erstellt und diese haben als Parent Interface das LAN.

10.10.10.0 /24 VLAN TAG 10
10.10.20.0 /24 VLAN TAG 20
10.10.30.0 /24 VLAN TAG 30

IP der Opnsense ist auf 192.168.1.254 festgelegt und die VLAN Netze sollen als Gatewayadresse auch immer die 254 nehmen.
DHCP und Interface sind soweit auch enabled und in den Firewallregeln hab ich erstmal als Test alles freigeschossen.

Wenn ich jetzt mich mit nem Endgerät an einen der LAN Ports an der Appliance klemme bekomme ich ne IP aus dem LAN Netz was soweit auch richtig ist.
Komm ich aber her und stelle am Endgerät eine IP von einem der VLAN Netze ein funktioniert da nichts.
Ich kann weder die Gateway IP ansprechen noch das LAN Netz.

Ich stehe jetzt einfach ein bisschen auf dem Schlauch wo mein Denkfehler in dem ganzen ist deswegen wäre ich um etwas input von euch sehr froh.

[Patrick M. Hausen]

1. Niemals tagged und untagged auf einem Interface mischen.
2. VLANs in ESXi anlegen und der OPNsense als getrennte virtuelle Interfaces zuweisen.

[Layer8]

Ich hab viele Installationen laufen die mit ein oder zwei virtuellen NIC unter ESXi auskommen. Ich hab in solchen Installationen immer ganz schön viele VLANs über eine virtuelle NIC laufen, sowohl tagged als auch untagged. Funktioniert einwandfrei mit e1000 oder vmxnet3.

Wichtig ist bei der Konstellation, dass die Portgruppe (oder die Distributed Portgruppe bei einem Cluster) die VLAN-ID 4095 bekommt (ja richtig, 4095). Damit sagt man dem ESXi, dass es sich um eine Portgruppe handelt, bei der sich die daran angeschlossenen Gast-VMs selbst ums Tagging kümmern. Bekommt die Portgruppe keinen Tag oder einen Tag zwischen 1 und 4094, dann klappt das mit dem Tagging im Gastbetriebssystem in der Tag nicht so gut.

Wenn du das machst, kannst du nach belieben in der OPNsense bequem selbst soviel VLAN-Interfaces auf eine virtuelle NIC packen wie du willst. Mach ich schon seit Ewigkeiten so und hatte noch nie Probleme.

Das Zauberwort heißt hier VGT (Virtual Guest Tagging) und ist z.B. hier beschrieben: https://docs.vmware.com/de/VMware-vSphere/7.0/com.vmware.vsphere.networking.doc/GUID-7225A28C-DAAB-4E90-AE8C-795A755FBE27.html


Zu Hause hab ich mit VGT mein Standard-VLAN ungetaggt (damit bei Problemen auch ein dummer Switch oder jede beliebige Laptop an die IP der Sense dran kommt), sowie diverse getaggte VLANs auf einer vNIC/Portgruppe laufen.

In professioneller Umgebung haben wir Senden laufen, die untagged und ca. 40-50VLANs getaggt über eine distributed Portgroup laufen haben. Läuft ziemlich geschmeidig.

Womit ich eher immer Bauchschmerzen hatte war, wenn man mehr als vier virtuelle NICs zur Verfügung gestellt hat. Da hats dann aus irgendwelchen Gründen nach einem Reboot öfter mal die Installation verhagelt. Warum das so ist weiß ich nicht, aber ich denk da ich das über die Jahre über unterschiedliche Versionen beobachtet hab, werd ich sicher nicht der einzige sein der mit dem Phänomen zu kämpfen hatte. Ich vermute, dass der Hypervisor da unter mir nicht ganz nachvollziehbaren Voraussetzungen die PCIe-Adressierung durcheinander schmeißt und nach nem Reboot vmx0 plätzlich vmx2 ist oder so ähnlich. Ist mir schon bei FreeBSD und Solarisähnlichen Betriebssystemen aufgefallen.

Edit: Man muss auch nicht lang suchen, dann findet man solche Beiträge hier: https://support.kemptechnologies.com/hc/en-us/articles/201978745-When-adding-4-or-more-VMXNET3-NICs-to-a-VLM-in-VMware-the-order-is-incorrect

Edit2: In diesem Artikel steht, dass das ein Fehler im ESXi sei und bei E1000-Adapter nicht auftreten soll. E1000 kann man durchaus nutzen. Anders als es der Name suggeriert, schaffen die nämlich mehr als 1G. ;-) Könnte mir aber vorstellen, dass die bei sehr hohen Bandbreiten nicht ganz so CPU-effizient sind wie vmxnet3, was den Overhead im Hypervisor angeht (Vermutung meinerseits).

[Krathorias]

Hall Layer8,

vielen Dank für deinen Hinweis.
Ich hatte das mit dem VGT auch schon gesehen und getestet gehabt aber ohne Erfolg.

Hab aber gestern nochmal alles zurückgesetzt und neu eingerichtet mit VGT (vermute mal dass ich beim ersten Mal zu viel rumgestellt hab und irgendwo der Wurm drin war). Läuft jetzt genau so wie ich es möchte .

Vielen Dank für deine Hilfe

Hab mit VMWare noch nicht wirklich Erfahrungen gemacht da wir auf der Arbeit nur Hyper-V einsetzen deswegen ist da vieles aktuell noch Try & Error

[MajStealth]

Zum Thema VMWare

Ausnahmsweise möchte ich hier VMWare mal in Schutz nehmen, das Problem ist BSD/OPNsense.

Bei einem Reboot werden die NIC´s in dem BSD von OPNsense, mindestens die 11/12/13, nach MAC-Adresse sortiert. Warum, weshalb, wozu, weiß vielleicht Gott.
Standard in VMWare ist die MAC zufällig, und stört auch "nie", hier ist der erste Shutdown tödlich.
Die nach Mac sortierten NIC´s werden dann wieder VMX0-7 zugeordnet und bekommen in der OPNsense die falschen logischen Interfaces.
Jetzt stellt man sich eine Konstellation mit 8 oder mehr NIC´s vor, alle per VLAN im vSwitch getrennt, und plötzlich liegt das WAN im Management, das LAN im WAN etc, totales Chaos.

Ich bin gerade massiv am zweifeln ob ich OPNsense einsetzten möchte.