Proxmox <=> OPNsense mit ZYXL SFP+ Modul

[ripoo]

Hallo zusammen,

ich bin ganz neu hier und habe mich bereits durch einige Beiträge gewühlt, die mir geholfen haben, ein grundlegendes Verständnis für den Umgang mit OPNsense zu entwickeln. Auch konnte ich einige Komponenten retten und habe noch ein paar neue Teile dazugekauft. Ich möchte mich in dieses Thema vertiefen, aber mir fehlen noch einige Infos und eine klare Richtung, wie ich das Ganze Schritt für Schritt aufbauen soll.

Folgende Hardware habe ich zur Verfügung:
   •   MNBOXCONET S2 Mini PC N305 mit 2x 10GB SFP+ und 2x NIC
   •   SSD, RAM usw.
   •   Zyxel PMG3000-D20B
   •   TP-Link TL-SG108PE (vorübergehend)

Mein Ziel ist es, über den Mini-PC einen Router aufzusetzen (mit Zyxel SFP+ Modul FTTH). OPNsense soll dabei als VM in Proxmox laufen, und ich plane, auch noch weitere VMs zu integrieren. Als LAN-Netzwerk möchte ich den Bereich 10.0.0.0/16 verwenden. Gegenvorschläge?

Netzwerkaufbau:

Code Select Expand

                |                                             
                | FIBER  (vmbr1(vmbr1/ SFP+ Durchreichung?))  (Zyxel PMG3000-D20B)                         
                |                                             
+----------------------+--------------------+                                       
| Proxmox                                   |
|                                           |
|            |                              |
|            | (vmbr1/ SFP+ Durchreichung?) |
|            |                              |
|        +------+-------+                   |
|        |   OPNsense   |                   |
|        +------+-------+                   |
|               |                           |
|               | (vmbr0)                   |
|               |                           |
|         +-------+-------+                 |
|         |   weitere VMs |                 |
|         +-------+-------+                 |
|                                           |
+----------------------+-----------------+--+                                       
                   |                     ^             
                   |   (vmbr0)           |
                   |   ggf. SFP          |     Anbindung LAN <=> Proxmox
        +----------+-----------+         |      (vmbr2?)         
        |       LAN - Switch   |         |                       
        +----------------------+         |
                          |              |
                          +------>-------+
                             
                               
   1.   Ist das so korrekt? Ich bin mir nicht sicher, ob die Darstellung des Netzwerkaufbaus so richtig ist. Besonders die Frage, wie ich über   das LAN-Netzwerk, das durch OPNsense verwaltet            wird, auf Proxmox zugreife, um weitere VMs zu erstellen, beschäftigt mich.
   2.   NIC für Proxmox reservieren? Sollte ich einen NIC für Proxmox als Worst-Case-Szenario freihalten? Falls ja, wie sollte ich das am besten konfigurieren?
   3.   Optimierung der vmbr-Einstellungen: Gibt es eine "clevere" Möglichkeit, die vmbrs (Bridges) effizienter zu konfigurieren, um das Netzwerk im Proxmox-Setup zu optimieren?
   4.   SFP+ Port durchreichen? Macht es in meinem Setup Sinn, den SFP+ Port durchzureichen, oder gibt es eine bessere Lösung, um das zu integrieren?
   5.   IP-Bereich bei der Proxmox-Installation: Wenn ich Proxmox neu installiere, ohne einen externen Anschluss zu haben, welcher IP-Adressbereich wäre dann der sinnvollste, den ich für die Installation festlegen sollte?

Ich freue mich auf eure Antworten und Tipps! Besonders interessiert mich, wie ich den bestmöglichen Start hinbekomme, um in die Welt von OPNsense und Proxmox einzutauchen.

[mooh]

Ich hatte auch mal ein ganzes Homelab auf einer Kiste und OPNsense als eine von vielen VMs unter Proxmox laufen. Aber die Abhängigkeiten, die man sich dadurch einhandelt, waren mir zu groß. Wann immer die OPNsense nicht richtig funktioniert, kommt man im Allgemeinen auch nicht mehr an Proxmox ran, usw. Das kann man natürlich alles mit einem zweiten, unabhängigen Netzwerk lösen. Aber das konterkariert irgendwie die Idee von "alles in eine Kiste". Für mich habe ich entschieden eine DEC750 zu kaufen. Damit unterstützt man auch gleich die Entwicklung der Software.

P.S.: Wenn das SFP-Modul durchgereicht wird, kann man die VM auch nicht mehr migrieren, außer - wiederum - durch redundante Hardware.

[ripoo]

Moin, vielen Dank für deine Rückmeldung!

Ich stimme dir absolut zu – für mich ist das aktuell ein Einstieg in das Thema, um herauszufinden, ob es wirklich etwas für mich ist. Sollte sich das bestätigen, ist eine Subscription definitiv eingeplant.

Ich habe Proxmox neu aufgesetzt und ihm eine statische IP-Adresse vergeben. Zusätzlich habe ich OPNsense eine IP aus demselben Subnetz zugewiesen. Dadurch kann ich nun auf beide Systeme unabhängig über ihre jeweiligen IPs zugreifen.
Die Frage ist nun: Ist das bereits ein sauberer Ansatz oder eher eine Quick-and-Dirty-Lösung?

Als Gateway habe ich die IP von OPNsense hinterlegt.

Was das SFP-Modul betrifft – wenn ich es richtig verstanden habe, kann die zugewiesene Schnittstelle nicht gleichzeitig von anderen VMs genutzt werden? Das wäre für meinen Use Case auch nicht notwendig, aber ich wollte sicherstellen, dass ich das korrekt interpretiert habe.

Ich bin auf jeden Fall einen Schritt weiter. Jetzt geht es für mich darum, herauszufinden, wie ich auf das SFP+-Modul gezielt zugreifen kann. Hast du da eventuell ein paar Tipps?

PS: Ich nehme mir jetzt erstmal die Zeit, mich in Ruhe mit der Proxmox-Oberfläche vertraut zu machen.

[viragomann]

Hallo,

1.  Ist das so korrekt? Ich bin mir nicht sicher, ob die Darstellung des Netzwerkaufbaus so richtig ist. Besonders die Frage, wie ich über  das LAN-Netzwerk, das durch OPNsense verwaltet            wird, auf Proxmox zugreife, um weitere VMs zu erstellen, beschäftigt mich.
  2.  NIC für Proxmox reservieren? Sollte ich einen NIC für Proxmox als Worst-Case-Szenario freihalten? Falls ja, wie sollte ich das am besten konfigurieren?

Wenn du das ganze zuhause stehen hast, ist das okay so. Proxmox kann die durchgereichten SFP NICs nicht nutzen und braucht dann natürlich einen eigenen Anschluss von außen.

Ich nehme an, du würdest am vmbr0 VLANs betreiben, dann das entsprechende Netz (LAN) für Proxmox an einem Switch-Port herausführen und den Host daran anschließen.

Aber erstmals solltest du dich informieren, ob die SFPs auch in FreeBSD ordentlich laufen. Hier wäre die passende Quelle: FreeBSD 14.3 Hardware Notes

4.  SFP+ Port durchreichen? Macht es in meinem Setup Sinn, den SFP+ Port durchzureichen, oder gibt es eine bessere Lösung, um das zu integrieren?

Du kannst es auch mit Linux-Bridges auf Proxmox oder mit Open vSwitches lösen. Dann eben Proxmox nur auf der LAN Bridge eine IP vergeben.

Was da besser ist, hängt davon ab, wie gut die SFPs in der jeweiligen Umgebung unterstützt werden. Wenn du sie in Proxmox einbindest, kommen eben Linux-Treiber zum Einsatz.

IP-Bereich bei der Proxmox-Installation: Wenn ich Proxmox neu installiere, ohne einen externen Anschluss zu haben, welcher IP-Adressbereich wäre dann der sinnvollste, den ich für die Installation festlegen sollte?

Such dir einen aus.
OPNsene verwendet standardmäßig 192.168.1.1/24 am LAN. Aber das würde ich ohnehin nicht beibehalten. Das 10/8er Netz bietet wohl ausreichend Platz.

Die Frage ist nun: Ist das bereits ein sauberer Ansatz oder eher eine Quick-and-Dirty-Lösung?

Dass Proxmox im LAN liegt?
Wenn das LAN eine vertrauenswürdig Subnetz ist, ist das in Ordnung.

Proxmox sollte die OPNsense LAN IP als Gateway nutzen und keine IP auf einem anderen Interface haben.

Was das SFP-Modul betrifft – wenn ich es richtig verstanden habe, kann die zugewiesene Schnittstelle nicht gleichzeitig von anderen VMs genutzt werden?

Richtig. Auch das müsstest du von außen wieder über eine andere NIC verbinden.

Ich betreibe meine pfSense seit Jahren virtualisert auf KVM, LAN auf einer Linux-Bridge, auf der der Host eine IP hat, um darauf zuzugreifen. Das liegt dann ebenso im LAN, wie andere Geräte, die extern angeschlossen sind. Da gibt es kein Problem mit Zugriff. Die Firewall muss dazu ja nicht laufen.
Einzig den Proxmox solltest du im Griff haben. Wenn das nicht läuft, gibt es auch kein Internet im Haus. Meine Wartung mache ich halt, wenn die anderen schlafen (sollten).

[ripoo]

Hey, danke für deine Rückmeldung!

Ich nehme an, du würdest am vmbr0 VLANs betreiben, dann das entsprechende Netz (LAN) für Proxmox an einem Switch-Port herausführen und den Host daran anschließen.

Ja vollkommen richtig. Noch habe ich keine VLANs aktiviert.

Aber erstmals solltest du dich informieren, ob die SFPs auch in FreeBSD ordentlich laufen. Hier wäre die passende Quelle: FreeBSD 14.3 Hardware Notes

So wie ich es verstehe, scheint es nicht mit OPNsense kompatibel zu sein. Also ist ein durchreichen nicht sinnvoll.
Weg wäre dementsprechend, es in Proxmox zu integrieren und folgend als vmbr2 einzurichten und in OPNsense durchzu routen.

OPNsene verwendet standardmäßig 192.168.1.1/24 am LAN. Aber das würde ich ohnehin nicht beibehalten. Das 10/8er Netz bietet wohl ausreichend Platz.

Ich habe mich jetzt für die 10er/16 entschieden. Habe ich nachteile, wenn ich auf das 8er Netz wechsel (Mehr Rechenleistung etc.)?

Dass Proxmox im LAN liegt?
Wenn das LAN eine vertrauenswürdig Subnetz ist, ist das in Ordnung.

Welches Vorgehen wäre denn eine geeignetere alternative?
Grundlegend ist es alles in einem Haushalt.
Nur ein LAN-Netz soll auf die Geräte zugreifen können. Die LAN-Netze sollen mit VLANs getrennt werden.

Proxmox sollte die OPNsense LAN IP als Gateway nutzen und keine IP auf einem anderen Interface haben.

Explizit ist 10.0.0.1 Gateway druch OPNsense eingerichtet worden. Die IP für OPNsense ebenfalls. Jetzt habe ich Proxmox so eingerichtet, dass IP 10.0.0.2 für Proxmox dient und in Proxmox habe ich das Gateway 10.0.0.1 eingestellt. 

Ich betreibe meine pfSense seit Jahren virtualisert auf KVM, LAN auf einer Linux-Bridge, auf der der Host eine IP hat, um darauf zuzugreifen. Das liegt dann ebenso im LAN, wie andere Geräte, die extern angeschlossen sind. Da gibt es kein Problem mit Zugriff. Die Firewall muss dazu ja nicht laufen.
Einzig den Proxmox solltest du im Griff haben. Wenn das nicht läuft, gibt es auch kein Internet im Haus. Meine Wartung mache ich halt, wenn die anderen schlafen (sollten).

Für den Anfang werde ich erstmal eine Tischlösung betreiben um den Umgang weiter kennenzulernen. Sprich Internet wird vorerst vorhanden sein, solange ich rumbastle. Ich hoffe wenn der Router im Produktiven einsatz ist ich den Umgang mit Proxmox behersche.

[viragomann]

Hallo!

Habe ich nachteile, wenn ich auf das 8er Netz wechsel (Mehr Rechenleistung etc.)?

Mit dem 10/8 wollte ich sagen, dieser Bereich ist groß genug. Ich dachte aber daran, nur ein /24 daraus zu nutzen wie bspw. 10.15.14.0/24, oder auch ein größeres, falls nötig (/23).

Nachteile mit großen Subnetzen könnte es bei der Verbindung mit anderen Netzwerk via VPN durch Überschneidungen geben.
Ansonsten ergibt sich mehr Traffic (Broadcasts) nur durch tatsächlich mehr Geräte im Netz.

Welches Vorgehen wäre denn eine geeignetere alternative?
Grundlegend ist es alles in einem Haushalt.

Segmentieren soweit nötig.

Auch in einem Haushalt gibt es üblicherweise Geräte unterschiedlicher Vertrauensstufen. Bspw. IoT sollten in jedem Fall von PC, Laptop getrennt werden.
Diese Dinger sind oft mangelhaft abgesichert und könnten ein Einfallstor in dein Netzwerk sein, auch wenn sie nur eine Verbindung nach draußen aufbauen dürfen, und das muss die meisten erlaubt sein, damit sie funktionieren.
Also am besten IoT Geräte in ein separates Subnetz legen. Ebenso wirklich vertrauenswürdige Geräte (PC, Laptop mit gepflegten Betriebssystemen). Diese können dann vielleicht auch auf Proxmox zugreifen.
Ich habe dann noch ein zusätzliches Subnetz für den Rest (Smartphones, etc.) und für Gäste.

Mit einem VLAN-fähigen Multi-SSID WLAN AP lässt sich das recht einfach realisieren.

Explizit ist 10.0.0.1 Gateway druch OPNsense eingerichtet worden. Die IP für OPNsense ebenfalls. Jetzt habe ich Proxmox so eingerichtet, dass IP 10.0.0.2 für Proxmox dient und in Proxmox habe ich das Gateway 10.0.0.1 eingestellt. 

Sollte passen.

[ripoo]

Danke für deine Antwort. Ich verfolge tatsächlich den gleichen Ansatz mit der Segmentierung der Subnetze (Alles mit VLANs). Einen Multi-SSID-AP habe ich noch nicht bestellt, soll aber auch zukünftig genutzt werden. 

Unter der Annahme, dass der Adressblock 10.0.0.0/8 für vtnet1 (LAN-Netzwerk) eingestellt wird, würde – wie im Screenshot (Screenshot 2025-08-17 at 21.00.07.png) – nur ein Subnetz erfolgen, oder nicht? 

Ist eine Segmentierung dann überhaupt noch möglich?

Eine Segmentierung müsste doch dann über optionale Schnittstellen realisiert werden können. Ist der Ansatz so richtig ?
Bspw:
 

1. Management
   Netz: 10.0.1.0/24
   Zweck: Proxmox, OPNsense, Switches, Access Points
2.LAN (Standardgeräte, PCs, Server)
   Netz: 10.0.2.0/24
   Zweck: normale Endgeräte, Desktop, Laptop, NAS
3.IoT/Smart Home
   •   Netz: 10.0.3.0/24
   •   Zweck: Zigbee, Kameras, Frigate, Home Assistant, ESPHome, Sensoren

Würde man weiterhin auch nur auf ein Gateway setzen?

VG

[viragomann]

Unter der Annahme, dass der Adressblock 10.0.0.0/8 für vtnet1 (LAN-Netzwerk) eingestellt wird, würde – wie im Screenshot (Screenshot 2025-08-17 at 21.00.07.png) – nur ein Subnetz erfolgen, oder nicht?

Ist eine Segmentierung dann überhaupt noch möglich?

Eine Segmentierung müsste doch dann über optionale Schnittstellen realisiert werden können. Ist der Ansatz so richtig ?
Bspw:
 

1. Management
    Netz: 10.0.1.0/24
    Zweck: Proxmox, OPNsense, Switches, Access Points
2.LAN (Standardgeräte, PCs, Server)
    Netz: 10.0.2.0/24
    Zweck: normale Endgeräte, Desktop, Laptop, NAS
3.IoT/Smart Home
    •    Netz: 10.0.3.0/24
    •    Zweck: Zigbee, Kameras, Frigate, Home Assistant, ESPHome, Sensoren

Würde man weiterhin auch nur auf ein Gateway setzen?

Ja, wäre so in Ordnung.

Ich weiß jetzt nicht, was du mit "nur ein Gateway" meinst.

Das Gateway, ist das Tor in andere Netzwerksegmente bzw. ins Internet. In jedem Netzwerksegment gibt es zumindest ein Gateway (wenn eine Kommunikation mit Geräten außerhalb möglich sein soll) (Standard-Gateway).
Geräte können nur mit anderen IPs innerhalb des eigenen Subnetzes direkt kommunizieren (Layer 2). Alle Pakete mit Zieladressen außerhalb des Subnetzes werden an das (Standard-)Gateway geschickt. Deshalb muss dieses eine IP-Adresse innerhalb des Layer 2 Subnetzes haben.

In 10.0.1.0/24 hätte OPNsense in deinem Beispiel z. B. die IP 10.0.1.1. Das ist dann das Gateway für die Geräte in diesem Netzwerksegment. Die OPNsense bekommt also die Paket und leitet sie gemäß der Zieladresse weiter, wieder über Layer 2.
In 10.0.2.0/24 hätte OPNsense 10.0.2.1, was die Gateway IP für das Subnetz ist. Usw.

Wenn du DHCP für die Zuteilung der IP Adressen nutzt, was ich empfehle, auch wenn sie statisch sein sollen (Static Mappings), dann verteilt der DHCP Server automatisch die jeweilige Interface IP als Gateway an die Clients.

Grüße

[meyergru]

Was die VLANs angeht: Wenn man das vereinfachen will, sollte man nur eine "LAN"-Bridge vmbr0 (vtnet0) in die OpnSense-VM einbinden.
Man kann dann mittels "bridge-vlan-aware yes" die VLANs wie bei einem physischen Interface als Trunk an vtnet0 durchreichen lassen, so ist es auch hier erklärt.

Ich schreibe das, weil viele (ältere Guides) die VLANs im Proxmox als vmbrX definieren und als getrennte Interfaces vtnetX einbinden. Ich finde das unübersichtlich.

P.S.: Natürlich gilt weiterhin die Devise, Tagged und Untagged Traffic nicht auf dem selben physischen Interface zu mischen - also: Alle VLANs taggen!

[ripoo]

Hallo zusammen, danke für die Antworten.

In 10.0.1.0/24 hätte OPNsense in deinem Beispiel z. B. die IP 10.0.1.1. Das ist dann das Gateway für die Geräte in diesem Netzwerksegment. Die OPNsense bekommt also die Paket und leitet sie gemäß der Zieladresse weiter, wieder über Layer 2.
In 10.0.2.0/24 hätte OPNsense 10.0.2.1, was die Gateway IP für das Subnetz ist. Usw.

Perfekt, dann habe ich einen Auftrag mir über die Segmentierung gedanken zu machen. Der nächste Schritt wäre doch dann, Regeln in der Firewall einzustellen, damit die LAN-Schnitstelle mit der WAN-Schnittstelle kommunizieren kann bzw. Gateway mit der WAN-Schnitstelle.

Wenn du DHCP für die Zuteilung der IP Adressen nutzt, was ich empfehle, auch wenn sie statisch sein sollen (Static Mappings), dann verteilt der DHCP Server automatisch die jeweilige Interface IP als Gateway an die Clients.

Innerhalb eines Subnetzes wollte ich nicht alles per DHCP umsetzen. Gewisse Geräte sollen IPs erhalten, das würde ich mit MAC Adressen Mapping umsetzen wollen. Spricht etwas dagegen?

Was die VLANs angeht: Wenn man das vereinfachen will, sollte man nur eine "LAN"-Bridge vmbr0 (vtnet0) in die OpnSense-VM einbinden.

Das wäre für mich logisch dieses so umsetzen zu wollen. Hintergrund: Ich möchte doch über eine Schnittstelle alles an den Switch weiterleiden. Dort fange ich dann doch an, die VLANs zu verteilen. Sinnvollerweise würde ich die Tags ähnlich dem Subnetz zuzuordnen. bspw: 10.0.2.1/24er würde den Tag 2 erhalten etc.

Ich schaue mir deinen Post morgen mal auf der Reise an, dann habe ich die nächste Aufgabe.


Hat jemand Tipps und Tricks, wie ich auf die Oberfläche meines SFP+Moduls zugreifen kann, dieser sol laut OEM die IP 10.10.0.1 besitzen.

[viragomann]

Der nächste Schritt wäre doch dann, Regeln in der Firewall einzustellen, damit die LAN-Schnitstelle mit der WAN-Schnittstelle kommunizieren kann bzw. Gateway mit der WAN-Schnitstelle.

In Firewall Regeln erlaubst oder verwehrst du einer Quell-Addresse Zugriff auf eine Ziel-Adresse, ggf. noch Ports und bestimmte Protokolle. Schnittstellen der OPNsense sind dabei nur insofern relevant, als dass du die Regel auf jener erstellst, an der das Quell-Gerät angeschlossen ist, also an dem der Traffic rein kommt.
Wo der Traffic raus geht, bestimmt die Routing-Tabelle. Ausgenommen sind Policy-Routing Regeln, die das normale Routing überschreiben.

D.h., möchtest du HTTPS vom LAN1 Gerät mit der IP 10.0.1.10 nach 1.1.1.1 erlauben, muss die Regel am LAN1 definiert werden, Protokoll TCP/UDP, Quelle ist 10.0.1.10, Quell-Port = jeder, Ziel = 1.1.1.1, Ziel-Port = 443. Und wenn HTTPS nach überall hin erlaubt werden soll, ist das Ziel "jedes".
Anfängerfehler, die hier nicht selten passieren, ist nämlich "WAN net" als Ziel zu setzen, das wäre aber nur das Subnetz, dem WAN angehört. Ebenso wäre die Gateway-IP hier falsch, auch wenn die Pakete tatsächlich dahin geroutet werden.

Innerhalb eines Subnetzes wollte ich nicht alles per DHCP umsetzen. Gewisse Geräte sollen IPs erhalten, das würde ich mit MAC Adressen Mapping umsetzen wollen. Spricht etwas dagegen?

Das meinte ich eigentlich. Statisches Mapping macht der DHCP Server.
Das ist einfacher und vor allem flexibler als die Netzwerkkonfiguration auf jedem Gerät zu machen.

Grüße