Proxmox <=> OPNsense mit ZYXL SFP+ Modul

[ripoo]

Hallo zusammen,

ich bin ganz neu hier und habe mich bereits durch einige Beiträge gewühlt, die mir geholfen haben, ein grundlegendes Verständnis für den Umgang mit OPNsense zu entwickeln. Auch konnte ich einige Komponenten retten und habe noch ein paar neue Teile dazugekauft. Ich möchte mich in dieses Thema vertiefen, aber mir fehlen noch einige Infos und eine klare Richtung, wie ich das Ganze Schritt für Schritt aufbauen soll.

Folgende Hardware habe ich zur Verfügung:
   •   MNBOXCONET S2 Mini PC N305 mit 2x 10GB SFP+ und 2x NIC
   •   SSD, RAM usw.
   •   Zyxel PMG3000-D20B
   •   TP-Link TL-SG108PE (vorübergehend)

Mein Ziel ist es, über den Mini-PC einen Router aufzusetzen (mit Zyxel SFP+ Modul FTTH). OPNsense soll dabei als VM in Proxmox laufen, und ich plane, auch noch weitere VMs zu integrieren. Als LAN-Netzwerk möchte ich den Bereich 10.0.0.0/16 verwenden. Gegenvorschläge?

Netzwerkaufbau:

Code Select Expand

                |                                             
                | FIBER  (vmbr1(vmbr1/ SFP+ Durchreichung?))  (Zyxel PMG3000-D20B)                         
                |                                             
+----------------------+--------------------+                                       
| Proxmox                                   |
|                                           |
|            |                              |
|            | (vmbr1/ SFP+ Durchreichung?) |
|            |                              |
|        +------+-------+                   |
|        |   OPNsense   |                   |
|        +------+-------+                   |
|               |                           |
|               | (vmbr0)                   |
|               |                           |
|         +-------+-------+                 |
|         |   weitere VMs |                 |
|         +-------+-------+                 |
|                                           |
+----------------------+-----------------+--+                                       
                   |                     ^             
                   |   (vmbr0)           |
                   |   ggf. SFP          |     Anbindung LAN <=> Proxmox
        +----------+-----------+         |      (vmbr2?)         
        |       LAN - Switch   |         |                       
        +----------------------+         |
                          |              |
                          +------>-------+
                             
                               
   1.   Ist das so korrekt? Ich bin mir nicht sicher, ob die Darstellung des Netzwerkaufbaus so richtig ist. Besonders die Frage, wie ich über   das LAN-Netzwerk, das durch OPNsense verwaltet            wird, auf Proxmox zugreife, um weitere VMs zu erstellen, beschäftigt mich.
   2.   NIC für Proxmox reservieren? Sollte ich einen NIC für Proxmox als Worst-Case-Szenario freihalten? Falls ja, wie sollte ich das am besten konfigurieren?
   3.   Optimierung der vmbr-Einstellungen: Gibt es eine "clevere" Möglichkeit, die vmbrs (Bridges) effizienter zu konfigurieren, um das Netzwerk im Proxmox-Setup zu optimieren?
   4.   SFP+ Port durchreichen? Macht es in meinem Setup Sinn, den SFP+ Port durchzureichen, oder gibt es eine bessere Lösung, um das zu integrieren?
   5.   IP-Bereich bei der Proxmox-Installation: Wenn ich Proxmox neu installiere, ohne einen externen Anschluss zu haben, welcher IP-Adressbereich wäre dann der sinnvollste, den ich für die Installation festlegen sollte?

Ich freue mich auf eure Antworten und Tipps! Besonders interessiert mich, wie ich den bestmöglichen Start hinbekomme, um in die Welt von OPNsense und Proxmox einzutauchen.

[mooh]

Ich hatte auch mal ein ganzes Homelab auf einer Kiste und OPNsense als eine von vielen VMs unter Proxmox laufen. Aber die Abhängigkeiten, die man sich dadurch einhandelt, waren mir zu groß. Wann immer die OPNsense nicht richtig funktioniert, kommt man im Allgemeinen auch nicht mehr an Proxmox ran, usw. Das kann man natürlich alles mit einem zweiten, unabhängigen Netzwerk lösen. Aber das konterkariert irgendwie die Idee von "alles in eine Kiste". Für mich habe ich entschieden eine DEC750 zu kaufen. Damit unterstützt man auch gleich die Entwicklung der Software.

P.S.: Wenn das SFP-Modul durchgereicht wird, kann man die VM auch nicht mehr migrieren, außer - wiederum - durch redundante Hardware.

[ripoo]

Moin, vielen Dank für deine Rückmeldung!

Ich stimme dir absolut zu – für mich ist das aktuell ein Einstieg in das Thema, um herauszufinden, ob es wirklich etwas für mich ist. Sollte sich das bestätigen, ist eine Subscription definitiv eingeplant.

Ich habe Proxmox neu aufgesetzt und ihm eine statische IP-Adresse vergeben. Zusätzlich habe ich OPNsense eine IP aus demselben Subnetz zugewiesen. Dadurch kann ich nun auf beide Systeme unabhängig über ihre jeweiligen IPs zugreifen.
Die Frage ist nun: Ist das bereits ein sauberer Ansatz oder eher eine Quick-and-Dirty-Lösung?

Als Gateway habe ich die IP von OPNsense hinterlegt.

Was das SFP-Modul betrifft – wenn ich es richtig verstanden habe, kann die zugewiesene Schnittstelle nicht gleichzeitig von anderen VMs genutzt werden? Das wäre für meinen Use Case auch nicht notwendig, aber ich wollte sicherstellen, dass ich das korrekt interpretiert habe.

Ich bin auf jeden Fall einen Schritt weiter. Jetzt geht es für mich darum, herauszufinden, wie ich auf das SFP+-Modul gezielt zugreifen kann. Hast du da eventuell ein paar Tipps?

PS: Ich nehme mir jetzt erstmal die Zeit, mich in Ruhe mit der Proxmox-Oberfläche vertraut zu machen.

[viragomann]

Hallo,

1.  Ist das so korrekt? Ich bin mir nicht sicher, ob die Darstellung des Netzwerkaufbaus so richtig ist. Besonders die Frage, wie ich über  das LAN-Netzwerk, das durch OPNsense verwaltet            wird, auf Proxmox zugreife, um weitere VMs zu erstellen, beschäftigt mich.
  2.  NIC für Proxmox reservieren? Sollte ich einen NIC für Proxmox als Worst-Case-Szenario freihalten? Falls ja, wie sollte ich das am besten konfigurieren?

Wenn du das ganze zuhause stehen hast, ist das okay so. Proxmox kann die durchgereichten SFP NICs nicht nutzen und braucht dann natürlich einen eigenen Anschluss von außen.

Ich nehme an, du würdest am vmbr0 VLANs betreiben, dann das entsprechende Netz (LAN) für Proxmox an einem Switch-Port herausführen und den Host daran anschließen.

Aber erstmals solltest du dich informieren, ob die SFPs auch in FreeBSD ordentlich laufen. Hier wäre die passende Quelle: FreeBSD 14.3 Hardware Notes

4.  SFP+ Port durchreichen? Macht es in meinem Setup Sinn, den SFP+ Port durchzureichen, oder gibt es eine bessere Lösung, um das zu integrieren?

Du kannst es auch mit Linux-Bridges auf Proxmox oder mit Open vSwitches lösen. Dann eben Proxmox nur auf der LAN Bridge eine IP vergeben.

Was da besser ist, hängt davon ab, wie gut die SFPs in der jeweiligen Umgebung unterstützt werden. Wenn du sie in Proxmox einbindest, kommen eben Linux-Treiber zum Einsatz.

IP-Bereich bei der Proxmox-Installation: Wenn ich Proxmox neu installiere, ohne einen externen Anschluss zu haben, welcher IP-Adressbereich wäre dann der sinnvollste, den ich für die Installation festlegen sollte?

Such dir einen aus.
OPNsene verwendet standardmäßig 192.168.1.1/24 am LAN. Aber das würde ich ohnehin nicht beibehalten. Das 10/8er Netz bietet wohl ausreichend Platz.

Die Frage ist nun: Ist das bereits ein sauberer Ansatz oder eher eine Quick-and-Dirty-Lösung?

Dass Proxmox im LAN liegt?
Wenn das LAN eine vertrauenswürdig Subnetz ist, ist das in Ordnung.

Proxmox sollte die OPNsense LAN IP als Gateway nutzen und keine IP auf einem anderen Interface haben.

Was das SFP-Modul betrifft – wenn ich es richtig verstanden habe, kann die zugewiesene Schnittstelle nicht gleichzeitig von anderen VMs genutzt werden?

Richtig. Auch das müsstest du von außen wieder über eine andere NIC verbinden.

Ich betreibe meine pfSense seit Jahren virtualisert auf KVM, LAN auf einer Linux-Bridge, auf der der Host eine IP hat, um darauf zuzugreifen. Das liegt dann ebenso im LAN, wie andere Geräte, die extern angeschlossen sind. Da gibt es kein Problem mit Zugriff. Die Firewall muss dazu ja nicht laufen.
Einzig den Proxmox solltest du im Griff haben. Wenn das nicht läuft, gibt es auch kein Internet im Haus. Meine Wartung mache ich halt, wenn die anderen schlafen (sollten).

[ripoo]

Hey, danke für deine Rückmeldung!

Ich nehme an, du würdest am vmbr0 VLANs betreiben, dann das entsprechende Netz (LAN) für Proxmox an einem Switch-Port herausführen und den Host daran anschließen.

Ja vollkommen richtig. Noch habe ich keine VLANs aktiviert.

Aber erstmals solltest du dich informieren, ob die SFPs auch in FreeBSD ordentlich laufen. Hier wäre die passende Quelle: FreeBSD 14.3 Hardware Notes

So wie ich es verstehe, scheint es nicht mit OPNsense kompatibel zu sein. Also ist ein durchreichen nicht sinnvoll.
Weg wäre dementsprechend, es in Proxmox zu integrieren und folgend als vmbr2 einzurichten und in OPNsense durchzu routen.

OPNsene verwendet standardmäßig 192.168.1.1/24 am LAN. Aber das würde ich ohnehin nicht beibehalten. Das 10/8er Netz bietet wohl ausreichend Platz.

Ich habe mich jetzt für die 10er/16 entschieden. Habe ich nachteile, wenn ich auf das 8er Netz wechsel (Mehr Rechenleistung etc.)?

Dass Proxmox im LAN liegt?
Wenn das LAN eine vertrauenswürdig Subnetz ist, ist das in Ordnung.

Welches Vorgehen wäre denn eine geeignetere alternative?
Grundlegend ist es alles in einem Haushalt.
Nur ein LAN-Netz soll auf die Geräte zugreifen können. Die LAN-Netze sollen mit VLANs getrennt werden.

Proxmox sollte die OPNsense LAN IP als Gateway nutzen und keine IP auf einem anderen Interface haben.

Explizit ist 10.0.0.1 Gateway druch OPNsense eingerichtet worden. Die IP für OPNsense ebenfalls. Jetzt habe ich Proxmox so eingerichtet, dass IP 10.0.0.2 für Proxmox dient und in Proxmox habe ich das Gateway 10.0.0.1 eingestellt. 

Ich betreibe meine pfSense seit Jahren virtualisert auf KVM, LAN auf einer Linux-Bridge, auf der der Host eine IP hat, um darauf zuzugreifen. Das liegt dann ebenso im LAN, wie andere Geräte, die extern angeschlossen sind. Da gibt es kein Problem mit Zugriff. Die Firewall muss dazu ja nicht laufen.
Einzig den Proxmox solltest du im Griff haben. Wenn das nicht läuft, gibt es auch kein Internet im Haus. Meine Wartung mache ich halt, wenn die anderen schlafen (sollten).

Für den Anfang werde ich erstmal eine Tischlösung betreiben um den Umgang weiter kennenzulernen. Sprich Internet wird vorerst vorhanden sein, solange ich rumbastle. Ich hoffe wenn der Router im Produktiven einsatz ist ich den Umgang mit Proxmox behersche.