Opnsense Konfiguration und Verkabelung auf Hypervisor (Unraid oder Proxmox)

[Nightfly2000]

Hi ich bin noch neu hier und möchte jetzt auf einen Opensource Router zuhause umsteigen.
Ich habe ein paar Basic Opnsense skills, bzw. allgemein von Netzwerktechnik ein wenig Ahnung.
Ich kenne mich mit speziell mit Unraid recht gut aus. Auch mit Vmware bin ich etwas vertraut, was Hardware durchreichen etc anbelangt. (Proxmox habe ich mir nur mal kurz angesehen und das scheint mir etwas zu "kompliziert" für meinen Anwendungsfall zu sein)
Mein Plan sieht folgendermaßen aus. Ich habe mir jetzt einen dieser N100 China Mini PC´s mit 5x Intel 226-v 2,5GB Lan Ports bestellt. https://www.amazon.de/dp/B0CB3M6M16/ref=pe_27091401_487027711_TE_SCE_3p_dp_1
Dieser sollte in den nächsten Wochen ankommen. Mir war es wichtig das der neue Router relativ stromsparend ist und anhand diverser Tests laufen diese N100 PC´s um die 10-11 Watt, was ich als Ok empfinde für einen X86 Prozessor. Der Plan ist, das Opnsense als "Switch" und Router fungiert. Also Opnsense soll mal den DHCP Server spielen. In Zukunft bin ich am überlegen den Wlan AP Betrieb auch von Opnsense übernehmen zu lassen. (Da habe ich aber noch keine vernüntigen M2 Wifi Karten gefunden die erstens Wifi 5/6 mimo und AP-Mode können.) Die billigen Intel AX200 etc. sollen alle nur 2,4Ghz AP können.
Mein Verständisproblem ist generell alles was es mit diesen virtuellen Swichtes etc. auf sich hat.
Die Verkabelung ist recht Simpel. Ich veruche das anhand dem Ansi-Codes darzustellen.
Mein Plan ist es eben mein NAS und einen PC per 2,5Gb Lan zu verbinden, sodass Opnsens mehr oder weniger Switch spielen soll für 2 Ports. Der dritte Port soll dann zum Gb-Switch gehen. Alle Geräte sollen im selben IP Adressebereich sein.
Das Problem welches ich nicht verstehe ist, wenn Opnsense mal abschmieren sollte, bzw. ich es neu starten möchte, wie komme ich dann per Lan auf den Hypervisor? Ganz simple statische IP am Hypervisor und PC? Ich möchte vom PC, welcher ja Phyisch am Mini-PC (Hypervisor) steckt immer auf diesen zugreifen können. Oder muss ich einen Lan Port am Mini PC zusätzlich opfern und quasi 2 Lan Kabel am Gb-Switch anstecken. Lanport 1 wird von Opnsense verwaltet für die Clients. Und Lanport 2 (Hypervisor) ist dann quasi aus sicht von Opnsense auch ein Client?

Danke schon mal für die Hilfe!

Code Select Expand

      WAN / Internet
            :
            :  Cable-Modem (Bridgemodus) Keine Einwahl notwendig öffentlich IP wird an den Router weiter gereicht
            :
      .-----+-----.
      | CableModem
      '-----+-----'
            |
        WAN |LAN Port0
            |
      .-----+------. 
      |  Mini-PC Hypervisior 5x 2,5Gb Lan Ports 0-4
      '-----+------'   
            |
       VM|
            |
      .-----+------.       LAN Port1 2,5Gb       .-----+------.
      |  OPnsense VM --------------------------- | Unraid NAS                               
      '-----+--+--'                              '-----+------' 
             |    |       
             |    |
             |    |        LAN Port2 2,5Gb       .-----+------.
             |    + ---------------------------- |    PC                               
             |                                   '-----+------'
             |
             |
      LAN Port 3 | DHCP Server von OPensense   
             |
      .-----+------.
      | LAN-Switch Gbit
      '-----+------'
             |
             |
    ...-----+------... (Clients, Wlan etc.)



[Tuxtom007]

Hallo,

ich verstehe gerade dein Vorhaben noch nicht.
Willst du auf deinem MiniPC  Promox etc installieren und darauf dann OPNSense ?
Sollen dann noch weitere Dienste als VM darauf laufen ?

Wenn ja, dann macht es Sinn, wenn nicht und das lese ich aus deinem Beitrag nicht, macht es keinen Sinn OPNSense unter Proxmox laufen zu lassen.

Ich bin kein Freund davon, OPNSense unter Proxmox etc. laufen zu lassen oder diese auf eigener Hardware zu haben.

[micneu]

Ich persönlich mag es für produktive Umgebung lieber die Firewall auf Hardware laufen zu lassen.
- wie willst du sicherstellen das deine Sense läuft wenn dein Proxmox Updates installiert?
- ich nutze Sense VMs nur für meine test Umgebung


Gesendet von iPhone mit Tapatalk Pro

[Maurice]

Mein Zuhause-OPNsense läuft seit vielen Jahren in einer VM (Hyper-V), zusammen mit mehreren anderen VMs. Bin sehr zufrieden mit dieser Lösung. Troubleshooting, Backups, Tests sind oft viel einfacher als bei einem Bare Metal-Setup. Kein Stress mit Treibern, Zugriff auf die Konsole ohne Hardware, Snapshots der ganzen VM möglich, somit kein Schwitzen vor dem nächste Major Upgrade etc. Aber richtig, man muss sich mit den vSwitches des Hypervisors beschäftigen.

Ein paar Tipps dazu:
Lass das mit dem WLAN, das kann FreeBSD einfach nicht vernünftig. Entweder richtiger AP oder zumindest eine zweite VM mit z. B. OpenWrt.
Statische IP-Adresse für den Hypervisor! Und falls mal gar nichts mehr geht, dann kommt man da immer noch über die Link Local-Adresse drauf.
In OPNsense keine Bridges oder VLANs konfigurieren. Der Hypervisor hat direkten Zugriff auf die Hardware und kann das besser.

Grüße
Maurice

[Nightfly2000]

Ich persönlich mag es für produktive Umgebung lieber die Firewall auf Hardware laufen zu lassen.
- wie willst du sicherstellen das deine Sense läuft wenn dein Proxmox Updates installiert?
- ich nutze Sense VMs nur für meine test Umgebung


Gesendet von iPhone mit Tapatalk Pro

Hi, ja wenn der HV Updates installiert das ist nicht so tragisch, dann startet halt die Sense auch mal neu mit.

[Nightfly2000]

Hallo,

ich verstehe gerade dein Vorhaben noch nicht.
Willst du auf deinem MiniPC  Promox etc installieren und darauf dann OPNSense ?
Sollen dann noch weitere Dienste als VM darauf laufen ?

Wenn ja, dann macht es Sinn, wenn nicht und das lese ich aus deinem Beitrag nicht, macht es keinen Sinn OPNSense unter Proxmox laufen zu lassen.

Ich bin kein Freund davon, OPNSense unter Proxmox etc. laufen zu lassen oder diese auf eigener Hardware zu haben.

Ja genau ich möchte einfach einen HV nutzen um flexibel mit anderen Anwendungen zu sein. Zur Zeit tendiere ich eher zu Unraid, weil ich mich da besser auskenne. Ich möchte dann den einen oder anderen Docker, bzw. vielleicht eine VM laufen lassen. Ich habe 1-2 Raspis, die ich da eventuell zu Docker umziehen möchte z.b.

[Nightfly2000]

Mein Zuhause-OPNsense läuft seit vielen Jahren in einer VM (Hyper-V), zusammen mit mehreren anderen VMs. Bin sehr zufrieden mit dieser Lösung. Troubleshooting, Backups, Tests sind oft viel einfacher als bei einem Bare Metal-Setup. Kein Stress mit Treibern, Zugriff auf die Konsole ohne Hardware, Snapshots der ganzen VM möglich, somit kein Schwitzen vor dem nächste Major Upgrade etc. Aber richtig, man muss sich mit den vSwitches des Hypervisors beschäftigen.

Ein paar Tipps dazu:
Lass das mit dem WLAN, das kann FreeBSD einfach nicht vernünftig. Entweder richtiger AP oder zumindest eine zweite VM mit z. B. OpenWrt.
Statische IP-Adresse für den Hypervisor! Und falls mal gar nichts mehr geht, dann kommt man da immer noch über die Link Local-Adresse drauf.
In OPNsense keine Bridges oder VLANs konfigurieren. Der Hypervisor hat direkten Zugriff auf die Hardware und kann das besser.

Grüße
Maurice

Ok Danke für den Tip zwecks Wlan.
Das heißt zwecks sinnvoller Konfiguration statische IP PC und HV. Wobei die statische IP hilft mir am PC eigentlich auch nicht, weil wenn die Sense z.B. Down ist, dann ist der Lan Port den die Sense verwaltet ja quasi tot und ich komme mit dem PC nicht auf den HV. So wie auf meiner Grafik gezeichnet. PC steckt ja direkt am HV. Nur werden da nicht alle Lan Ports von der Sense verwaltet. Ich möchte mir mit der Lösung fürs erste einfach einen zusätzlichen Switch ersparen der 2,5Gb Ports hat. Da gibt's noch keine kleinen 10 Ports+ die günstig und kompakt sind. (Habe einen 10 Zoll Lan Schrank wo ich aktuellen einen passenden 16 Port Switch verbaut habe. Daher sind mir 19 Zoll Switches zu groß) Außer irgendwelche China Geräte auf Amazon was ich bei servthehome gelesen habe. https://www.servethehome.com/the-ultimate-cheap-2-5gbe-switch-mega-round-up-qnap-netgear-hasivo-mokerlink-trendnet-zyxel-tp-link/
Wenn ich Unraid nutze, dann wurde ich wie in meiner Grafik 4 Lan Ports zur Sense VM durchreichen 1x Wan und 1x Lan für NAS 1x Lan für  PC und 1x Lan für Switch. Zusätzlich möchte ich per Grafana von der Sense ein paar Daten auslesen. Das geht super easy per Unraid Docker. Da gibts ein fertiges Paket, das alle benötigten Pakete mit installiert, wie die Influx DB etc.
https://github.com/testdasi/grafana-unraid-stack
Ich habe aktuell den Amplifi HD Router von Unifi. https://amplifi.com/amplifi-hd Der läuft eigentlich sehr gut. (Leider nur per App konfigurierbar) Vor allem das Statusdisplay ist für mich fast unverzichtbar geworden, weil ich da immer super sehe ob ein Gerät per Wan Aktivität hat und welcher Speed da gerade drüber läuft. Den Amplifi werde ich daher fürs erste in den Brigde Modus umstellen, damit der nur mehr Wlan AP macht. Da werde ich aber die Funktionalität mit dem Display vermutlich einbüßen.
Daher die Idee den Wan Speed der Sense per Grafana darzustellen. am besten mit einem kleinen Device das einen kleinen Bildschirm hat. Habe da an einen Raspi zero etc. gedacht. am schönsten wäre natürlich etwas Stromsparendes wie einen ESP32 mit Display der mir nur die paar Daten der Sense anzeigt. Hätte da zwar auch ein fertiges Gerät gefunden aber das soll von der Performance um das Geld nicht das wahre sein. Dort läuft nämlich Android drauf. https://sonoff.tech/product/central-control-panel/nspanel-pro/
Falls jemand da andere Ideen oder Lösungen bzw. Devices kennt die da recht Easy den Wan Speed anzeigen können dann bin ich wirklich Dankbar für die Info. Mit Iperf kann man da was ich gelesen habe schon was auf diesen ESP32 laufen lassen aber ich hätte kein einfaches Tutorial gefunden wo beschrieben wäre genau das zu machen was ich mir vorstelle. Kontinuierliche WAN Speedtests brauche ich so nicht. (Da gibts ein paar Anleitungen) Ich möchte wirklich den aktuellen Wert sehen. Das heißt so wie ich mir die Verkabelung vorgestellt habe müsste alles funktionieren. Oder gäbe es da eine andere vernünftige Variante mit virtuellen Switches, Bridging der Ports etc.?

[Maurice]

Du möchtest NIC 1 / 2 / 3 zu einem virtuellen Switch zusammenfassen. Lass das den Hypervisor machen. An diesen vSwitch hängst Du dann auch OPNsense (über einen(!) virtuellen Port) und den Hypervisor selbst. Dann funktioniert das Switching zwischen den NICs und der Zugriff auf den Hypervisor unabhängig von OPNsense. Du möchtest NICHT, dass ein virtualisiertes OPNsense als Switch fungiert.

Bei mir ist es übrigens anders herum gelöst: Die Hardware, auf der der Hypervisor läuft hat nur eine(!) NIC, die intern an einem virtuellen Switch hängt und extern an einem physischen. Der Hypervisor und der physische Switch kümmern sich darum, die VLANs auseinanderzudröseln. OPNsense bekommt davon nichts mit.

Zu deinen Visualisierungsthemen mögen sich andere äußern. ;D

[Nightfly2000]

Du möchtest NIC 1 / 2 / 3 zu einem virtuellen Switch zusammenfassen. Lass das den Hypervisor machen. An diesen vSwitch hängst Du dann auch OPNsense (über einen(!) virtuellen Port) und den Hypervisor selbst. Dann funktioniert das Switching zwischen den NICs und der Zugriff auf den Hypervisor unabhängig von OPNsense. Du möchtest NICHT, dass ein virtualisiertes OPNsense als Switch fungiert.

Bei mir ist es übrigens anders herum gelöst: Die Hardware, auf der der Hypervisor läuft hat nur eine(!) NIC, die intern an einem virtuellen Switch hängt und extern an einem physischen. Der Hypervisor und der physische Switch kümmern sich darum, die VLANs auseinanderzudröseln. OPNsense bekommt davon nichts mit.

Zu deinen Visualisierungsthemen mögen sich andere äußern. ;D

Hmm ok, das klingt nach einer guten Lösung da muss ich mich mal einlesen wie das auf der HV Seite zu konfigurieren ist. Aber von der Theorie verstehe ich das so: Der WAN Port der Sens ist physikalisch 1:1 vom HV zur Sens durchgereicht. Den braucht der HV ja auch nicht. Und aus den anderen Lan Ports mache ich am HV einen virtuellen Switch und reiche den dann an die Sens weiter. Das heißt die Sens hätte laut Konfiguration nur 1x den Wan Port und 1x einen Lan Port des virtuellen Switches weil es im Prinzip eh egal ist ob ich z.B. 2 richtige Lan Ports auf der Sense habe oder nur einen virtuellen auf der Sense. Das könnte unabhängig von der HV Software sogar die wirklich bessere Lösung sein, denn ich habe gelesen das Sense mit dem Intel 226-V Chipsatz  Treiber Probleme hat bzw. das der Treiber dafür erst im aktuellen Release hinzugefügt wurde. Und bei BSD ist das anscheinend etwas träger mit der Treiber Implementierung als es bei Linux von statten geht. Bei Vmware ESXI weiß ich z.B. das, dass mit dem virtuellen Switches etwas leichter zu konfigurieren ist. Ich werde mit dem Proxmox irgendwie nicht so richtig warm, weil alles so verschachtelt und irgendwie für einen Laien nicht selbsterklärend ist. Und Unraid ist ja eher als NAS BS gedacht obwohl es mittlerweile super mächtig ist auch was VM usw. betrifft. Unraid basiert ja auch auf Slackware und ist da mit Treiber/Kernel Implementierung echt gut!

Danke schonmal für die Hilfe und Infos!

[Maurice]

Der WAN Port der Sens ist physikalisch 1:1 vom HV zur Sens durchgereicht. Den braucht der HV ja auch nicht.

Korrekt. Was "physikalisch durchgereicht" genau heißt hängt vom Hypervisor, den Fähigkeiten von NIC und OS und den Anforderungen ab. Im einfachsten Fall ist das auch ein virtueller Switch, an dem aber nur die physische NIC und die OPNsense-VM hängen (nicht der Hypervisor selbst). Gibt aber auch Möglichkeiten wie SR-IOV oder PCIe-Passthrough, falls Du dich austoben möchtest.

Und aus den anderen Lan Ports mache ich am HV einen virtuellen Switch und reiche den dann an die Sens weiter. Das heißt die Sens hätte laut Konfiguration nur 1x den Wan Port und 1x einen Lan Port des virtuellen Switches

Richtig.

weil es im Prinzip eh egal ist ob ich z.B. 2 richtige Lan Ports auf der Sense habe oder nur einen virtuellen auf der Sense.

Egal ist es eben nicht. Würdest Du zwei "richtige LAN-Ports" (also zwei NICs) durchreichen, dann müssten die in OPNsense gebridget werden. Das ist in dieser Konstellation nicht empfehlenswert.

[Nightfly2000]

Der WAN Port der Sens ist physikalisch 1:1 vom HV zur Sens durchgereicht. Den braucht der HV ja auch nicht.

Korrekt. Was "physikalisch durchgereicht" genau heißt hängt vom Hypervisor, den Fähigkeiten von NIC und OS und den Anforderungen ab. Im einfachsten Fall ist das auch ein virtueller Switch, an dem aber nur die physische NIC und die OPNsense-VM hängen (nicht der Hypervisor selbst). Gibt aber auch Möglichkeiten wie SR-IOV oder PCIe-Passthrough, falls Du dich austoben möchtest.

Ja genau ich meinte PCIe-Passthrough

Und aus den anderen Lan Ports mache ich am HV einen virtuellen Switch und reiche den dann an die Sens weiter. Das heißt die Sens hätte laut Konfiguration nur 1x den Wan Port und 1x einen Lan Port des virtuellen Switches

Richtig.

weil es im Prinzip eh egal ist ob ich z.B. 2 richtige Lan Ports auf der Sense habe oder nur einen virtuellen auf der Sense.

Egal ist es eben nicht. Würdest Du zwei "richtige LAN-Ports" (also zwei NICs) durchreichen, dann müssten die in OPNsense gebridget werden. Das ist in dieser Konstellation nicht empfehlenswert.

Ok danke für den Tip ich werde das dann mal so konfigurieren und berichten obs so funktioniert hat

Ich probiere da gerade auf meinem Unraid Nas aus, wie sich die VM seitens Hardware konfigurieren lässt. Unter Unraid laufen die VMS ja auf QEMU wenn ich es richtig verstanden habe. Dort gibt's folgende Lan "Treiber" zum auswählen: virtio-net, virtio, e1000, rtl8139,vmxnet3 Gibts da Erfahrungen welche für die Sense besser geeignet sind?

[Patrick M. Hausen]

E1000 oder VirtIO.

[Maurice]

Schließe mich bei VirtIO an. :)

[Nightfly2000]

Hi,habe mich da jetzt ausführlich die letzten Wochen mit meinem Setup beschäftigt.

Ich verwende Unraid und habe unter Unraid einen Vswitch erstellt. Diese nennt sich dort Bridge. Diese Bride weiße ich dann der Opensense als Lan Port zu. Ich verwende den Virtio-Net Treiber der funktioniert auch ohne Probleme!

Den Wan Port habe ich per Passthrough der Opensense direkt durchgereicht. Soweit funktioniert auch alles sehr gut.
Der Leistungsverbrauch pendelt so zwischen 9-15W je nach Auslastung.
Wenn Zenarmor läuft dann kann man schön beobachten das die Leistungsaufnahme öfter an die 15W geht.
Habe viele Powersettings im Bios probiert damit ich da das maximum an Stromsparen rausholen kann.

Jetzt hätte ich noch ein paar Fragen zu Opnsense. Ich habe bemerkt das mir Zenarmor gut 50GB am Tag auf die SSD schreibt mit Standard Einstellungen. Ich habe unter den Settings bei Zernarmor zwar die Ramdisk aktiviert fürs Logging aber das hat nicht wirklich viel gebracht. Daher habe ich das einmal deaktiviert.

Mir ist allerdings aufgefallen das die Opnsense trotz der Logging Einstellungen auf Ramdisk etc. in den Standardeinstellungen pro Tag ca 5-10GB auf die Disk schreibt.
Ist das normal oder kann man da noch wo was tunen?