Umzug auf virtuell Überlegungen

[kosta]

Hallo zusammen,

ich bereite mich aktuell auf den Umzug meine Hardware OPNsense in die virtuelle Umgebung. Das möchte ich deswegen machen, weil mein Server, basierend auf Supermicro+Xeon+EC-Ram und ESXi deutlich stabiler als die billige ASUS-Kiste mit Intel läuft. No-na. Plus habe ich die Optionen für einfachere Sicherung der VM, Snapshots vor Upgrades usw. Da es privates Umfeld ist, ist die Sicherheitsbedarf nicht so hoch wie in der Arbeit, daher finde ich es umso einfacher auf einer VM zu haben.

Ich wollte erstmal nur eine VM für OPNsense machen, aber bin gerade in die Gedanken gekommen, ein HA-Cluster mit 2 VMs zu machen. Überlege allerdings welche Vorteile, wenn überhaupt, mir das bietet.

Wenn ich 2 OPNsense hätte, und eine gerade aktualisiert, übernimmt die andere. Jedoch das Internet ist ein Kabel-Modem, eine WAN-IP, ich kann nicht beide FW mit dem WAN speisen. Das müsste ich immer umstecken. Oder gibt es andere Möglichkeiten dass doch beide FW WAN mit derselben IP bekommen?

Gibt es noch weitere Vorteile des HA-Clusters, die ich übersehe für meine Anwendungszwecke?

Danke
Srdan

[Nambis]

Es wäre sinnvoller, zwei ESXI im HA zu clustern, weil wenn ein Node abstürzt wegen HW oder sonstigen Problemen, ist der VM Opnsens Gast gespiegelt. HA bei Opnsense per se, macht aus meiner Sicht mehr Sinn, wenn die auf baremetall läuft, also zwei gleiche Server vorhanden sind.

Ich kenne das so von Proxmox, mit ESXI hatte ich noch nichts zu tun, sollte aber vom Prinzip her ähnlich sein.

[kosta]

Das kommt nicht in Frage, auch wenn so cool wäre. Die Stromkosten sind schon so hoch wie es ist. Nochmals: Privatgebrauch.
Sollte die Firewall nicht hochfahren wollen, richte ich mir auf dem Switch ein Admin-Port oder verbinde mich direkt mit dem Management-Port (ESXi) oder IPMI auf dem Server. Damit habe ich erstmal die Not-Kontrolle.
Daher ist Thema HA auch komplett daneben... danke. Hast mich auf die richtige Spur gebracht.

[StreetPiet]

Hi,

ein HA-Cluster aus zwei VMs funktioniert. Es ist sogar möglich die WAN-Seite der opnsense nur mit einer virtuellen IP zu betreiben, allerdings verliert die gerade nicht aktive opnsense die WAN Verbindung und die Logfiles werden mit Fehlermeldungen geflutet.

Für den Heimgebraucht ist eine virtuelle opnsense meiner Meinung nach ausreichend, solange man Updates vor Ort und nicht remote durchführt. Kurz einen Snapshot machen, Update starten, fertig. Sollte ein Update schieflaufen kann man einfach den Snapshot zurückspielen. Im Heimbetrieb sollten kurze Ausfälle des Internets noch vertretbar sein.

sollte die VM der opnsense nicht stabil laufen ist es eher besser bei der Hardware anzusetzen als einen HA-Cluster zu bauen.

[Brick_In_The_Wall]

Ich würde eine VM nicht clustern, sondern zwei VMs einzeln installieren und die Hochverfügbarkeit im OPNsense akltivieren. Das System mit den virtuellen IPs schaltet deutlich schneller um als eine ganze VM aktiviert wird und auch die Logfiles bleiben auf beiden Kosten vorhanden.

[kosta]

Naja, das meinte ich ja auch. Ich hätte zwei VMs installiert und diese dann in OPNsense selbst auf HA schalten. Würde aber nur dabei helfen, dass ich eine OPNsense neustarten kann, und das System bleibt nach wie vor verfügbar.

[lfirewall1243]

Naja, das meinte ich ja auch. Ich hätte zwei VMs installiert und diese dann in OPNsense selbst auf HA schalten. Würde aber nur dabei helfen, dass ich eine OPNsense neustarten kann, und das System bleibt nach wie vor verfügbar.

Hat ein paar mehr Vorteile.
Du kannst große Änderungen, Plugins sowie Updates vorher testen und falls es nicht klappt, schnell auf die 2. OPNsense wechseln um den Ausfall gering zu halten.
Das ganze sehe ich aber etwas Overkill für das kleine Privatnetz an - zum Testen und Erfahrungen Sammeln okay.

Ich würde aber ehr hingehen und vor jeder größeren Änderung die du so machst einen Snapshot im Hypervisor starten. Dann kannst du auch schnell zurück, wenn was nicht klappt.

Wenn ich 2 OPNsense hätte, und eine gerade aktualisiert, übernimmt die andere. Jedoch das Internet ist ein Kabel-Modem, eine WAN-IP, ich kann nicht beide FW mit dem WAN speisen. Das müsste ich immer umstecken. Oder gibt es andere Möglichkeiten dass doch beide FW WAN mit derselben IP bekommen?

Wie funktioniert die Einwahl ins Netz? Macht die OPNsense irgendwie PPPOE? Dann wird es schwer.
Wenn die IP anderweitig an deine OPNsense kommt - vielleicht sogar mit Zwischennetz vom Router ist das machbar. Dort läuft dann ebenfalls CARP. So weit ich weiß läuft CARP nur mit PPPOE nicht wirklich sauber.

[Layer8]

Es braucht übrigens nicht mal eine VM, in der die Sense läuft, um Snapshots zu nutzen. Wer ZFS als Dateisystem nutzt, kann auch einfach auf Dateisystemebene Snapshots erstellen - das geht bei Baremetalinstallation und in der VM. Leider scheint das aber noch nicht in die GUI eingebaut zu sein. Hier gibts ein paar mehr Infos dazu:

https://forum.opnsense.org/index.php?topic=25540.msg122750

https://docs.freebsd.org/en/books/handbook/zfs/


Ich handhabe es übrigens auch so, dass ich zu Hause keine HA-Konfig in der OPNsense aktiviert habe. Ich update in der Regel nur, wenn ich zu Hause bin. Das geht auf schneller Hardware so schnell, dass 30-60s Downtime für nen Reboot kein Problem sind.

Im Notfall, wenn ich doch mal von unterwegs aus updates machen will oder den Hypervisor auf dem die Sense läuft von unterwegs aus neu starten möchte oder der Hypervisor geplante längere Downtimes hat, gehe ich wie folgt vor:

Ich habe eine zweite Sense. Diese zweite Sense ist in der Regel ausgeschaltet. Sie ist im Idealfall ein aktueller Clone der ersten Sense in einer VM, kann aber auch ein Baremetalsystem sein. Die zweite Sense schalte ich ein, bevor ich von unterwegs irgendwelche kritischen Sachen machen will wo die Gefahr besteht, dass die erste Sense nicht mehr hoch kommt.

Das hochfahren der zweiten Sense mit exakt gleicher Konfig macht deshalb kein Problem, weil jede Sense beim booten oder beim Anlegen eines neuen Interfaces erkennt, ob die IP im Netzwerk schon online sind - es kommt also nicht zu IP-konflikten/kollisionen. Die zweite Sense schaltet ihrer IPs nicht online, solang ein anderes Device im Netz die gleiche IP zuvor nutzt.

Wenn ich dann die erste Sense neu starte und deren IPs offline sind, übernimmt die zweite Sense einfach den Betrieb, indem sie ihre IPs online nimmt.

Die erste Sense kann man dann im Notfall über den Hypervisor oder ein IPME-Interface erreichen. Oder wenn man es vorher eingerichtet hat, könnte man auch ein Notfallnetz nutzen, in der die erste Sense ne .1 und die zweite Sense ne .2 IP hat. Dann sollte man - sofern die erste Sense nicht ganz kaputt ist - auch wieder aufs Webinterface/SSH kommen.

Edit: Sollte man natürlich mal testen, bevor man es Live ausprobiert. Und: Kann mit PPPOE Probleme geben (?)

[NilsS]

Ein opnsense cluster auf einer Hardware macht keinen großen Sinn, komplizierteres Setup WAN/CARP geht nur mit 3 public IPs oder eben Private IPs wenn zB einen Fritzbox davor steht.

Proxmox und ZFS snapshots (zfs autosnapshot) lässt dich die Firewall VM recht schnell wieder herstellen wenn es denn tatsächlich zu einem fehler kommt.

Der Vorteil bei einer Virtualisierung ist das die Virtuelle Hardware auch auf unterschiedlicher Hardware (Netzwerkkarten) die gleiche ist, das heißt wenn du einen Offline Ersatzserver hast könntest du im HW Ausfall diesen auch schnell mit der aktuellen Config auf den gleichen Stand bringen.

Lässt sich übrigens auch mit ZFS send und wakeonlan etc automatisch machen, das zB alle 24Std ein wakeonlan an einen zweiten proxmox geschickt wird und die VM(s) per zfs send auf den Ersatzserver kopiert werden, und der zweite Server dann wieder ausgeschaltet wird.

Es geht allerdings auch jeder andere alte Rechner auf dem die gleiche virtualisierung läuft.

So kannst du im Notfall schnell das Internet wiederherstellen (und den Familienfrieden retten)