Nach Install von Opensense als VM Proxmox kein zugriff

[meyergru]

Ziemlich sicher nicht. Du kannst die IP-Adresse auf zwei Arten setzen:

1. Indem Du sie in der Bridge vmbr0 definierst. Dann musst Du aber immer noch angeben, dass das physische Interface eno1 einer der Bridge-Ports sein soll.

2. Indem Du sie am Interface setzt. Auch dann brauchst Du einen Zusammenhang zwischen physischem Interface und der Bridge.

Aber nicht beide Methoden auf einmal.

Für vmbr2 ist das anders - da hängt anfangs gar kein Interface dran. Das passiert erst, wenn VM-Interfaces darauf verbunden werden.

Du musst Dir die Bridge wie einen Switch vorstellen, an den die Interfaces "eingesteckt" werden - das ist, warum ich die Methode 2 bevorzuge. So wie Deine Definition aussieht, hängt an vmbr0 gar nichts.

Am Rande bemerkt ist die Angabe einer Netzmaske plus "pointopoint" mindestens redundant. Letzteres kann man nutzen, um ein Gateway außerhalb der Netzmaske zu nutzen. Das braucht man im Datacenter, wenn die IPs in einem Subnetz untereinander nicht direkt kommunizieren dürfen, weil der Hoster das aus Sicherheitsgründen blockt. Dann gibt man die IP als 192.168.178.36/32 an und das Pointopoint-Gateway als 192.168.178.1. Die Angabe ist notwendig, weil die Netzmaske /32 eine normale Kommunikation sonst verhindern würde. Also auch hier: Entweder /24 oder /32 mit Pointopoint.

[alfred_e1]

Servas meyergru,

danke für die schnelle Antwort. Hoffe ich hab es  richtig verstanden und geändert.

source /etc/network/interfaces.d/*

auto lo
iface lo inet loopback
iface lo inet6 loopback
iface eno1 inet static


# Hauptnetzwerk #########################################################################################################>


auto eno1
iface eno1 inet static
        address 192.168.178.36/24
        gateway 192.168.178.1
        up              sysctl -p
        post-up         ip address add fe80::223:24ff:febc:d3d7 dev eno1
        post-up         ip route add default via fe80::1 dev eno1
        post-up iptables -t nat -A PREROUTING -i eno1 -p tcp -m multiport ! --dport 22,8006 -j DNAT --to 10.10.1.2
        post-up iptables -t nat -A PREROUTING -i eno1 -p udp -j DNAT --to 10.1.1.2


iface eno1 inet6 static
        address fe80::223:24ff:febc:d3d7
        gateway fd36:a8fe:f5a0::62b5:8dff:fe32:40ee/64
#Hauptnetzwerk ##########################################################################################################>


#auto vmbr0
#iface vmbr0 inet static
#       address 192.168.178.36/24
#       bridge-ports none
#       bridge-stp off
#       bridge-fd 0
#       up ip route add 192.168.178.200/24 dev vmbr0
#       up ip route add 192.168.178.254/24 dev vmbr0
#Public VM Net

#iface vmbr0 inet6 static
#       address fe80::223:24ff:febc:d3d7/128

auto vmbr1
iface vmbr1 inet manual
        address 10.10.1.1/31
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up iptables -t nat -A POSTROUTING -s '10.10.1.2/31' -o eno1 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.10.1.2/31' -o eno1 -j MASQUERADE
# OPNSense WAN

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
# OPNSense LAN


I geb mei Best.

[meyergru]

Wie gesagt, ob das "richtig" ist, hängt davon ab, was Du erreichen willst. Du solltest Dir zunächst mal eine Zeichnung Deiner Topologie machen.

Grob wirkt es, als wolltest Du eine Fritzbox als Router (also nicht im Bridge-Modus) nutzen und dahinter einen Proxmox-Host mit OpnSense als VM, die eine DMZ ("LAN") aufzieht für weitere VMs, die dann über die OpnSense Internetzugriff bekommen.

Wie sollen diese VMs erreichbar sein?

Sollen langfristig Deine anderen Geräte auch in diesem LAN angeschlossen werden? Falls ja, gibt es ein zweites Interface und einen daran angeschlossenen Switch?

Oder soll das als Blaupause für eine Datacenter-Installation dienen? Ich frage, weil das "Zwischen-Netz" 10.10.1.2/31 (das übrigens ungeschickt gewählt ist, weil man eigentlich mindestens /30 braucht, um zwei IPs plus Broadcast plus Netz zu bekommen) so wirkt, als sei es notwendig, weil Du nur eine "externe" IP für Proxmox und OpnSense nutzt und die Proxmox-Ports weiterleitest.

Es gibt mindestens diese Varianten für Proxmox mit OpnSense:

1. Im LAN hinter einem anderen Router - dann können Proxmox und OpnSense aber zwei unterschiedliche RFC1918-IPs bekommen oder wenn das OpnSense-LAN auch Dein allgemeines LAN werden soll, würde man den Proxmox eher an das LAN der OpnSense anschließen. Ist aber kompliziert aufzusetzen, weil anfangs nichts erreichbar ist.
2. Im LAN, wobei Proxmox den Router macht an einem Modem oder ONT (Bridge-Modus).
3. Im Datacenter mit nur einer gerouteten IP. Wenn es z.B. Hetzner ist, gibt es noch weitere Spezialitäten zu beachten.
4. Im Datacenter mit zwei IPs für Proxmox und OpnSense.
5. Proxmox im LAN hinter einer physischen OpnSense, wobei verschiedene VLANs ansprechbar gemacht werden.

Deine Konfiguration wirkt aktuell so wie 3., auch wegen der Port-Forwards, aber Du beschreibst eher 1. aufgrund der IPs.
Also worüber reden wir genau?

[meyergru]

Mal als Beispiel die Variante 1, die man nutzen würde, um hinter einer Fritzbox einen Proxmox aufzubauen, der eine OpnSense VM hostet, die dann ein eigenes LAN aufzieht.

Dabei ist 192.168.178.1/24 das "WAN" (=LAN der Fritzbox) an ens18 und 10.10.2.1/24 das LAN der OpnSense an ens19. Der Proxmox hat 10.10.2.2/24.
Man würde ens18 mit der Fritzbox und ens19 mit einem Switch für die anderen LAN-Clients (z.B. einen PC) verbinden. Die OpnSense kann auf dem WAN-Interface DHCP als Client nutzen (nehmen wir an, sie bekommt 192.168.178.36/24) und sollte auf dem LAN einen DHCP-Server aktiv haben. Dann kann man sich an den Switch anklinken und per DHCP eine IP aus 10.10.2.0/24 abholen. Der Proxmox hat dann 10.10.2.2 und die OpnSense ist das Gateway mit 10.10.2.1, also beide bei LAN direkt erreichbar.

Die Proxmox-Konfiguration sieht dann so aus:

Code Select Expand

auto lo
iface lo inet loopback

auto ens18
iface ens18 inet manual

auto ens19
iface ens19 inet manual

auto vmbr0
iface vmbr0 inet manual
        bridge-ports ens18
        bridge-stp off
        bridge-fd 0
        bridge-mcsnoop 0
#OpnSense WAN

auto vmbr1
iface vmbr1 inet static
        address 10.10.2.2/24
        gateway 10.10.2.1
        bridge-ports ens19
        bridge-stp off
        bridge-fd 0
        bridge-mcsnoop 0
#OpnSense LAN

Man beachte: Die WAN-IPs kommen in der Proxmox-Konfiguration überhaupt nicht vor! Der Proxmox "kennt" nur seine eigene IP im OpnSense LAN. Die physischen Interfaces sind mit den Bridges (logische Switches) verbunden. Die OpnSense wird mit dem WAN-Interface mit vmbr0 und mit dem LAN-Interface mit vmbr1 verbunden, ist aber selbst dafür verantwortlich, welche IPs sie dort jeweils hat - das kommt hier überhaupt nicht vor (bis auf die Tatsache, dass - weil Proxmox nicht als DHCP-Client auftreten kann - man die LAN-IPs und das Gateway manuell eintragen muss).

Der ganze Schnickschnack mit Masquerading usw. ist dafür überhaupt nicht notwendig.

Hinweis: Bevor die OpnSense eingerichtet ist, muss man den PC, mit dem man den Zugriff auf Proxmox und OpnSense von der LAN-Seite aus durchführen will, natürlich manuell konfigurieren, weil der DHCP-Server noch fehlt.

[alfred_e1]

Servas meyergru,

würde dir gerne eine Zeichnung hier hochladen, weiß aber nicht wie das hier funktioniert. Schande über mein Haupt.

[alfred_e1]

Um deine Fragen zu beantworten:

Ja, die FB soll als Router und nicht im Bridge Modus laufen und dahinter einen Proxmox-Host mit OpnSense als VM, die eine DMZ ("LAN") aufzieht für weitere VMs, die dann über die OpnSense Internetzugriff bekommen.

Ja, ich habe nur eine externe IP.

Langfristig würde ich gerne alles andere auch hinter die OPNSense stecken.
Der Internetzugang soll dann nur über die OPNSense erfolgen.

Danke im Voraus

[meyergru]

Man kann Grafiken nur über Reply, aber nicht über Quick reply anhängen.

Wenn es so sein soll, wie Du beschreibst, dann geht es so, wie ich zuletzt gezeigt habe. Du brauchst aber einen Proxmox mit zwei Netzwerkkarten (eine LAN und eine für WAN) und einen Switch (alternativ einen managebaren Switch, mit dem man mehrere VLANs aufziehen kann).

P.S.: Für den Betrieb im eigenen LAN würde ich einen solchen Aufbau nicht empfehlen. Grund ist, dass bei Wartungsarbeiten am Proxmox immer das ganze LAN ausfällt. Über Doppel-NAT muss ich wohl nichts mehr sagen - und wenn Du das machst, weil Du weiter den Access Point der Fritzbox nutzen willst: diese Clients können dann nicht direkt mit Deinen LAN-Devices kommunizieren.

Das ist mit ein Grund, wieso man sich das mal aufzeichnen sollte. Optimal ist:

ISP <-> Modem/ONT <-> OpnSense <-> Managebarer Switch <-> (Proxmox, VLAN-fähige Access Points, LAN-Clients, ggf. Fritzbox für Telefonie, IoT-Clients, Gast-Clients, DMZ-Clients (z.B. VMs))

[alfred_e1]

Dann sind wir quasi wieder bei deinem Artikel den du für die FB Besitzer geschrieben hast.

Würde es den Sinn ergeben, wenn ich eine OPNSense auf eine Hardware installiere ohne Proxmox und dahinter dann den Proxmox. Also FB, OPNSense, usw.?

Oder hat es mit einer FB überhaupt keinen Sinn?

[viragomann]

P.S.: Für den Betrieb im eigenen LAN würde ich einen solchen Aufbau nicht empfehlen. Grund ist, dass bei Wartungsarbeiten am Proxmox immer das ganze LAN ausfällt.

Ich betreibe meine zentrale Heim-Firewall auch virtualisiert auf KVM. Meine Hardware hat allerdings 4 NICs.

Man muss sich eben des Risikos bewusst sein. Vor einem Distri-Upgrade des Hosts mache ich sicherheitshalber ein Image der Platte. Zusätzlich macht das System selbständig Snapshots, so dass man ggf. ein Rollback machen kann, falls nach einem Update ein Problem nicht zeitnah behebbar ist.

Für Leute, die mit diesen Dingen nicht vertraut sind, würde ich es allerdings auch nicht empfehlen.
Und die Downzeit des Netzwerks ist insgesamt damit natürlich etwas höher.

Grüße

[meyergru]

Das sind zwei unabhängige Fragen:

OpnSense auf Hardware hat wie gesagt den Vorteil, dass Dein Internet nicht vom Proxmox abhängig ist (und Du brauchst nur eine Netzwerkschnittstelle, es gibt außerdem keine Notwendigkeit für vmbr0, weil es kein WAN am Proxmox braucht und man ggf. VLANs mit einer VLAN-aware Bridge erledigt (in den Netzwerk-Interfaces der VMs kann man dann VLAN-Tags im Proxmox angeben). Anständige Hardware dafür bekommt man ab ca. 200€, mit 2.5 Gbps Ports bzw. ca. 350€ sogar mit 2x SFP+.

Welche Nachteile die Fritzbox als vorgeschalteter Router hat, habe ich im Artikel schon hinlänglich beschrieben (Stichworte Doppel-NAT und keine VLANs für WiFi-Clients). Wenn man ernsthaft VLANs einsetzen will, um z.B. unsichere IoT-Clients abzutrennen, muss man bedenken, dass die Fritzbox nur ein Gast-WLAN kann, wenn sie als Router betrieben wird. Und dann können halt die WLAN-Clients nicht ins LAN, weil das "hinter" der OpnSense liegt.

Das ist ein Tradeoff zwischen einerseits Feature-Verzicht und andererseits Kosten für OpnSense-Hardware, eventuell zusätzlichem DSL-Modem (bei Glasfaser kämr der ONT käme ja meist sowieso vom ISP), VLAN-fähigem Switch und Access Point für eine Lösung, die alles kann. Bedenkt man es vom Ende her, ist ein Schritt-für-Schritt Ansatz auch Mist, weil Du jeweils beim Umbau zu komplett unterschiedlichen Konfigurationen kommst. Also: wie oft willst Du umbauen?

[alfred_e1]

Danke euch Beiden,

also ein Gast Wlan habe ich eh deaktiviert. Bei den heutigen Preisen kann jeder sein Smartfon selbst ins Inet bringen.
Glasfaser brauche ich auch nicht. Meine 1000 Leitung langt mir voll.
Ich mag halt nur von aussen abgesichert mein kleines Heimnetz betreiben, SmartTV, Bitcoin Fullnode, Notebook, Smarthome, NAS usw.
Also nichts wildes. Es sollte kostengünstig sein.

Hatte mir deswegen einen Mini PC von Lenovo gekauft und gedacht, wenn es schon die Möglichkeit gibt einen Server darauf aufzubauen könnte doch auch ne Firewall auch nicht schaden.

Sonnige Grüße

[meyergru]

Verstehe ich nicht: Sind Dein Notebook und Deine Smarthome-Geräte alle verdrahtet? Oder hast Du einen separaten Access Point, der VLAN-fähig ist?

Falls nein, dann sind sie bei Einsatz der Fritzbox als vorschaltetem Router doch gerade nicht im abgesicherten LAN hinter der OpnSense, sondern davor - weil sie am WLAN der Fritzbox hängen. Nochmal: Mal Dir die Topologie auf und mach Dir dann klar, was wo steht und was somit (nicht) mit was kommunizieren darf, weil die OpnSense das blockt.

Umgekehrt gilt auch: Eine Firewall wirkt nur, wenn der Traffic auch über sie geroutet wird (nur, weil immer wieder Spezialisten erfolglos versuchen, Regeln zu definieren, die den Verkehr zwischen zwei LAN-Devices verbieten).

Ich habe auch nicht Glasfaser empfohlen, sondern nur sagen wollen, dass man bei DSL anstelle der Fritzbox ein DSL-Modem braucht, bei Glasfaser jedoch nichts zusätzliches, weil dort typischerweise sowieso ein ONT vorhanden ist.

Was das Gast-WLAN bzw. -VLAN betrifft: Es mag sein, dass Du das nicht brauchst - was Du aber haben solltest, ist ein separates WLAN (bzw, VLAN) für "unsichere" Clients. Für mich sind die dadurch gekennzeichnet, dass sie nach Hause telefonieren und somit Löcher in Dein Netzwerk stanzen können (z.B. Tunnel). Das betrifft fast alle IoT-Geräte, SmartTVs, SmartPhones und Geräte/Services, die eventuell gehackt werden könnten - beispielsweise auch Bitcoin Fullnodes. Solche Clients gehären abgetrennt in IoT-Netze oder DMZ-Zonen. Und viele davon sind per WLAN verbunden.

Fritzboxen im Router-Modus können nur das LAN von einem "Gast"-LAN/WLAN abtrennen - im Client-Modus geht selbst das nicht mehr.

[viragomann]

also ein Gast Wlan habe ich eh deaktiviert.

Ich hatte vor 7 Jahren ein Gastnetz mit Captive Portal zuhause eingerichtet. Ich hatte noch die Zeit im Kopf, als die im Vertrag inkludierten mobilen Daten immer knapp oder bereits erschöpft waren. Die waren da allerdings auch schon vorbei.
Habe bislang, glaube ich, gerade mal zwei Voucher verbraucht. Das braucht heute wirklich keiner mehr.

Hatte mir deswegen einen Mini PC von Lenovo gekauft und gedacht

Es wäre vielleicht sinnvoller gewesen, sich erst Gedanken über die Verwendung zu machen. Router in einer VM kann man machen, aber mit einem einzigen Netzwerkinterface ist man auf VLANs mit entsprechenden Switch angewiesen und muss dann mit den sich daraus ergebenden Einschränkungen leben.[/b]

[alfred_e1]

meyergru, ich meinte es nicht böse oder irgendwie verletzend. Bin dir/euch dankbar für die Hilfe und Aufklärung. Trotz der vielen Fachbergriffe. Bin nur Laie.

Ich habe meine FB direkt per LAN an mein Stromnetz angeschlossen (DLAN). Über die DLAN Wifi Würfel bekomme ich dann mein WLAN. Nur das Telelfon geht direkt von der FB ab. Wenn ich jetzt die OPNSense zwischen die FB und meinen Schaltschrank mit DLAN hänge, dann ist doch auch das WLAN hinter der Firewall, oder sehe ich das falsch?

Sonnige Grüße

[alfred_e1]

Code Select Expand

Es wäre vielleicht sinnvoller gewesen, sich erst Gedanken über die Verwendung zu machen. Router in einer VM kann man machen, aber mit einem einzigen Netzwerkinterface ist man auf VLANs mit entsprechenden Switch angewiesen und muss dann mit den sich daraus ergebenden Einschränkungen leben.[/b
Ursprünglich wollte ich nur ein Rasby als Bitcoin Node, das hat funktioniert. Danach habe ich gesehen das man einen Mini PC als Server betreiben kann mit Proxmox. Wolle ich ausprobieren und habe mir einen günstig geschossen. Danach kam ich erst auf die Idee mit der Firewall und da ich gerne was probiere habe ich mich daran gesetzt. Ich bin nicht der Typ der direkt, wenn was nicht klappt, die Flinte ins Korn wirft. Suche immer nach Möglichkeiten. Macht einen nicht dümmer. :-)

Sonnige Grüße