OPNsense Forum

International Forums => German - Deutsch => Topic started by: fellpower on November 14, 2021, 08:57:36 am

Title: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 14, 2021, 08:57:36 am
Moin Leute

Ich habe eine Dedi Server, auf dem Proxmox läuft als Virtualisierer - um dann VMs zu starten (Gameserver).
Angelehnt habe ich mich an Dennis´ Vorschlag, hier zu finden: https://schroederdennis.de/allgemein/proxmox-auf-rootserver-mit-nur-1-public-ip-addresse-pfsense-nat/

Ist zwar für PFSense - aber wir wissen ja, woher OPNSense kommt ;)

Ich nutze den Prox also nur als Entry und VM System, der Traffic wird per NAT komplett auf die OPNsense (in einer VM) geleitet und die managed dann den Verkehr und das VM Netz.

Leider habe ich massivste Probleme damit, die VMs ins Internet zu bringen. Ich weiß einfach nicht mehr weiter. Eine Debian VM kann ins Internet, die Win2k19 absolut problemlos, die 2. Debian VM gar nicht.

Alle gleich konfiguriert (andere IPs natürlich) - und trotzdem hat die eine VM Internet Zugang, die anderen nicht.
Aktuell habe ich eine weitere Debian VM aufgesetzt, ihr ne fixe IP aus dem Adresspool des lokalen Netzes gegeben (192.168.1.x) - und die geht auch online - aber nur für 2min, danach ist das Netz wieder weg.

Raus dürfen die VMs ja eh erstmal, ohne Regeln - also wo liegt das Problem?

Starte ich die Services der OPNsense neu (auf der console mit Option 11) - dann funktioniert es kurz, aber nach einigen Minuten ist das Internet wieder weg.

Lokal anpingen kann ich alle VMs untereinander, also das interne VM Netz funktioniert.

Ich habe die Sense schon neu installiert, mit komplett neuer Conf, also nicht die alte übernommen - sie macht die gleichen Probleme.

Habt ihr ne Idee, wo ich ansetzen kann?

EDIT: Ich habe gerade noch einmal gepingt im lokalen Netz. Ich kann alle erreichen. Pinge ich jedoch extern auf zb google.de, bekomme ich keine Antwort. Auch wenn ich googles ip / DNS nehme, bekomme ich nix zurück.

In der resolv.conf ist alles so eingetragen, wie bei der VM, die funktioniert - aber es sieht nach einem DNS Problem aus. Oder irre ich mich da?

Chris

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: micneu on November 14, 2021, 02:02:06 pm
ich habe noch nicht verstanden wie die sense ins internet kommt, nutzt du ein modem?
- bitte mal einen grafischen netzwerkplan
- bitte mal einen screenshot deiner WAN konfig
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 14, 2021, 06:24:28 pm
Moin

Anbei mal ein Screen vom Aufbau.

Mein WAN Conf siehst du damit auch.

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: micneu on November 14, 2021, 07:33:08 pm
ok, hat die dein provider gesagt das du die 10.0.0.1 als gateway nehmen sollst
geht ping von der sense aus (stabil)
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 14, 2021, 08:00:56 pm
Nö, den DNAT Tunnel hab ich selbst festgelegt. Und die öffentliche IP kommt da rein, wo public IP steht. (Oben links)

Das GW ist 10.0.0.1, weil es das andere Ende vom NAT ist, in Richtung Internet. Macht der Prox dann. Der hat das öffentliche GW vom Serverhoster ^^
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: drh8ball on November 17, 2021, 11:34:14 pm
Nimm mal im Proxmox von der vmbr2 die IP-Adresse weg. Bridges brauchen keine Adressen, und wenn du der Bridge die 192.168.1.1 gibst, kannst du in der Opnsense für LAN nicht auch die 192.168.1.1 vergeben.

Also, in Proxmox die IP der vmbr2 entfernen, und bei der Opnsense auf LAN die IP behalten. Dann sollte wenigstens mal das gelöst sein.
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 03:33:54 am
Nimm mal im Proxmox von der vmbr2 die IP-Adresse weg. Bridges brauchen keine Adressen, und wenn du der Bridge die 192.168.1.1 gibst, kannst du in der Opnsense für LAN nicht auch die 192.168.1.1 vergeben.

Also, in Proxmox die IP der vmbr2 entfernen, und bei der Opnsense auf LAN die IP behalten. Dann sollte wenigstens mal das gelöst sein.

Vielen Dank für den Hinweis. Jedoch ändert dies nix am Problem. Und die Sense hat die 192.168.1.1 - egal ob vmbr2 die hat, oder nicht.
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 10:39:13 am
Nimm mal im Proxmox von der vmbr2 die IP-Adresse weg. Bridges brauchen keine Adressen, und wenn du der Bridge die 192.168.1.1 gibst, kannst du in der Opnsense für LAN nicht auch die 192.168.1.1 vergeben.

Also, in Proxmox die IP der vmbr2 entfernen, und bei der Opnsense auf LAN die IP behalten. Dann sollte wenigstens mal das gelöst sein.

Vielen Dank für den Hinweis. Jedoch ändert dies nix am Problem. Und die Sense hat die 192.168.1.1 - egal ob vmbr2 die hat, oder nicht.

Klar, kannst ja Adressen auch doppelt vergeben, aber technisch ist es möglich verschiedenen Geräten gleiche Adressen zu geben.

Kannst du einen Ping von der 10.0.0.2 auf die 10.0.0.1 absetzen?
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 06:00:40 pm
Nimm mal im Proxmox von der vmbr2 die IP-Adresse weg. Bridges brauchen keine Adressen, und wenn du der Bridge die 192.168.1.1 gibst, kannst du in der Opnsense für LAN nicht auch die 192.168.1.1 vergeben.

Also, in Proxmox die IP der vmbr2 entfernen, und bei der Opnsense auf LAN die IP behalten. Dann sollte wenigstens mal das gelöst sein.

Vielen Dank für den Hinweis. Jedoch ändert dies nix am Problem. Und die Sense hat die 192.168.1.1 - egal ob vmbr2 die hat, oder nicht.

Klar, kannst ja Adressen auch doppelt vergeben, aber technisch ist es möglich verschiedenen Geräten gleiche Adressen zu geben.

Kannst du einen Ping von der 10.0.0.2 auf die 10.0.0.1 absetzen?

Ping geht natürlich. Da liegt auch nicht das Problem. IPs bei allen vmbr rausgenommen, gleiches Problem.
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 06:02:08 pm
Nimm mal im Proxmox von der vmbr2 die IP-Adresse weg. Bridges brauchen keine Adressen, und wenn du der Bridge die 192.168.1.1 gibst, kannst du in der Opnsense für LAN nicht auch die 192.168.1.1 vergeben.

Also, in Proxmox die IP der vmbr2 entfernen, und bei der Opnsense auf LAN die IP behalten. Dann sollte wenigstens mal das gelöst sein.

Vielen Dank für den Hinweis. Jedoch ändert dies nix am Problem. Und die Sense hat die 192.168.1.1 - egal ob vmbr2 die hat, oder nicht.

Klar, kannst ja Adressen auch doppelt vergeben, aber technisch ist es möglich verschiedenen Geräten gleiche Adressen zu geben.

Kannst du einen Ping von der 10.0.0.2 auf die 10.0.0.1 absetzen?

Ping geht natürlich. Da liegt auch nicht das Problem. IPs bei allen vmbr rausgenommen, gleiches Problem.
Dann ist die Verbindung schonmal da.

Folgende Dinge.
Was hast du im Outbound NAT der OPNsense hinterlegt.
Was sagt ein tracert auf die 1.1.1.1?

Gesendet von meinem M2012K11AG mit Tapatalk

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 06:59:27 pm
NAT wird vom Proxmox Host gelöst. Alles kann rein, alles kann raus. Maskiert.

Für die Sense ist es so, als hänge sie direkt an der öffentlichen IP.

traceroute zu 1.1.1.1 ist einfach vom client

1. 192.168.1.1 (OPNSense LAN)
2. 10.0.0.1 (Tunnel zum Proxmox)
3. öffentliche IP
4 andere HOPS
.
.
.
9. 1.1.1.1 mit 5ms

Da ist nix zwischen, was Probleme macht. Dies ist der debian VM Client, bei dem es geht.

Bei JEDER neuen LINUX VM, KOMPLETT GLEICH konfiguriert (nur ne andere fixe IP halt) - sieht traceroute so aus:
1. 192.168.1.1 (OPNSense LAN)
*
*
*
*
Nix - es geht also nix durch den Tunnel. Mach ich Option 11 (Reloaad all services) auf der Sense, tract der vorher nicht funktionierden Client genauso, wie der erste - der funktioniert.

Also macht die Sense hier wat falsch - und ich weiß nicht was

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 07:03:30 pm
NAT wird vom Proxmox Host gelöst. Alles kann rein, alles kann raus. Maskiert.

Für die Sense ist es so, als hänge sie direkt an der öffentlichen IP.

traceroute zu 1.1.1.1 ist einfach vom client

1. 192.168.1.1 (OPNSense LAN)
2. 10.0.0.1 (Tunnel zum Proxmox)
3. öffentliche IP
4 andere HOPS
.
.
.
9. 1.1.1.1 mit 5ms

Da ist nix zwischen, was Probleme macht. Dies ist der debian VM Client, bei dem es geht.

Bei JEDER neuen LINUX VM, KOMPLETT GLEICH konfiguriert (nur ne andere fixe IP halt) - sieht traceroute so aus:
1. 192.168.1.1 (OPNSense LAN)
*
*
*
*
Nix - es geht also nix durch den Tunnel. Mach ich Option 11 (Reloaad all services) auf der Sense, tract der vorher nicht funktionierden Client genauso, wie der erste - der funktioniert.

Also macht die Sense hier wat falsch - und ich weiß nicht was

Und dann geht es auf einmal nicht mehr?
Oder gehen dann alle bestehenden, nur die neuen wieder nicht?

Welche Netzwerkkarte hast du für die OPNsense angelegt?


Gesendet von meinem M2012K11AG mit Tapatalk
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 07:11:23 pm
Würde folgendes mal versuchen.
1. Proxmox Firewall auf den beiden OPNsense Schnistellen deaktivieren

2. Hardware Offloading in der OPNsense deaktivieren

Gesendet von meinem M2012K11AG mit Tapatalk

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 07:13:31 pm
Würde folgendes mal versuchen.
1. Proxmox Firewall auf den beiden OPNsense Schnistellen deaktivieren

2. Hardware Offloading in der OPNsense deaktivieren

Gesendet von meinem M2012K11AG mit Tapatalk

1. ist sowieso aus, wegen Sense
2. Is eh schon aus

Und jetzt kommts, die VM, welche nicht ins Netz kam, hat jetzt Internet - aber ich habe NIX verändert.

Traceroute sieht so aus, wie bei der VM, die funktioniert.

Starte ich diese 2. VM jedoch neu, ist das Internet wieder weg.....
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 07:14:56 pm
Würde folgendes mal versuchen.
1. Proxmox Firewall auf den beiden OPNsense Schnistellen deaktivieren

2. Hardware Offloading in der OPNsense deaktivieren

Gesendet von meinem M2012K11AG mit Tapatalk

1. ist sowieso aus, wegen Sense
2. Is eh schon aus

Und jetzt kommts, die VM, welche nicht ins Netz kam, hat jetzt Internet - aber ich habe NIX verändert.

Traceroute sieht so aus, wie bei der VM, die funktioniert.

Starte ich diese 2. VM jedoch neu, ist das Internet wieder weg.....
Okay welche Art von virtueller Netzwerkkarte verwendest du für OPNsense, funktionierender und nicht funktionierender Client

Gesendet von meinem M2012K11AG mit Tapatalk

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 07:16:36 pm
NAT wird vom Proxmox Host gelöst. Alles kann rein, alles kann raus. Maskiert.

Für die Sense ist es so, als hänge sie direkt an der öffentlichen IP.

traceroute zu 1.1.1.1 ist einfach vom client

1. 192.168.1.1 (OPNSense LAN)
2. 10.0.0.1 (Tunnel zum Proxmox)
3. öffentliche IP
4 andere HOPS
.
.
.
9. 1.1.1.1 mit 5ms

Da ist nix zwischen, was Probleme macht. Dies ist der debian VM Client, bei dem es geht.

Bei JEDER neuen LINUX VM, KOMPLETT GLEICH konfiguriert (nur ne andere fixe IP halt) - sieht traceroute so aus:
1. 192.168.1.1 (OPNSense LAN)
*
*
*
*
Nix - es geht also nix durch den Tunnel. Mach ich Option 11 (Reloaad all services) auf der Sense, tract der vorher nicht funktionierden Client genauso, wie der erste - der funktioniert.

Also macht die Sense hier wat falsch - und ich weiß nicht was

Und dann geht es auf einmal nicht mehr?
Oder gehen dann alle bestehenden, nur die neuen wieder nicht?

Welche Netzwerkkarte hast du für die OPNsense angelegt?


Gesendet von meinem M2012K11AG mit Tapatalk

JEDE NEUE Linux VM geht nicht - egal, welche Distri. geht schon bei der Installation derer nicht. DHCP an - IP wird geholt - KEIN NETZ!

Static IP Conf - auch kein Netz.

Die Sense hat E1000 auf beiden Interfaces. Man sagte mir, die solle man nehmen. Aber auch den Wind kann ich dir aus den Segeln nehmen - mit jeder anderen NWk das gleiche Problem.
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 07:17:40 pm
Würde folgendes mal versuchen.
1. Proxmox Firewall auf den beiden OPNsense Schnistellen deaktivieren

2. Hardware Offloading in der OPNsense deaktivieren

Gesendet von meinem M2012K11AG mit Tapatalk

1. ist sowieso aus, wegen Sense
2. Is eh schon aus

Und jetzt kommts, die VM, welche nicht ins Netz kam, hat jetzt Internet - aber ich habe NIX verändert.

Traceroute sieht so aus, wie bei der VM, die funktioniert.

Starte ich diese 2. VM jedoch neu, ist das Internet wieder weg.....
Okay welche Art von virtueller Netzwerkkarte verwendest du für OPNsense, funktionierender und nicht funktionierender Client

Gesendet von meinem M2012K11AG mit Tapatalk

Sense E1000 beide
Clients Virtio
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 07:22:05 pm
Ich glaube ehrlich gesagt es ist ehr ein Proxmox Thema als ein OPNsense Thema, oder eine Kombi aus beidem.

Würde dort parallel im Forum mal schauen oder Nachfragen

Gesendet von meinem M2012K11AG mit Tapatalk

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 07:27:31 pm
Ich denke, der Fehler liegt bei der Sense - und darum bin ich hier.

ich möchte auch gern erklären, warum ich der Meinung bin.

1. SÄMTLICHE Windows VM laufen anstandslos. Was macht Windows anders? Somit ist das Setup funktional.
2. Eine meiner Debian VMs macht NULL PROBLEME - dort laufen sogar Server drauf, mit Port Forwarding, Rules usw. Absolut tadellos - auch nachm Reboot
3. Bei den neuen, nicht funktionierenden Linux VMs - endet der Hop beim traceroute bei der 192.168.1.1 (VM LAN Ip der Sense) - der Traffic kommt GAR NICHT bis zum Proxmox
4. Das Setup funktioniert ja tadellos - auch mit neuen VMs - wenn ich alle Services der Sense reloade....

Und nu?

Nicht lösbar? Jemand noch ne Idee?
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 07:38:11 pm
Wird im Live log irgendwas blockiert?


Falls nicht, dann würde ich an deiner Stelle hingehen, auf der LAN Schnistelle einen Paketmitschnitt machen.
Einmal beim funktionierenden Client, einmal beim nicht funktionierenden.
Das alles während du einen Ping ins Internet absetzt.

Dann Vergleichen wo dort ein Unterschied zu sehen ist.

Gesendet von meinem M2012K11AG mit Tapatalk

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 07:43:37 pm
Aber so oder so würden mich noch deine Einstellungen unter Outbound NAT Interessieren, oder habe ich die übersehen

Und nimm mal den Haken
"Block private Networks" raus
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 08:00:23 pm
Aber so oder so würden mich noch deine Einstellungen unter Outbound NAT Interessieren, oder habe ich die übersehen

Und nimm mal den Haken
"Block private Networks" raus

Outbound NAT ist auf Auto

Code: [Select]
Automatic outbound NAT rule generation
(no manual rules can be used)

Keine Rules angelegt

Block private aus aufm WAN? Aufm LAN ist es ja aus.

Im Livelog taucht der Traffic der clients, die nicht funktionieren nicht auf
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 08:02:32 pm
Aber so oder so würden mich noch deine Einstellungen unter Outbound NAT Interessieren, oder habe ich die übersehen

Und nimm mal den Haken
"Block private Networks" raus

Outbound NAT ist auf Auto

Code: [Select]
Automatic outbound NAT rule generation
(no manual rules can be used)

Keine Rules angelegt

Block private aus aufm WAN? Aufm LAN ist es ja aus.
Dann fehlt dort die Regel

Stell es mal auf hybrid und erstellt die Rule manuell.
Interface -.WAN
Source -.LAN
Map Address - WAN Address


Und ja, da du auf dem WAN eine Adresse aus dem privaten Adressbereich verwendest, muss der Haken raus

Gesendet von meinem M2012K11AG mit Tapatalk

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on November 18, 2021, 08:07:32 pm
Aber so oder so würden mich noch deine Einstellungen unter Outbound NAT Interessieren, oder habe ich die übersehen

Und nimm mal den Haken
"Block private Networks" raus
Quote
Dann fehlt dort die Regel

Stell es mal auf hybrid und erstellt die Rule manuell.
Interface -.WAN
Source -.LAN
Map Address - WAN Address


Und ja, da du auf dem WAN eine Adresse aus dem privaten Adressbereich verwendest, muss der Haken raus

Gesendet von meinem M2012K11AG mit Tapatalk

Kann ich mal machen, aber warum sollte ich dies genau machen? die anderen clients funktionieren ja. ich versuchs zu verstehen ;)
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on November 18, 2021, 08:09:16 pm
Aber so oder so würden mich noch deine Einstellungen unter Outbound NAT Interessieren, oder habe ich die übersehen

Und nimm mal den Haken
"Block private Networks" raus
Quote
Dann fehlt dort die Regel

Stell es mal auf hybrid und erstellt die Rule manuell.
Interface -.WAN
Source -.LAN
Map Address - WAN Address


Und ja, da du auf dem WAN eine Adresse aus dem privaten Adressbereich verwendest, muss der Haken raus

Gesendet von meinem M2012K11AG mit Tapatalk

Kann ich mal machen, aber warum sollte ich dies genau machen? die anderen clients funktionieren ja. ich versuchs zu verstehen ;)
Weil du so oder so auf dem WAN eine Outbound NAT Rule haben solltest, für NAT eben.

Und die Block Regel für private Adressen deaktivieren, macht in so fern Sinn, da sonst immer wieder Fehler auftreten, da unter Umständen irgendwelche Antwortpakete auf dem WAN blockiert werden.

Gesendet von meinem M2012K11AG mit Tapatalk

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: drh8ball on November 19, 2021, 11:02:21 pm
Wie ist der Stand hier? Irgendwie hat es mich gepackt das zu lösen :)
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: fellpower on December 15, 2021, 02:17:05 am
Gibt noch keine Neuigkeiten. Es funktioniert einfach nicht.

Sobald ich ne neue Vm aufmach, hat die kein Internet. Reloade ich die services auf der sense (option 11) gehts.

Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: lfirewall1243 on December 15, 2021, 08:08:36 am
Gibt noch keine Neuigkeiten. Es funktioniert einfach nicht.

Sobald ich ne neue Vm aufmach, hat die kein Internet. Reloade ich die services auf der sense (option 11) gehts.
Mittlerweile einen Paketmitschnitt gemacht wie oben beschrieben?
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: dc8wan on July 06, 2022, 09:53:53 pm
Auch wenn es vermutlich etwas zu spät ist.
Ich hatte auch das Problem, mit hat dieser Eintrag geholfen. <Link gelöscht weil fehlerhaft>
Title: Re: Große Probleme im Zusammenhang mit Proxmox - VMs haben kein Internet
Post by: MikeOFF on September 12, 2022, 02:10:25 pm
hallo setzt mal den hacken bei:
Code: [Select]
https://deineopnsense.com/ui/unbound/forward
Code: [Select]
Use System Nameservers