Hey Zusammen,
ich hab in der Vergangenheit ab und zu den Fall, dass das Internet hängt und aussetzer hat. Nach einem Neustart der opnsense vm in proxmox ging wieder alles reibungslos. Ein reiner Neustart in proxmox löst nicht das Speicherproblem. Nach einem Neustart verbaucht die opnsense ca. 5GB RAM. Jetzt ist es wieder soweit und laut proxmox ist der Speicher zu 95% belegt
Screenshot 2025-01-05 192258.png
In opnsense sieht es hingegen so aus. Mit etwas Recherche bin ich auf unbound gestoßen...
Screenshot 2025-01-05 192818.png
Screenshot 2025-01-05 192948.png
Wie kann ich das Problem beheben? Braucht ihr weitere Infos? Ich nutze auch PPPoE.
Installier mal das Plugin os-qemu-guest-agent, dann kann die OPNsense dem Proxmox auch mitteilen, was tatsächlich Sache ist.
Weshalb braucht die VM 24 GB? Wieviel hat der Proxmox-Host tatsächlich? 8 GB sollten für eine OPNsense-VM mehr als genug sein. Du siehst ja auch, dass die Prozesse in der OPNsense tatsächlich nicht einmal 1 GB brauchen.
Ich hatte anfangs auch weniger RAM zugeteilt. Ich hatte dann immer erweitert, als es ausgelastet war bis ich irgendwann skeptisch wurde. Habe das Plugin installiert, aber proxmox zeigt ca. 5GB nach dem Neustart an und opnsense 0,7GB. Es hilft auch nicht, wenn ich opnsense neu starte. Ich muss wirklich die vm in proxmox neustarten, damit der Speicher frei wird.
Proxmox zeigt den kompletten belegten Speicher an, darin ist u.a. auch der ARC-Cache enthalten, der den gesamten unbelegten FreeBSD-Speicher nutzt, wenn möglich. Das ändert sich übrigens mit os-qemu-guest-agent nicht.
OK, dass bedeutet der Speicherverbrauch wächst immer bis zum Maximum und ich kann es auf 8GB limitieren. So sieht es aktuell aus:
Screenshot 2025-01-05 204947.png
Die Frage ist dann aber wieso ich Verbindungsabbrüche mit dem Internet habe. Klar, es kann jetzt an vielen liegen. Gibt es eine Möglichkeit opnsense auszuschließen?
Was heißt denn, "das Internet hängt" genau?
Keine IPv6-Funktionalität mehr nach einiger Zeit?
P.S.: Dies (https://forum.opnsense.org/index.php?topic=44159.0) schon gelesen, speziell Punkt 8 des TL;DR?
Jedes moderne Betriebssytstem wird immer alles zur Verfügung stehende RAM, das nicht von Diensten benötigt wird, als Cache nutzen. Deshalb gibt es in VMs diese Ballooning Funktion - ich weiß aktuell nicht, wie es da mit dem Support in FreeBSD als Gast aussieht.
Aber 24 G Speicher für eine VM mit 1 G für Dienste ist auf jeden Fall Overkill. Und in einem Hypervisor ist ohne Ballooning zugewiesener Speicher halt erst einmal weg.
Auch kann es eine Überlegung sein, innerhalb einer VM nicht ZFS sondern UFS zu verwenden. Besonders, wenn man außerhalb der VM im Hypervisor schon ZFS für die Images benutzt und auf dieser Ebene Snapshots und Rollback machen kann.
Dass die guest-tools den ARC nicht korrekt wiedergeben, war mir auch neu. Danke, @meyergru.
Danke für die Tipps. Ich habe mir das mal Durchgelesen und bis auf Punkt 8 alles umgesetzt. Wären die Flags jetzt richtig?
Screenshot 2025-01-06 210929.png
Balloning habe ich jetzt auch deaktiviert
Screenshot 2025-01-06 211109.png
Das multicast snooping habe ich noch nicht deaktiviert, weil ich schauen will, ob ich das über eine Einstellung ändern kann, oder es in der Datei anpassen muss. Ich verwende (noch) kein IPv6 und daher ist es noch nicht so kritisch.
Das "Internet hängt" meine ich, dass Musik beim hören für paar Sekunden unterbrochen wird. Beim Hochladen von Anhängen z.B. hier, hatte ich einige mal Probleme. Gestern habe ich mit einer App Sport gemacht und diese hat mehrfach gemeldet, dass sie offline wäre. Kurz danach ging es wieder. Die Fälle sind jetzt extrem, weil es häufige Verbindungsabbrüche sind, aber in der Vergangenheit war das Internet manchmal langsamer. Hohe Latenz. Webseite reagierte manchmal etwas verzögert etc. Hatte AdGuard mal deaktiviert (ist als DNS konfiguriert), aber das hat nicht geholfen. Es könnte noch mein Hardware von unifi sei, oder opnsense. Da der Speicher bei opnsense immer voll lief, dachte ich, dass Problem könnte hier irgendwo liegen. Liegt wohl am balloning und zumindest bin ich auf dein HowTo aufmerksam geworden.
Ich bin ein großer Fan davon, einer virtualisierten OPNsense ein Netzwerk-Interface per PCIe-Passthrough durchzureichen. @meyergru hat da wohl stellenweise gegenteilige Erfahrungen gemacht, bei mir fluppte das bisher immer astrein. Ich hab hier aber auch ausschließlich "amtliche" Server-Hardware von Supermicro mit ECC, genügend PCI lanes, Xeon-CPUs und allem drum und dran im Einsatz.
Wenn dein Hypervisor-Host ein Interface frei hat (und das nicht von Realtek ist), dann kannst du da ja mal drüber nachdenken. Karte als PCI-Device in die VM rein mappen (kann Proxmox) und dann alle Interfaces als VLANs in der OPNsense anlegen und über den Switch wieder "ausfächern". Am besten zwei Interfaces: einmal WAN ohne VLANs, und einmal alle anderen als VLANs über den zweiten Port.
Ich meinte die Spectre- und Meltdown-Einstellungen unter OpnSense (https://docs.opnsense.org/troubleshooting/hardening.html).
Ja, man muss die Einstellung in der Konfigurationsdatei ändern, da hat die GUI keine Option für.
Temporäre Hänger gibt es häufig, wenn die MTU falsch gesetzt ist.
Hast Du schon mal nachgesehen, was der Proxmox Hypervisor macht, wenn das Internet hängt? Denn möglicherweise hängt der Hypervisor. Hypervisors reagieren z.B. gerne mal allergisch auf RAM Überallokation. Ich hatte auch mal ne Netzwerkkarte in einem Proxmox Server, die in zufälligen Abständen Link Down / Up Evens produziert hat.
In so einem Szenario hängen dann natürlich potentiell alle VMs und ggf. Container, aber das fällt vielleicht nur nicht auf.
P.S.: Brauchst Du wirklich das Firewall Gerödel von Proxmox zusätzlich zur OPNsense? Das würde ich sonst auch mal experimentell abschalten.