Diverse Probleme mit NginX hinter OpnSense

[LotF]

Moin,
mir ist bekannt, dass dies ein häufigeres Thema ist. Ich habe bereits viel gelesen
unter anderem:
https://forum.opnsense.org/index.php?topic=8783.15

https://homenetworkguy.com/how-to/deploy-nginx-proxy-manager-in-dmz-with-opnsense/
Da ich nun wirklich sehr lange hin und her probiert habe und an keiner Stelle weiterkomme, denke ich, dass ich irgendwas übersehe und/oder einfach mehrere Dinge zusammen kommen.

Eigentlich eine simple Sache, welche vorher mit einem TP-Link Router funktionierte.
Ich habe einen Server mit der IP 192.168.10.20 als Alias "Homeserver" in OpnSense eingetragen. Auf dem Server habe ich einen Docker Container mit NginX mit eigenem Netzwerk und die Ports 443 und 80 auf 18443 und 1880 des Servers gemappt. Zudem habe ich eine Domain über duckdns. Diese und Subdomain (dabei spielt allerdings keine Rolle, was ich da genau eingebe, also ob eine in NginX "eingerichtete" oder auch frei erfundene) kann ich auch pingen und bekomme meine WAN IP angezeigt.
Ich hatte im TP-Link Router nur ein NAT Portforwarding von WAN 443/80 auf den Homeserver 18443/1880 und es funktionierte.
Das habe ich nun auch bei OpnSense probiert und scheitere bei NginX. Für 80/443 habe ich den Alias "PortsIncomingWebserver" und für 1880/18443 "PortsLokalWebserver" erstellt. Ein Portforward auf den Wirequard Container oder direkt Homeassistant funktioniert allerdings.
Ich habe folgende Probleme bei NginX:
1. in NginX unter SSL Certificate -> Test Server bekomme ich schonmal den Fehler "Communication with the API failed, is NPM running correctly?"
2. Wenn ich vom Rechner auf die subdomain für homeassistant gehe, bekomme ich immer in Firefox angezeigt, dass dem selbst signierten Zertifikat nicht vertraut wird. Ich kann da auch nicht "Risiko bekannt und akzeptieren" auswählen.
3. Wenn ich das SSL Zertifikat in NginX deaktiviere, bekomme ich "A potential DNS Rebind attack has been detected." Mir ist klar, dass das am Split DNS liegen muss. Ich habe probiert das wie im Tutorial vom homenetworkguy einzustellen. War dabei aber nicht erfolgreich.
4. Wenn ich es allerdings "Automatic outbound NAT for Reflection" und " Reflection for port forwards" aktiviere oder es über Mobilfunk von extern probiere bekomme ich auch ohne SSL Zert. ein "unable to connect".

Ich denke daher, dass ich sowohl Split DNS in meinem Netzwerk nicht richtig hinbekomme als auch das Portforwarding nicht richtig funktioniert. Insb. letzteres kann ich mir nicht erklären. Auch weil die Regel für Wireguard ja funktioniert, ich die einfach geklont und für NginX mit den Aliases angepasst habe. Ich scheine auch zu blöd zu sein den (live) logging zu lesen/filtern. Denn ich kann nichtmal sagen was passiert, wenn ich den Verbindungsversuch mache.

Wäre jemand so nett und das nochmal mit mir durchzunehmen? Würde mich wirklich freuen!

[micneu]

zeig doch mal einen screenshot deines portforward für den nginx
- habe ich es richtig verstanden, es geht nicht um den nginx den man auf der sense nutzen kann
- ich denke es kann auch nicht schaden mal einen grafischen netzwerkplan, denn ab und an hatte ich einen knoten im kopf

[LotF]

Danke für deine Antwort!

Die Einstellungen mal in Abbildung anbei. Es geht nicht um NginX auf der OpnSense, sondern auf dem Heimserver.

Netzwerkplan ist Simpel: Internet -> FritzBox (bridgeMode) -> OpnSense -> Managed TP-Link Omada Switch -> Heimserver (Docker mit NginX)

Es läuft alles noch in einem LAN 192.168.10.xx, kein DMZ o.ä., um vLANs wollte ich mich eigentlich gestern kümmern, aber wenn es so schon nicht läuft...

[LotF]

Und noch die Split DNS Overrides, da das ja auch Probleme im LAN macht:

[lfirewall1243]

Kann es sein, dass dein nginx die Ports wieder umschreibt?

Also deine Anfragen kommen am Heimserver an, dieser sagt dem Client aber, dass er nicht auf Port 80/443 Antworten soll, sondern 1880/18443.

[LotF]

Das würde mich wundern, weil die Konfiguration genauso mit dem anderen Router geklappt hat. Auf der anderen Seite wundert mich auch gar nichts mehr...
Ausschließen möchte ich es nicht, vielleicht hat der TP-Link Router, mit dem es klappte, da dann irgendwas anders gemacht. Ich versuche nochmal dieses Livelog in OPNSense.

Ansich sollte das nur ein "schnelles" Setup sein, damit Smarthome und Sprachsteuerung wieder funktioniert. Ich wollte mich eigentlich noch einlesen, wie ich die Docker Apps in Netzwerke aufteile. Also eigentlich müsste man NginX ja mit Docker MACVlan (?) in ein Vlan/eine DMZ packen können. Ich habe aber noch nicht verstanden welche Apps besser als bridge oder host laufen (oder laufen müssen) und ob Adquard Home dann auch am besten als MacVlan konfiguriert wird.

Denn ansich müsste ich die ganze Konfiguration dann sowieso nochmal ändern. Es müsste ja aber gerade so "simpel" ohne Probleme laufen.

[LotF]

Okay. Ich bin heute Abend weiter gekommen:
1. Es lag wohl überhaupt nicht an OpnSense, sondern meine (zuvor funktionierende!) NginX hat im Unraid Docker Log einen Datenbank Fehler angezeigt:

Error: Command failed: logrotate /etc/logrotate.d/nginx-proxy-manager

Woher der Fehler kommt weiß ich nicht. Websuchergebnisse waren eher älter, sodass ich mir darauf keinen guten Reim machen kann.
Wie dem auch sei, ich habe daraufhin NginX neu installiert. Start war dann ohne Fehler im Log und die Weiterleitung hat funktioniert.

2. Allerdings habe ich bis zu dem Punkt in OpnSense doch etwas an der NAT Regel verändert: Ich habe zwei erstellt und nicht mit Alias für die Ports gearbeitet. Ich habe danach nochmal probiert Aliases zu nutzen, das war dann aber direkt wieder nicht erfolgreich. Ggf. liegt es da dann aber auch einfach daran, dass ich ja unterschiedliche Ports verwende und nicht dieselben mappe? Ich meine, wie soll Opnsense auch die Zuordnung von einer Gruppe von Ports kennen. Das Problem ergibt in meinem Kopf schon Sinn und mit zwei Regeln für Http und https auf 1880 und 18443 funktioniert es jetzt - erstmal.

3. Was noch nicht funktioniert der Split DNS Override Part aus dem Lan. Davon hatte ich ja auch einen Screenshot gemacht und da es hierfür nicht viele Einstellungen gibt: Was kann man da denn noch falsch machen?

[TimoB]

Moin LotF,

ich hab bei mir ein ähnliches setup.
nginx auf nem Proxmox, Firewall läuft auf eigener Hardware.

Hab das System erst diese Woche aufgesetzt, bin blutiger Anfänger...

Ich benötige das interne Erreichen meiner externen Domain ;-)

Ich habe 2 Zugänge zum ngingx:  prx.MEINEDOMAIN.de und dyn.MEINEDOMAIN.de

Mit folgenden Einstellungen (und einer korrekten Portweiterleitung) komme ich von innen wie von außen korrekt auf die Domains: