Show Posts
1
German - Deutsch / Traefik + OPNSense + LE SSL Certificate mit DNS Challenge Probleme
« on: January 19, 2023, 04:11:59 pm »
Hallo zusammen,
ich bin mir bei meinem Problem noch nicht 100% sicher, ob es wirklich die Opnsense ist, die meine Probleme verursacht, aber der Verdacht liegt schon sehr nahe. Kurz zu meinem Setup:
Ich habe hier zuhause ein Blech stehen, da ist Proxmox drauf und eine VM mit OPNSense, welche zentral bei mir ZUhause als Router, DNS Server und Firewall dient. Weiterhin habe ich auf eine VM mit einigen Docker Containern drauf und dann noch 3 VM's mit K3S (Kubernetes) drauf. Als LB für die VM's dient in der Opnsense das intsallierte HAPRoxy-Plugin.
Weiterhin läuft auf der Sense direkt Adguard auf Port 53, und der Unbound auf Port 5353, welcher dem Adguard als Upstream dient.
Bisher hatte ich mit dem Setup auch keine Probleme, DNS und Routing etc läuft wunderbar bis ich versucht habe Traefik in Kubernetes als Internal LB zu benutzen. Neben dem reinen LB soll Traefik für mich auch per DNS-Challenge (LE) das jeweilige SSL Certificate erstellen für einen angelegeten Service in Kubernetes. Und genau das will einfach nicht klappen. Der Traefik Pod haut mir immer folgende Fehlermeldung raus:
time="2023-01-15T21:46:56Z" level=error msg="Unable to obtain ACME certificate for domains \"<XXXX.me>\": unable to generate a certificate for the domains [XXXXX.me]: error: one or more domains had a problem:\n[XXXXXX.me] [XXXXXX.me] acme: error presenting token: cloudflare: could not find the start of authority for _acme-challenge.XXXXXXX.me.: read udp 10.42.2.44:43094->1.1.1.1:53: i/o timeout\n"
Er scheint bei Cloudflare den SOA Entry im DNS Server nicht zu finden. Um das zu prüfen habe ich einfahc ein
dig @1.1.1.1 SOA XXXX.me abgesetzt und bekomme auch ein Timeout.
Dann bin ich mal zu meinem Nachbarn rüber und habe dengleichen Befehl noch abgesetzt und ich bekam sofort den SOA Entry als Antwort zurück d.h. es kann nicht an der COnfig in Cloudflare etc. liegen m.E.
In der Opnsense habe ich die Firewall Rules geprüft und ich habe an dem Interface an dem auch die K3s-Kisten hängen eine Pass-Rule drin fürs komplette Internet (Alle Netzwerke, außer Private Netzwerksegmenente) und habe ich auch eine Pass-Rule an "This Firewall" an Port 53 für den lokalen DNS Server. Laut Firewall Log wird auch kein request durch die Firewall geblockt. Ich stehe wirklich vor einem Rätsel was mich da bremst? Das komische ist, der ACME-Client von OPNsense kann wunderbar per DNS-Challenge Zertifikate erzeugen. Also mein Provider oder ähnliches dürfte auch nicht der Grund sein.
Hat jemand eine Idee woran es noch liegen köännte?
Danke.
Wenn weitere Infos benötigt werden, reiche ich dir alle gerne nach.
ich bin mir bei meinem Problem noch nicht 100% sicher, ob es wirklich die Opnsense ist, die meine Probleme verursacht, aber der Verdacht liegt schon sehr nahe. Kurz zu meinem Setup:
Ich habe hier zuhause ein Blech stehen, da ist Proxmox drauf und eine VM mit OPNSense, welche zentral bei mir ZUhause als Router, DNS Server und Firewall dient. Weiterhin habe ich auf eine VM mit einigen Docker Containern drauf und dann noch 3 VM's mit K3S (Kubernetes) drauf. Als LB für die VM's dient in der Opnsense das intsallierte HAPRoxy-Plugin.
Weiterhin läuft auf der Sense direkt Adguard auf Port 53, und der Unbound auf Port 5353, welcher dem Adguard als Upstream dient.
Bisher hatte ich mit dem Setup auch keine Probleme, DNS und Routing etc läuft wunderbar bis ich versucht habe Traefik in Kubernetes als Internal LB zu benutzen. Neben dem reinen LB soll Traefik für mich auch per DNS-Challenge (LE) das jeweilige SSL Certificate erstellen für einen angelegeten Service in Kubernetes. Und genau das will einfach nicht klappen. Der Traefik Pod haut mir immer folgende Fehlermeldung raus:
time="2023-01-15T21:46:56Z" level=error msg="Unable to obtain ACME certificate for domains \"<XXXX.me>\": unable to generate a certificate for the domains [XXXXX.me]: error: one or more domains had a problem:\n[XXXXXX.me] [XXXXXX.me] acme: error presenting token: cloudflare: could not find the start of authority for _acme-challenge.XXXXXXX.me.: read udp 10.42.2.44:43094->1.1.1.1:53: i/o timeout\n"
Er scheint bei Cloudflare den SOA Entry im DNS Server nicht zu finden. Um das zu prüfen habe ich einfahc ein
dig @1.1.1.1 SOA XXXX.me abgesetzt und bekomme auch ein Timeout.
Dann bin ich mal zu meinem Nachbarn rüber und habe dengleichen Befehl noch abgesetzt und ich bekam sofort den SOA Entry als Antwort zurück d.h. es kann nicht an der COnfig in Cloudflare etc. liegen m.E.
In der Opnsense habe ich die Firewall Rules geprüft und ich habe an dem Interface an dem auch die K3s-Kisten hängen eine Pass-Rule drin fürs komplette Internet (Alle Netzwerke, außer Private Netzwerksegmenente) und habe ich auch eine Pass-Rule an "This Firewall" an Port 53 für den lokalen DNS Server. Laut Firewall Log wird auch kein request durch die Firewall geblockt. Ich stehe wirklich vor einem Rätsel was mich da bremst? Das komische ist, der ACME-Client von OPNsense kann wunderbar per DNS-Challenge Zertifikate erzeugen. Also mein Provider oder ähnliches dürfte auch nicht der Grund sein.
Hat jemand eine Idee woran es noch liegen köännte?
Danke.
Wenn weitere Infos benötigt werden, reiche ich dir alle gerne nach.