HAProxy vertauscht SSL-Zertifikate / Zuordnung ACME funktioniert nicht

[francesco_lo]

Hallo Zusammen,

ich habe ein komisches Verhalten meiner OPNSense in Verbindung mit HAProxy (als Reverse-Proxy) und ACME/LE-Zertifikaten.

Ich habe an meinem Anschluss eine öffentliche v4-WAN-IP, auf der ich verschiedene Webseiten/Dienste bereitstellen möchte. Grundsätzlich erstmal OWA (outlook.domain.de), welches ich mit dieser Anleitung eingerichtet habe https://www.frankysweb.de/exchange-2016-opnsense-haproxy-und-lets-encrypt/

Das hat auch so funktioniert - inkl. des automatischen Aktualsieren des Let's Encrypt-Zertifikates. Nun habe ich einen weiteren Service, welcher über eine andere (pb.domain.de) Subdomain zugreifen soll. Eigentlich kein Problem.. zusätzlichen Public Service in HAProxy eingerichtet und die Condition auf "Host matches" pb.domain.de eingestellt.

Zusätzlich dann noch mit ACME-Client ein zusätzliches SSL-Zertifikat (für die neue Subdomain pb.domain.de) angefragt, hat auch geklappt und dieses dann bei SSL-Offloading bei HAProxy/Public Services hinterlegt.

Nach einem Neustart vermischt er jetzt aber die SSL-Zertifikate. Das heißt wenn ich über outlook.domain.de zugreife, bekomme ich eine Zertifkatsfehlermeldung, weil OPNSense/HAProxy das falsche SSL-Zertifikat (nämlich das von pb.domain.de) weitergibt und umgekehrt.
Nach ein paar weiteren Restart's des HAProxy haben sich die Zertifkate teilweise random zwischen den Domains/Public Services gedreht.

Kennt jemand dieses Verhalten und kann mir sagen was falsch läuft?
Danke Euch vorab!

VG
Frank

[francesco_lo]

*** EDIT ***
Hier ein älterer Post von jemandem, der ein gleiches/ähnliches Problem hat
https://forum.opnsense.org/index.php?topic=16149.msg174856

Leider gab es auf den Post bzw. auf meine Nachfrage keine Antwort.

[meyergru]

Hast Du diese Anleitung befolgt: https://forum.opnsense.org/index.php?topic=23339.0 ?

Man kann bei der händischen Einrichtung von HAproxy schon mal Fehler machen, die o.a. Anleitung macht es ziemlich einfach, wenn es einmal funktioniert. Zum Hinzufügen weiterer Hosts reicht dann das Zertifikat hinzuzufügen, ein Backend zu definieren und den Eintrag in die Map aufzunehmen. Das Nette dabei ist, dass man die Zertifikate gar nicht vertauschen kann, weil es nur eins gibt...

[francesco_lo]

Hi meyergru,

Danke für den Link - die Anleitung sieht soweit eigentlich auch gut aus, nur wird hier nur ein LE-Zertifikat verwendet (mit allen Domains).. das funktioniert bei mir schon so auch. 

Nur ich will nicht, dass jeder im Zertifikat sehen kann, welche Domains bei mir alles gehostet sind. Und da es ja die Zertifikatsauswahl gibt, würde ich sagen muss das doch auch ordentlich funktionieren. Ich kann den Fehler sogar auf einer anderen OPNSense reproduzieren.

Hier mal das genaue Problem: Die beiden Zertifikate wurden erfolgreich durch ACME angefragt und sind soweit auch ordentlich hinterlegt:


Es sind diese Public Services eingerichtet:


Die Zuordnung für Exchange ist das Exchange-LE-Zertifikat hinterlegt


.. und für Passbolt ist das pb-Zertifikat hinterlegt


Und die beiden Zertikate (obwohl eigentlich eindeutig) würfelt die OPNSense bzw. HAProxy nach (fast) jedem Reboot quer durcheinander. 

[meyergru]

Ich kann das Argument mit den Zertifikaten aus Sicherheitsgründen nachvollziehen - allerdings gibt es da einen Trick. Ich hatte das im HAproxy Thread mal gefragt und eine gute Antwort erhalten:

https://forum.opnsense.org/index.php?topic=23339.msg158752#msg158752

Natürlich löst das nicht das Problem, dass alle Zertifikate sichtbar werden, wenn eins passt... gegen einen simplen IP-Scan hilft es aber.

Was Dein Problem angeht: Ich glaube, das ist so wie bei mehreren virtuellen Hosts auf einer IP: Die Reihenfolge ist zunächst mal zufällig. Soweit ich es in Erinnerung habe, wird das Mapping in der Anleitung alleine durch die Hostnamen gemacht. In Teil 8 der Anleitung gibt es eine Möglichkeit, auch für die Zertifikate eine "Weiche" zu bauen.

Wenn man es so machen will wie Du, müsstest Du in die erzeugte HAproxy-Konfiguration schauen, welches Attribut die diskriminierende Wirkund hat (das Zertifikat ist es definitiv nicht, das wird dann erst präsentiert, wenn anhand des Host-Headers eine Selektion vorgenommen wurde). Ich sehe in Deinen Definitionen nirgends den Domainnamen auftauchen - so kann das nicht klappen.

In einer händisch konfigurierten haproxy.cfg sieht das so aus:

backend xyz.halali.com
       http-send-name-header Host
       server ....

Wenn Du also ohne map-file arbeitest, müsstest Du vermutlich den Domainnamen in das Feld "Name" eintragen (ist nur geraten, nicht probiert). Ich kann aber definitiv sagen: Die Selektion, wie im o.a. Thread beschrieben, funktioniert 1A, auch mit vielen URLs...

[francesco_lo]

Danke für den Input - das mit dem Default-Zertifikat bei direktem IP-Zugriff werde ich auf jeden Fall einbauen, denke das ist ne gute Sache. 

Die Zuordnung wird bei mir unter Rules & Checks -> Conditions gemacht.. und zwar mit dem Hostname


Über die Rules wird es dann einem Backend zugeordnet


Das funktioniert auch alles tadellos - also die Zuordnung (Sub)Domain zu der richtigen VM das funktioniert immer. Nur gibt der HAProxy bzw. OPNSense die Zertifikate (SSL-Offloading) per Zufallsprinzip raus, und das führt dann natürlich zu Problemen. 

[meyergru]

Der Unterschied zu meiner Konfiguration ist, dass ich für HTTPS nur ein Frontend habe, in dem alle Zertifikate (und ein Fake-Zertifikat) drinstehen. Dann unterscheidet HAproxy anhand des Host-Headers, welches vorgelegt wird. Bei Dir sind es mehrere Frontends. Ich vermute, dass der interne Ablauf dann die Vorlage des Zertifikats schon zu früh erfordert, nämlich, bevor ein Frontend ausgewählt wird. Und das entscheidet dann erst über das benötigte Zertifikat.

Selbst, wenn Du nur jeweils "das richtige" Zertifikat vorlegen willst, funktioniert der Ansatz aus der Anleitung, weil Du beliebig viele Zertifikate in ein Frontend stecken kannst.

Die Verzweigung wird dann im zweiten Schritt über das Map-File gemacht.

[francesco_lo]

OK ich werde es nochmal versuchen - Danke für die Rückmeldung