Probleme mit DMZ bzw. anderen Subnetze

[FirstSoul]

Moin.
Ich habe da ein Problem.

Meine OPNsense ist eine VM auf einem ESX mit 4 Netzwerkkarten (WAN, LAN, DMZ, Kids LAN), Diese sind per VLAN auf einem Netgear Switch getrennt. Das funktioniert auch.
Nun habe ich die Interfaces entsprechend eingerichtet mit eigenem Netz und eigenem DHCP Server.
Das funktioniert auch soweit...
Nun will ich aber, dass die Netze sich untereinander nicht sehen/finden, aber auch ins Internet. Und nun hört mein Verständis auf. (Ich komme aus der Sophos UTM welt und da war es... sagen wir... einfacher).

Bespiel:
Ich kann ein Gerät von der DMZ im LAN anpingen und umgekehrt. Aber das will ich verhindern. Ist ja logisch ;-)

Ich habe ein Alias erstellt indem alle Netze drin sind:
https://cloud.froechtenicht.de/index.php/s/EgdJjgYMMjekWJF

Nun habe ich auf jedem Interface folgende FW Regeln:

LAN:
https://cloud.froechtenicht.de/index.php/s/Daq4PxLqrqdWSzs

DMZ:
https://cloud.froechtenicht.de/index.php/s/yj4mB5et5SRQJ6W

Kids (nicht wundern, hier noch kein Internet, da noch der WebProxy kommt):
https://cloud.froechtenicht.de/index.php/s/X34Hr9czdiYWfW9

Hier noch ein Bild vom Ping Test:
https://cloud.froechtenicht.de/index.php/s/Y54BfHr6Z874qBY

Habt ihr eine Idee? Ich verzweifel langsam...

[JasMan]

Hi,

der Fehler liegt in den FW Regeln.

Du hast als erstes eine Allow Regel mit Destination alles ausser die lokalen Subnetze (!Local subnets). Das erlaubt den Clients den Zugriff auf das Internet.
Danach folgt eine Allow Regel mit Destination Any. Das erlaubt dann den Traffic zwischen den Subnetzen.

Entweder richtest Du explizit eine Deny-Regel für die Kommunikation von einem Subnetz zu den anderen ein, oder Du löscht einfach die letzte Regel. Dann zieht die Default-Deny Regel.
Alternativ kannst Du auch die erste Regel löschen und bei der zweiten Regel das WAN Gateway angeben. Dann wird nur der Traffic über das Gateway erlaubt.

Generell würde ich die Regeln etwas detaillierter konfigurieren, und so wenig wie möglich "Any" verwenden.
Ich habe z.B. einen Alias mit allen privaten IP Adressen (10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16) eingerichtet, und setze den in Regel für die Kommunikation in Richtung Internet als invertierte Destination (sprich alles außer den Netzen). Zusätzlich habe ich für jeden benötigten Dienst eine eigene Regel bzw. in einem Alias zusammen gefasst, und gebe noch die WAN Gateway Adresse mit:

Gruß
Jas

[FirstSoul]

Hi,

danke für die Tipps.

Entweder richtest Du explizit eine Deny-Regel für die Kommunikation von einem Subnetz zu den anderen ein

Habe ich gemacht. Geht nicht.

oder Du löscht einfach die letzte Regel. Dann zieht die Default-Deny Regel.

geht nicht.

Generell würde ich die Regeln etwas detaillierter konfigurieren, und so wenig wie möglich "Any" verwenden

Da es für einen Privathaushalt ist und keine Bank... Brauch ich das nicht. Ist mir zu aufwendig.

Irgendwie verstehe ich gerade nichts mehr...
Hat noch jemand eine Idee?
Das Diagnostic Tool von der OPNsense (also Ping) scheint alles durch zu jagen. In der Log wird alles geblockt, aber der Ping geht durch in dem Tool...

[JasMan]

Kannst Du mal einen Screenshot vom kompletten Regelwerk inkl. der Deny-Regel machen?

Der Ping geht durch und wird zeitgleich in den Firewall-Logs als "Blocked" gekennzeichnet?

Hast Du evtl. eine Flow-Regel angelegt, die noch auf allen Interfaces liegt und auf Allow steht?

[FirstSoul]

Du meinst einen Screenshot, wenn ich die Regel öffne?
Bleiben wir beim Beispiel LAN und DMZ.

https://cloud.froechtenicht.de/index.php/s/wLEbLTEzNQ4irmA
https://cloud.froechtenicht.de/index.php/s/2do6a22xEbjpWdb
https://cloud.froechtenicht.de/index.php/s/gSDTmstAwf28LGG
https://cloud.froechtenicht.de/index.php/s/wdADza6TgB6KFj4

Ist die Rule Order so korrekt?

Es wird nichts geloggt... Egal welche Richtung.

Floating ist leer und NetFlow ist aus.

[JasMan]

Du hast auf dem LAN Interface eine Regel, die der Source "LAN_net" alle Services zu allen Destinations erlaubt.
Die Regel matcht sobald Du von einem LAN Client z.B. einen Host in der DMZ anpingst. Danach wird die Regelverarbeitung abgebrochen, d.h. die Deny-Regel auf dem Interface "DMZ" kommt gar nicht mehr zum Einsatz.

Generell blockt man den Traffic da wo er entsteht. Wenn Du mit der Deny-Regel arbeiten willst, müsste die also auf dem LAN-Interface liegen. Und dann auch vor der Allow-Regel.

Aber eigentlich ist das gar nicht notwendig, denn die Default-Deny-Regel blockt den Verkehr zwischen den verschiedenen Subnetzen wenn dieser nicht durch eine vorherige Regel erlaubt wird.

Um den LAN Clients den Zugriff auf das Internet zu erlauben, und den Zugriff auf die DMZ zu verbieten müsste die Regel auf dem LAN Interface m. E. wie folgt aussehen:

Interface: LAN
Action: Allow
Source: LAN_net
Destination: !Local_Subnets

Weitere Regeln sind auf dem LAN Interface nicht notwendig. Deny-Regeln für Kommunikation vom LAN_net zur DMZ auf dem DMZ Interface kannst Du löschen.

EDIT: Ich hatte vorher auch die Sophos UTM, und das man bei der OPNsense Regel pro Interface anlegen kann war für mich auch gewöhnungsbedürftig. Ist aber eine coole Sache wenn man es einmal verstanden hat

[FirstSoul]

Danke für deine Mühe!. So Grundsätzlich habe ich das alles schon verstanden...
Aber es klappt nicht. So langsam habe ich das gefühl, dass etwas "kaputt" ist...
Egal wie und was ich einstelle. Keine Änderung.

So sieht es jetzt aus:
https://cloud.froechtenicht.de/index.php/s/j7WjFsMgtDzjfDP
https://cloud.froechtenicht.de/index.php/s/HDRzy4oGGigdBRB
https://cloud.froechtenicht.de/index.php/s/cyMnyoHEkXax3ra
https://cloud.froechtenicht.de/index.php/s/JsoF2Nd3nJRszrc

Ich starte die Kiste mal neu... Glaube aber nicht, dass es daran liegt.

Aktuell kann ich nur mit dem internen Pingtool von der OPNsense testen... Ich habe aktuell keinen Client in der DMZ. Ich mach hier gerade alles per VPN aus dem Hotel :-D

[JasMan]

Sieht eigentlich alles gut aus. Ich überlege gerade ob es eine Option gibt, die die Firewall Interfaces generell erlaubt, egal welche Regeln sonst existieren.

Was ist denn, wenn Du alle Regeln deaktivierst? Kommst Du dann noch raus ins Internet?

[FirstSoul]

Also wir können nun defintiv sagen, dass das Pingtool von der Sense nichts taugt.

Meine Freundin ist von der Nachtschicht gekommen und es geht nichts. Kein Internet keine Hue Steuerung nichts.
Also funktionieren die Regeln wie oben in meinen Screenshots... aber es geht nichts raus.

Habe jetzt auf dem LAN Interface nur die eine Regel "Default allow LAN to any rule" wieder aktiv, damit es läuft...

[ruffy91]

Im Regelwerk ist standardmässig eine "let out anything from firewall host itself" Regel drin.
Du kannst die effektive Regeltabelle unter "Firewall -> Diagnostics -> pfTop -> View Type: Label" ansehen.

Ein weiteres Goodie wenn du von Sophos UTM kommst:
Wenn du etwas an den Regeln änderst gilt dies immer nur für NEUE Verbindungen (auf der UTM ist es dasselbe).
Du hast aber im Gegensatz zur UTM die Möglichkeit die bestehende Verbindung manuell zu trennen! Gehe dazu auf "Firewall -> Diagnostics -> States Dump". Dort findest du dann die offene Verbindung und kannst sie killen. Sehr praktisch wenn man am Regelwerk bauen und testen ist.

[JasMan]

Im Regelwerk ist standardmässig eine "let out anything from firewall host itself" Regel drin.
Du kannst die effektive Regeltabelle unter "Firewall -> Diagnostics -> pfTop -> View Type: Label" ansehen.
...

Yep, das meinte ich. Danke.

Also wir können nun defintiv sagen, dass das Pingtool von der Sense nichts taugt.
...

Mit der o.g. Option sollte der Ping auch nicht mehr funktionieren.

...
Meine Freundin ist von der Nachtschicht gekommen und es geht nichts. Kein Internet keine Hue Steuerung nichts.
Also funktionieren die Regeln wie oben in meinen Screenshots... aber es geht nichts raus.

Habe jetzt auf dem LAN Interface nur die eine Regel "Default allow LAN to any rule" wieder aktiv, damit es läuft...

Das zeigt das die Regeln ziehen und im Standard alles geblockt wird. M.E. ist alles gut. Das Problem liegt im Regelwerk.

[JeGr]

> Also wir können nun defintiv sagen, dass das Pingtool von der Sense nichts taugt.

Vielleicht verstehst du auch nicht, was es tut? Es pingt eben VON der Sense nach irgendwo hin und legt dabei als Quelle das Interface an, was dem Ziel am nächsten ist. Pingst du von der Sense ins Internet, geht der Ping VOM WAN aus weg, außer du stellst explizit das LAN als Quelle ein. Man muss auch genau verstehen, was man misst/testet. Nicht das Tool ist kaputt, sondern der Test.

Am Einfachsten ist die Regelverarbeitung, wenn man auf Kniffe wie "!<alias>" verzichtet, denn das kann an anderen Stellen wieder seltsame Nebeneffekte haben. Im Prinzip ist es recht einfach, wenn man nur möchte, dass jedes lokale Netz, dass an der Sense anliegt ins Internet kommt:

1) Alias erstellen mit allen lokalen Netzen: exemplarisch 10.0.1.x, 10.0.2.x, 10.0.3.x (LAN1-3)
2) Auf jedem LAN1-3 Interface:
2a) erlaube ggf. hier dediziert noch Traffic von LANx nach LANy von gewissen Hosts/IPs oder generell
2b) erlaube vom LANx_net auf LANx_adresse Dienste wie DNS & NTP
2c) blocke Zugriff von LANx_net auf Destination "lokaleNetze"
3) erlaube alles (da vorher die anderen lokalen Netze geblockt wurden, ist "alles" jetzt quasi nur noch das Internet)

Das macht es einfacher und man kann auch mal testweise Regeln disablen um zu sehen was nicht läuft. Ggf. aber States clearen nicht vergessen, sonst wundert man sich warum etwas noch geht, was eigentlich verboten sein sollte.

[chemlud]

"Am Einfachsten ist die Regelverarbeitung, wenn man auf Kniffe wie "!<alias>" verzichtet, denn das kann an anderen Stellen wieder seltsame Nebeneffekte haben. "

Also zumindest bei der pfsense stirbt mir regelmäßig auf einer Installation die Auflösung der Aliases, mal nach 24 h, mal nach 2-3 Wochen und dann werden Regeln mit Aliases zu einem großen Problem. Nur als Hinweis... Warum die Aliases nicht mehr aufgelöst werden? Keine Ahnung! Irgendwann hatte ich mir mal einen Fehlerbericht dazu gegoogelt, war schon etwas älter und hatte sich nichts getan.

Die Aliases werden auch nicht mit TLS DNS aufgelöst (habe ich im Resolver konfiguriert), solange man unter "General" DNS Server gesetzt hat (Habe ich letzthin mit Wireshark auf dem WAN Interface gefunden).

[JeGr]

@chemlud: keine Ahnung was das jetzt genau mit dem anderen Thema zu tun hat, dass du zum einen Probleme mit pfSense und zum anderen mit Aliasen hast. Vielleicht mal meinen ganzen Satz lesen, der bezog sich auf das ! (also NOT) und Nutzung von !<IP> oder !<ALIAS>. Das hat jetzt schon mehrfach zu konfusen Regeln und seltsamen Seiteneffekten geführt, weil Regeln anders gegolten haben bzw. andere Inhalte hatte, als derjenige, der es konfigurierte erwartet hat.

Deshalb war mein Ratschlag, kein NOT(!) zu nutzen, sondern es plain & simple top down mit erlaube/blocke/erlaube zu regeln, dann ist die Reihenfolge klar und man wundert sich nicht, warum manches plötzlich trotzdem geht, was man nicht erwartet hat.

Edit: letzten Absatz gelöscht

[FirstSoul]

> Also wir können nun defintiv sagen, dass das Pingtool von der Sense nichts taugt.

Vielleicht verstehst du auch nicht, was es tut? Es pingt eben VON der Sense nach irgendwo hin und legt dabei als Quelle das Interface an, was dem Ziel am nächsten ist. Pingst du von der Sense ins Internet, geht der Ping VOM WAN aus weg, außer du stellst explizit das LAN als Quelle ein. Man muss auch genau verstehen, was man misst/testet. Nicht das Tool ist kaputt, sondern der Test.

Das will ich nicht ausschließen. Aber wenn ich bei "Source" DMZ angebe, dann gehe ich davon aus, dass der Ping in das LAN nicht funktioniert.
Ich nehme nun eine VM in der DMZ und ein Gerät im LAN zum testen... Dann kann ich sicher sein, dass es geht oder eben nicht.

Am Einfachsten ist die Regelverarbeitung, wenn man auf Kniffe wie "!<alias>" verzichtet, denn das kann an anderen Stellen wieder seltsame Nebeneffekte haben.

Und die Alternative? Alles einzeln Freigeben? Nein, danke. Ich bin keine Bank...

Im Prinzip ist es recht einfach, wenn man nur möchte, dass jedes lokale Netz, dass an der Sense anliegt ins Internet kommt:

1) Alias erstellen mit allen lokalen Netzen: exemplarisch 10.0.1.x, 10.0.2.x, 10.0.3.x (LAN1-3)
2) Auf jedem LAN1-3 Interface:
2a) erlaube ggf. hier dediziert noch Traffic von LANx nach LANy von gewissen Hosts/IPs oder generell
2b) erlaube vom LANx_net auf LANx_adresse Dienste wie DNS & NTP
2c) blocke Zugriff von LANx_net auf Destination "lokaleNetze"
3) erlaube alles (da vorher die anderen lokalen Netze geblockt wurden, ist "alles" jetzt quasi nur noch das Internet)

Das macht es einfacher und man kann auch mal testweise Regeln disablen um zu sehen was nicht läuft. Ggf. aber States clearen nicht vergessen, sonst wundert man sich warum etwas noch geht, was eigentlich verboten sein sollte.

Nun. Danke! Das habe ich nun getestet und...
es geht.
Regeln erstellt und dann einen Reset State ausgeführt. Nun kann ich keine Geräte in andere Netze mehr anpingen und komme trotzdem ins internet. Ich bekomme in der Live Log zwar Blocks von glaube ich meinem Amazon Echo angezeigt, der per 443 nach außen will. Das wird von der Default Deny Rule geblockt. Warum? Keine Ahnung.

Danke an alle für die Hilfe. Jetzt klappt es wie gewünscht.
Die Regel sieht nun auf jedem Interface so aus:

https://cloud.froechtenicht.de/index.php/s/JTmmkYXpXa98Gk2

In dem Alias "StandardServices" ist nun DNS, NTP, DHCP drin.

(bis auf OpenVPN, dass ist nur bei LAN).

Soweit okay? Was vergessen, besonders bei den StandardServices?

Danke!