Messages

Aber dann kann man im 3. Oktet so schön Semantik ... *duck und wegrenn* :-)

Das mach ich mit den VLANs auch, geht trotzdem, hat man nur ein wenig mehr Planungsaufwand vorher ;)

D.h. wenn man die Möglichkeit des Login ohne 2FA aktiviert lässt, kann auch jeder andere Admin-Account diese einfach weg lassen.

Oh stimmt, bei Local wird das der Fall sein, da hast du recht. Ich war im Kopf von zweitem Provider via LDAP/Radius + TOTP ausgegangen, dann bleibt natürlich Lokal noch eine non-TOTP Option. Aber beides Lokal wird der non-TOTP natürlich alles zunichte machen. Damn, da sollte man für Local+TOTP sowas wie Group-Binding anlegen, dass man das an Hand der Gruppe ggf. erzwingen/selektieren kann.

Kollege hat zuhause auch überall /16. Er plant mit mehr als 256 IoT-Geraffel-Dingern pro VLAN. Jeder Lichtschalter, jeder Rolladen, jede Steckdose, ... großes Einfamilienhaus.

You do you, aber nope. Ich seh das aus IPv6 Sicht. VLANs als kleine Gruppen < 200 Geräte. Weil sonst mit einem falschen RA/IPv6 Call zu viele Devices auf einmal umfallen. Da kann man gern steckdosen, Licht und Rolläden machen, aber die bekommen trotzdem keine /16er :)
Vorher würde es mehr Sinn machen, die nach Typ in eigene VLANs zu packen und als IF Gruppe anzulegen und zu handeln. Aber hey, ich muss es nicht debuggen ;)

haben wir beide Systeme durch zwei DEC3852 ersetzt.

Ah also ein Cluster?

treten gravierende Routingprobleme auf

Habt ihr den alten Cluster auch noch am Start? Habt ihr die VIPs im Cluster neu konfiguriert? Andere VHID oder gleiche? Nutzt ein anderer Cluster ggf. die gleiche VHID der VIP? CARP/VRRP/HSRP und die zugehörige ID darf im gleichen Netzabschnitt nur EINMAL vergeben sein. Da hatten wir schon die tollsten Probleme, wenn die doppelt vergeben waren.

Ansonsten braucht es mehr Details, Logs etc.

Cheers

Klingt danach, als würde die Zeit ggf. nicht stimmen, dadurch ist der TOTP den die Firewall berechnet anders als der, den du mitgibst und damit falsch. Darum rät man nicht umsonst, einen Admin/Root Account zu machen mit "Brachialpasswort" (laaaange und komplex) und den im Tresor zu werfen, damit man einen Weg hat, der nicht an irgendwelchen Dependencies hängt um sich Notfalls einzuloggen.

Eventuell sind nach dem Update Crowdsec oder Zenarmor oder was anderes am Ausrasten, blockieren ggf. Verbindungen oder NTP und damit bekommst du keinen Zugriff. Das wäre zumindest eine Hypothese. Wenn du keinerlei andere Möglichkeit des Logins hast, wird das ggf. tricky.

Cheers

Es ist ein 16er Netz, also 10.20.0.0/16. Die IPs beginnnen ab 10.20.1.0/16. Nichts seltsames dabei glaub ich :)
Ich hab auch kein 24er Netz mehr.

Also ich fände /16 durchaus seltsam. Keins meiner VLANs hat ein /16, das wäre kompletter Overkill. Verstehe nach Lesen deine Interfaces und IP Ranges leider gar nicht. Mehrere VLANs aber dann /16 und irgendwas mit Sortingnetz als 3. Oktett? Klingt irgendwie nach selbstgebautem Problem mit dem IP Range und den Interfaces. Da ich dazu in keinem Post mehr Details finde, wäre da aber alles nur raten.

Hi,

Tests sollten eigentlich immer HINTER der Firewall durchgeführt werden. Die FW selbst ist nicht für Zugriff, Download etc. optimiert, sondern als Router, also schnellstmöglich Daten "drüber" zu schaufeln und nicht auf sich selbst. Darum finde ich checks, egal ob Speedtests oder iperf und Konsorten immer schwierig zu bewerten, wenn sie auf dem Gerät selbst gemacht werden. Das dürfte auch mit reinspielen, warum du da bei anderen Methoden unterschiedliche Ergebnisse bekommst - andere Optimierung. Das sagt aber per se noch nix über dein Problem mit Puffern aus.

Ich würde daher aus dem LAN und der DMZ jeweils mal Speedtests machen zu unterschiedlichen Zeiten und sehen, was da ankommt.
Persönlich hab ich als 2. Leitung auch ne Vodafone Kabelleitung, die aber von O2 vertrieben wird (ist aber VF drunter), die seit einigen Wochen auch täglich Probleme hat. Es geht in die Feiertagszeit und Kabel ist (zumindest bei uns) gnadenlos überprovisioniert und hat ständig Aussetzer und Kapazitätsengpässe. Darum würde mich das nicht wundern, wenn es überhaupt nicht an der Firewall, sondern an VF liegt, aber erst mal testen und dann noch mehr testen und dann sehen, obs daran liegt.

Cheers :)

Der Workaround ist, ausschließlich "Trap" zu verwenden, also auch in den DPD und weiteren Actions.

Workaround, OK. Aber das ist ja ne zentrale Komponente und das ist seit August offen und Ad hat trotz @ im Ticket nicht drauf reagiert. Tut sich da noch was, oder muss man das wieder als "Workaround vorhanden, muss man wissen" sich irgendwo ablegen, damit man bei Kunden das korrekt einrichtet? Das kann ja als Bugfix nicht so schwer sein zu checken, dass man auf dem Standby ist und dann "start" zu ignorieren weil "habe die VIP nicht". War vorher möglich, sollte jetzt auch so sein, oder? :)

Cheers

I have never encountered any compatibility problems with 10G DAC cables.

Sadly I have. Some switch manufacturers are pretty crazy these days with DAC compatibility. Ubiquiti is not one of them though, I got gifted 2 unused DACs from Netgear stuff someone threw away and those had no problem working within a Unifi switch and a OPNsense test hardware. But Unifi SFP(+)s are quite reasonable when it comes to pricing plus with their SFP programmer hardware it shouldn't be hard to make the necessary "changes" to a module to make it ... say more "appealing" to specific switch vendors if needed ;)

And yes, I almost had the same setup in my lab at one point, just with the older USW-8-Enterprise-PoE but the setup works. One SFP+ to the firewall one to another server (or switch - the 8-port aggregation is really cheap for that) and you're ready to play around with 10G LAN stuff.

Cheers

Dann hast du nicht gelesen was ich geschrieben habe. Ich mache für alles "LAN net", den Rest sehe ich als "Default Block" Verstöße und die fallen auf, weil es sie nicht geben dürfte. Weniger Logspam und Logs gehen nicht im Rauschen unter, weil dann NUR Sachen gegen Default Block laufen, die im Netz nichts zu suchen haben. Alle legitimen (LAN net) werden durch die eigenen Regeln geblockt. Dadurch einfacher filterbar. Das war nicht das was du schreibst, darum meine Erklärung :)

Vereinfachtes Beispiel in Grafik: Erlaube diverse ICMPs, rejecte alles interne + reservierte IPs, erlaube Rest aka Internet. Ja könnte man kombinieren, nein mache
ich nicht (sonst kann man das Loggen für die Rejects nicht einfach an/ausschalten) :) Wenn jetzt einer deiner genannten Fälle kommt: falsche Source IP weil Bot, manuell vergeben, APIPA o.ä. -> wäre sofort ersichtlich in Firewall Logs weil als default block auftauchend. Wird aber nicht mit Reject Regel verwechselt, bei der es um legitime Clients geht, die ggf. noch irgendwo hin wollen, wo sie jetzt nicht mehr dürfen, weil bspw. gerade Netztrennung noch frisch durchgeführt. Dadurch weniger Overhead/Logspam, weniger was der Admin durchsuchen muss. Und wenn ich das Log anmache wirds mit eigener ID geloggt und kann nicht mit "rogue Clients" verwechselt werden.

Macht am Ende jeder selbst so wie er möchte, ich habs nur erwähnen wollen, warum es IMHO Sinn macht, es so zu tun :)

Moin,

auch wenns schon etwas her ist:

Jedes vLAN Interface hat auf beiden Nodes eine Separate IP
Node1 10.x.x.251
Node2 10.x.x.252
CARP IP 10.x.x.1

Ist bei jedem Netz etwas anders da die Netze mal kleiner mal größer als /24 sind.

Ich würde bei CARP versuchen alle Netze gleich aufzusetzen. Also vllt. .1 als GW, .2/.3 als Nodes. Dann entfällt die Sucherei, welche IP in welchem Netz das jetzt ist und die Größe ist egal. Weniger fehleranfällig. Vor allem wäre das Arbeiten auf dem primary fix immer auf bspw. der .2.

Config sync getestet, und festgestellt das nicht alles übertragen wird. Einige Setting´s müssen manuell auf der Backup Node gemacht werden.
Ok nicht schön aber ist halt so.

Das ist aber korrekt. Vielleicht nicht ganz User-friendly aber Faustregel: alles was "Hardware" ist (also Interfaces, IF Gruppen, IP Konfiguration etc.) ist pro Node zu konfigurieren. Alles was Regelwerk, PF und Co. sowie diverse Services betrifft ist sync-bar. Aber besser nachschauen, ob der Service XY da nicht spezifische Einstellungen für hat oder eben nicht gesynct wird. Bei Zusatzpaketen ist das zB nicht immer der Fall.

Jetzt ist mir beim weiteren einrichten und nach 3 Monaten betrieb aufgefallen.
Wenn die Backup Node übernimmt, wird die Session Tabelle nicht mehr auf die Master Node übertragen.
Sie schaltet einfach zurück.
Und die Master Node blockt dann erst mal jeglichen Taffic da sie keine Sitzung dazu kennt.

Sync nicht korrekt konfiguriert? Auf dem Backup Node nicht den "General Settings" part ausgefüllt? Ohne wird kein State Sync zurück gemacht.

IPSec Tunnels die eingerichtet sind, werden sowohl auf der Master Node als auch auf der Backup Node aktiviert.

Wenn IPsec tatsächlich auf der VIP konfiguriert ist, wäre das ein Fehlverhalten. Wie ist IPsec eingerichtet? Mit der neuen Connections Methode oder eine alte Service-Konfiguration? Eventuell könnte das beim neuen Connections-Setup dann ein Fehler sein, müsste man einmal nachstellen.

Eventuell Verbanne ich die Subnet Routing Funktion ganz von der Firewall auf eine VM irgendwo

Das wäre tatsächlich bei einem Cluster praktischer. Nicht nur wegen der NAT Thematik, sondern auch wegen der Regelerstellung. Bei zwei Nodes auf Firewalls die aktiv sind, wäre es sonst fürs Routing sehr verwirrend, über welchen Node die IPs gehen und von der aktiven FW und Routing Node dann auf die passive kommen - ohne die Tailscale eigene IP zu nutzen - wäre dann ähnlich wie bei OpenVPN/WG Einwahl problematisch und bräuchte wieder einen NAT Workaround.
Darum wäre es vermutlich die geschickteste Idee die zusätzlich noch den Nutzen hätte, dass die Regeln einfacher und geschickter definiert werden können wenn man ein extra VLAN mit ein/zwei Tailscale Nodes dahinter macht (betrifft 1:1 auch das Netbird Setup BTW, funktioniert dort ja sehr ähnlich).

Als ich jetzt die Obigen HA Tests wieder gemacht hatte. War das verhalten extrem anders

Frage vorab: Hast du denn den Config Sync aktiv bzw. als Cronjob eingerichtet? Ansonsten WICHTIG: OPNsense macht KEINEN aktiven sofortigen Sync mehr. Seit längerem. Ich fände es zwar nach wie vor schön, wenn sie das als Option wieder einbauen würden, aber der Config Sync findet IMHO aktuell NICHT automatisch statt. Du brauchst also entweder nen zyklischen Cronjob der das übernimmt oder du musst manuell nach Änderungen wieder syncen, sonst passiert da nichts.

Dass dann im Betrieb die Firewalls auseinander driften in der Config und dann bei einem Failover sich vllt. sehr schräg verhalten ist leider dann kein Wunder. Das hat auch schon viele Kunden von uns getroffen, die von der Beschreibung "Sync" her einfach nicht erwarten, dass das was "Manuelles" ist oder man das nochmal extra als Cron einrichten muss, sondern dass Änderungen eben sofort gesynct und übertragen werden.

Ansonsten ist CARP/HA immer ein wenig komplex und durch die Beschreibung weiß ich jetzt spontan auch noch nicht alles, was schief gehen könnte, daher waren das nur die Punkte, die ich denke man recht schnell sehen kann. Ansonsten bräuchte man da mehr Details oder - wenn du eh schon drüber nachdenkst was anderes einzusetzen - wäre es vielleicht sinnvoll, das im Sinne von Support-Einkauf sich komplett anzusehen.

Cheers
\jegr

Für "allow" ja. Für "deny" nein. Du willst ja auch das gehackte System blocken, das mit einer falschen Absender-Adresse als Teil eines Botnets versucht, irgendeinen Dritten zu DDoSen.

Bisschen her aber: nein will ich nicht. Denn was ich nicht erlaube wird geblockt. Allows werden nur vom <IF_net> Alias erlaubt. Deny gibts auf LAN nicht, da arbeiten wir mit Reject denn da will man dem Client sofort Feedback geben damit er die Eingabe abbrechen kann und nicht auf Timeout wartet. Und geblockt werden da eh nur interne IPs (VLAN separieren), Firewall (hat außer Mgmt keiner was drauf zu suchen) und Blocklisten extern. Das muss ich dann ggf. auch nicht loggen. Soweit die eigenen Regeln also sauber das Netzalias verwenden wäre dein Beispiel mit irgendwelchen falsch-Absendern oder Bots -> gegen default block any und deshalb eh schon geblockt. Gibt keinen Grund die mit meiner eigenen Reject Regel zu loggen, denn die will ich (Blockliste bspw.) ja als Auswertung nehmen. Die Default Blocks fallen dadurch umso mehr auf, weil es keinen Grund geben dürfte, DASS es welche gibt ;) Das hatte also schon seinen Grund.

Cheers :)

Das war auch mein Gedanke. Wenn du was "erbst" und musst es schön machen, dann kann man das ja temporär erstmal irgendwo hochfahren, dass es wieder läuft. Und wenn der Kram schon in Proxmox ist oder war und sogar in Containerform (LXC) statt VM, dann kann man das recht unspektakulär wirklich in nem VPS aufsetzen. Hatte ich selbst für ne Übergangszeit laufen, das geht. Man muss dem Proxmox selbst nur ordentlich Routing aktivieren, dann kann der das an LXCs weitergeben. Und den Container kann ich dann schön via Proxmox Backup o.ä. dann final auf einen sauber aufgesetzten neuen Dedi (z.B.) packen und migrieren, DAS geht dann eben super fix. Hab das genauso für meine eigene Spielwiese gemacht, und das war an einem Samstag mittag mit DNS umstellen und Container migrieren erledigt.

Darum vllt. in dem Fall ein veritabler Workaround?

Cheers :)

Die OutboundNAT Regel dann auf das IPSec Interface oder WAN?

Meinem Verständnis nach outbound auf IPsec Interface, denn da geht der Traffic "raus" aus deinem Netz. Also Source dein internes LAN, Destination das Remote Netz und als Translation IP dann die bspw. .100.97/32 damit alles abgehend auf die IP umgeschrieben wird. Wenn kein eingehender Traffic geplant ist, sollte es das eigentlich tun.

Cheers

Klappt aber nicht. Muss die /32 IP zusätzlich als virtuelle IP auf das jeweilige Interface, falls ja welches?

Nein aber die 184 in eine zusätzliche Policy. Du definierst den Tunnel nicht mit Quelle 184.0/24 sondern mit der /32er IP weil sonst der Tunnel in P2 nicht hoch kommt. Du sagst ja dass nur das /28er erlaubt bzw. remote eingetragen ist. Dann muss das auch bei dir als lokal drinstehen. Dann muss es outbound NAT geben auf die /32er IP und das lokale Netz /24 muss dann als zusätzliche Security Policy für die Verbindung eingetragen werden, damit der IPsec Prozess die Pakete aufsammelt und übers VPN schickt.

Cheers