[gelöst] Probleme mit dem VPN-Router

[kosta]

Hallo,

ich habe heute versucht unseren 2. Router ins Netz zu hängen.

Lt. Skizze ist es so:
Produktivnetz 10.150.32.0/24, GW .254
192.168.31.254 als Gateway ("WAN") für VPN-Router. Dieser hat 192.168.31.129 wanseitig.
Lanseitig ist er wie auch OPNsense im 10.150.32.0/24 Netz, mit seiner IP 10.150.32.129.
Clients können ihm finden (ping).

So, aus meiner Sicht, eine statische Route am OPNsense müsste reichen, die besagt 10.157.10.0/24 via 10.150.32.129.
Dafür kann ich eben ein Gateway am ix0 erstellen, IP 10.150.32.129. Und die statische Route via dem Gateway routen.

Das Problem bei der Sache ist: OPNsense kennt "10.150.32.129" nicht, ping funkt nicht. Der Client schon und ping funkt.
Und da stehe ich bisschen auf der Leitung... die Sense müsste den Router doch via 10.150.32.129 finden können?
Getestet auf der Sophos, kann ich pingen.

So für die statischen Routen brauche ich den GW-Eintrag auf jeden Fall.

Das Problem scheint es zu sein, dass der VPN-Router via 10.150.32.129 nicht angesprochen werden kann.

Idee wo das Problem sein könnte?

[kosta]

So, heute der zweite Versuch. Tatsächlich lag es an der falschen Verkabelung - ich hatte einen Dreher in der Doku leider. Korrigiert und heute ging alles normal online - VPN-Router normal erreichbar, verbindet sich per VPN, und ich kann das ferne Netz erreichen.

Unsere Remote Server sind Citrix-basiert.
Man kommt auf die Citrix Anmeldeseite, man kann sich anmelden und Remote-Sitzung starten. Alles gut und flott.
Aber, die Sitzung ist extrem instabil.
Die Sitzung friert immer wieder (so etwa geht 20sek, friert 5 sekunden), insofern dass man nichts anklicken oder bewegen kann. Lokal ist alles gut (also friert nicht die Applikation, sondern wirklich die Sitzung).
Ich habe nen ping laufen lassen von der lokalen Maschine zum Remote Server - tadellos.
Genuaso wie auch Gateway Monitoring, keine Ausfälle.
Dann habe ich wieder unsere alte Sophos angehängt - stabil.

Die OPNsense ist erstmal ziemlich "offen" konfiguriert. Also eingehend sind alle LAN/VLAN Interfaces alles erlaubt und NAT ist default an WAN Address für jedes Interface, inkl. Interface für den VPN-Router.
Ich habe auch beachtet für Port 500 Static Port einzustellen (am Interface des VPN-Routers).
VPN-Router baut meines Wissens nach einen IPsec Tunnel auf.

Citrix Workspace ist bestimmt nicht die neueste Version, da wir aktuell eine bestimmte Version (hab jetzt den Rechner nicht vor mir) im Produktiveinsatz haben.

Habt ihr Idee woran das liegen könnte?

Wichtig ist mir dass ich sehe erstmal und recht zügig ob die wichtigsten Sachen gut und stabil funken, dann wird alles zugemacht und stufenweise erlaubt. Aktuell hängt wieder die Sophos dran, die OPNsense hänge ich aktuell nur zum konfigurieren an, dann wieder retour zur Sophos, da ich nächste Woche Urlaub habe, möchte ich keine fixe Umstellung vorher machen.

Ich habe für morgen ein Termin mit einer Support-Firma, aber schadet nicht hier auch zu fragen, was eure Ideen sind, falls welche?

[kosta]

Lösung:
"Bypass firewall rules for traffic on the same interface" anhaken.

[kosta]

Das Problem ist zurück. Der Haken hat damals scheinbar was bewirkt, aber aktuell bewirkt er nix.
Die Internet-Leitung sowie die VPN-Leitung des Cisco-Routers scheint stabil zu sein, kein einziger Ping-Aussetzer.
Jedoch Citrix geht so gut wie gar nicht. Geht vielleicht 2 Sekunden, und dann nix für 10 Sekunden usw.

Das einzige was ich gestern gemacht habe sind die IPSec Tunnels, das funktionierte noch gut, aber ich habe gestern die Citrix Anbindung nicht getestet.

Aktuell habe ich auf der OPNsense ausgehend aus allen LANs alles erlaubt. WAN eingehend nur die Firewall-IP, damit ich von außen auf das Management-Intf komme (vorübergehend bis sie in den Produktivbetrieb geht).

Schalte ich auf Sophos zurück, tadellos alles.
Verbinde ich mich mit Citrix direkt über Internet, also nicht durch den VPN-Router, ist auch stabil. NUR wenn man durch den Router geht, ist es instabil.

Bitte, hat jemand eine ähnliche Erfahrung oder habt ihr die kleinste Idee woran das liegen könnte?

[Patrick M. Hausen]

Hast Du mal tcpdump auf den relevanten Interfaces angeworfen und geguckt, was mit den Paketen passiert?

[kosta]

Noch nicht, ist der nächste to-do. Dann guck ich mal im WS. Zuerst muss ich alle Mitarbeiter auf die externe Anbindung umstellen, damit ich allgemein auf die Sense umschalten kann und in Ruhe troubleshooten. Da ich kein OK bekomme abends oder am WE zu arbeiten, muss ich das von 8-17h machen, und Wege finden wie ich die Mitarbeiter am wenigsten belaste.

[kosta]

Also gut, ich habe 3 interfaces ausgewertet. ix0 (LAN), igb0 (WAN) und ibg3 (Port für Cisco WAN).
Ich sag gleich im Vorhinein, bin kein WS Profi.
Ich habe versucht die Zeiten annährend zu stoppen, und mit Timestamps verglichen.
Der Ausfall kam bei ca. 09:00Sek, wiederbelebt gegen 00:19, also Dauer von ca. 10 Sekunden.

Was mir auffällt ist dass die Probleme mit TCP Retransmission zwischen OPNsense und Cisco passieren, zwischen Client und OPNsense ist alles gut. Aber vielleicht ist das normal und WS zeigt es nur so, weil es muss ja erstmal von PC -> OPNsense -> Cisco gehen?

Soll ich die ganzen Captures posten mit einem Passwort, kann ich nach Wunsch gerne per PM zukommen lassen. Würde ungern die ganzen Captures im Netz offen stellen.

[kosta]

Und noch ist mir aufgefallen dass am LAN Interface, trotz Allow All Rule, Pakete geblockt werden wenn der Citrix Ausfall passiert. Und zwar nur an dem Host mit Destination Citrix Server, wo ich mit Citrix verbunden bin.
Ist es nicht vielleicht was umgekehrtes? Firewall blockt die ungültigen Pakete oder so?

Und ich bin soweit ziemlich sicher dass es nicht Citrix und OPNsense Kombi ist, denn die Anbindung ohne VPN-Router (alternative Auth-Methode) geht tadellos.

[kosta]

Hier ist der ganze Log auf ix0 während des Freezes.
Freeze beginnt bei ca. Paket 235 and fängt sich wieder bei Paket 643.
https://pastebin.com/ka4HFaNq

source-ip ist der Rechner, dest-ip is server-ip in der Citrix session.

Ideen?

[kosta]

Die TCP Retransmissions haben es erklärt: es kam zum asynchronen Routing. Das Problem gab es bei Sophos nicht, wir wissen nicht warum, aber bei OPNsense tritt es auf.

Es passierte weil die Pakete die Richtung RZ gingen über OPNsense geführt wurden, aber auf dem Retourweg direkt zum Client gingen, die OPNsense bekam davon nichts. Irgendwie aufgrund von States kannte sich OPNsense nicht mehr aus, und die Situation kam zustande.
Die Lösung ist auf dem Client die statischen Routen für die Netze im RZ einzurichten.

Ist aber bei uns nicht einsetzbar, es sollte auf den Clients keine statischen Routen kommen, denn die Mitarbeiter gehen manchmal über einen Weg und manchmal über den anderen, und wenn man die statische Route setzt, geht der eine Weg nicht mehr...

Also ich verzweifel langsam, speziell deswegen, weil auf der Sophos alles netzwerktechnisch funkte. Wechselgründe waren andere.

Hat jemand Idee ob es möglich ist die Sache mit OPNsense alleine zu lösen?

[kosta]

Idee: macht es Sinn auf der OPNsense ein neues physikalisches Interface zu erstellen, mit der IP aus dem gleichen Netz wie LAN, also zB. 10.150.32.253/32 und dort den VPN-Router dranstöpseln? Damit würden die Retour-Pakete ja auf der Sense landen, oder?

[Patrick M. Hausen]

Du kannst keine zwei Interfaces im selben Subnet haben. Das verletzt alle Regeln, wie IP Routing funktioniert. Ja, man kann das irgendwie hin hacken, aber es macht keinen Spaß 

Ich guck mir Dein Setup nochmal an ... sorry, bin erst später in den Thread eingestiegen.

[kosta]

Das verletzt alle Regeln, wie IP Routing funktioniert

Zwei Gateways klar, aber warum nicht zwei Interfaces? Ist ja nur ein Port mit einer IP, die man sonst nirgendwo verwenden soll.

Danke, klar.

[FWStarter]

Ich würde an Deiner Stelle nicht auf der OPNsense messen sondern auf dem Switch das Port-Mirroring aktivieren und die Datenpakete eines Clients mittels Wireshark auswerten.
Das läßt sich binnen Sekunden feststellen über welchen Weg die Pakte gehen.
Handelt es sich um ein managebarer Switch?

[kosta]

Kann ich machen, aber ich denke erstmal die Ursache wurde gefunden, hier bedarf es aus meiner Sicht keine weiteren Messungen (die Zeit ist auch knapp, die Migration ist voll im Gange).
Fakt ist dass es am Routing liegt.

Ja, Switch ist L3, ist aber nicht aktiviert, da alles mit VLAN und via OPNsense gemacht wird. Sehe keinen Vorteil das Routing am Switch zu betreiben.