OPNsense 19.1.7: IPSEC Tunnel nicht "down" bei defekter Glasfaser (TX oder RX)

[linuxmail]

hi,

wir hatten gestern einen Ausfall bei der Verbindung zwischen zwei RZs, bei dem der RZ Betreiber versehentlich unsere Darkfiber in der Tür eingeklemmt hat. Das hatte zur Folge, dass wir ziemlich ins schwitzen kamen, bis die Ursache klar war.
Der Grund warum das Auffinden so lange gedauert hat war der, dass laut beiden OpenSense Clustern (19.1.7) das VPN wohl noch auf beiden Standorten "aktiv" war, aber es floss kein Verkehr durch.

Ich vermute, dass das Kabel nicht vollständig durchtrennt wurde, sondern nur soviel, dass entweder RX, oder TX kaputt war. Der Link muss also für die SFP+ (Single Mode 10km) noch "UP" gewesen sein.

Hat jemand schon einmal ein ähnliches Problem gehabt ?  Eigentlich hätte ich erwartet, dass IPSec Heartbeats sendet und beim Ausbleiben eben dieser die Verbindung beendet. Das hätte nämlich schneller  dafür gesorgt, dass Redis / MongoDB und Co darüber Bescheid gewusst und sich reorganisiert hätten. So waren wir gezwungen, am primären Standort den OpenSense Cluster zu rebooten. Erst ab diesem Moment als der OpnSense Cluster wieder da war, konnten wir einen Standort wieder in den regulären Betrieb versetzen.
Als der RZ Betreiber das Kabel ausgetauscht hatte, konnte auch der IPSec tunnel wieder in Betrieb genommen werden, um den zweiten Standort restaurieren.

Ich weiß von einem Kollegen, dass er ein ähnliches Phänomen hatte, aber mit einer Cisco :-)  Er hat darauf hin alle SFP+ Module ausgetauscht gegen welche, die nur eine "Faser" benötigen (also RX / TX  werden über Frequenzen verwaltet).

cu denny

[mimugmail]

Am besten geht das mit Switch dazwischen und BFD. Eventuell sollten wir uns das für FRR auch mal ansehen ...

[linuxmail]

hi,

BFD kannte ich noch garnicht. Zum Switch kann ich sagen: die Faser hängt an jeweils einem Ubiquity EdgeSwitch 16-XG.

cu denny

[mimugmail]

Bei den alten Catalysten gabs mal nen Vorreiter, hiess glaub ich UFD. Gehörte glaub ich zum spanning-tree Features Umfang. Mit den Ubiquity kenn ich mich nicht aus, ist das nicht consumer grade? Wär mir bisschen zu heikel für 10G DCI.

Schaut euch doch mal Mellanox an, die sind recht günstig, vor allem Garantieerweiterung etc., config identisch wie Cisco, gute UI und halbe HE, also einen HA Cluster auf einer HE

[linuxmail]

hi,

die Mellanox haben wir als 100Gb für Ceph Storage im Einsatz. Zwei von den 16XG haben nur drei Kabel: die Darkfiber und OpnSense1 und OpnSense2 :-)

Dummerweise müsste wir bei der Änderung der SFP+ Module auf ein Goodwill des RZs hoffen, wenn die Buchhaltung das OK gibt, denn dann könnten wir auf BiDi umrüsten.

Was ich noch von einem Ex-Kollegen als Tipp erhalten habe: UDLD auf Aggressiv schalten.  Das müssten wir mal probieren.

[mimugmail]

Ja genau, UDLD war das buzzword .. guter Tipp vom Ex-Kollegen