Messages

Moment: Ist doch Glasfaser richtig? Da gibts dann doch vom Anbieter so eine Wandler Box.

Oder hat es die FB integriert?

Die Fritzbox 5490 hat ein AON SFP-Modul integriert. Der LWL Anbieter verkauft selbst eine Fritzbox als LWL Modem, aber akzeptiert auch den Einsatz von eigenen SFP-Modulen. Wir möchten nur gerne ein Modem vor der OPNsense haben um die IPMI des Supermicro Server unabhängig von der OPNsense nutzen zu können. Ansonsten wäre der Sinn der IPMI aus unserer Sicht schon verfehlt oder wir müssten per UMTS das IPMI ansteuern um unabhängig zu sein, was aber mit extra Kosten verbunden wäre.

Und nein, eine Wandlerbox wird ansonsten nicht angeboten. Es handelt sich um Business LWL. Alle unsere Kunden mit Business LWL bekommen quasi direkt das LWL Kabel ins Rack gelegt. Ab da ist dann der Kunde bzw. wir verantwortlich.

@LuciferB

habe mal bei AVM nachgeschaut und offensichtlich seid Ihr mit dem letzten verfügbaren OS-Release

FRITZ!Box 5490 - Version: FRITZ!OS 7.12
Datum: 24.09.2019

unterwegs...

Vieleicht habt Ihr die Möglichkeit eine neuere Fritzbox mal testweise ranzuhängen denn es hat sich Protokoll u. Softwaremäßig seit 2019 viel getan. Diverse Modelle bekamen inzwischen FRITZ!OS 7.25 ausgerollt.

Wir stecken asap mal die Fritzbox 5530 ran und schauen wie es mit der läuft.

Oder im Business Bereich einfach ein Modem

Welches Modem kannst du denn empfehlen?

Also wenn ihr bei besagter Situation nicht mal von außen auf die Fritzbox kommt, die ja noch vor der OPNsense hängt, liegt es für mich eindeutig an der FB.

Okay, wir tauschen mal die Fritzbox.

und die sense habt ihr auch mal durchgestartet (nicht das sich da was verhaspelt hat)?
das währe mein vorgehen gewesen.

Ja, bereits mehrfach. Mal hat es geholfen, meist hilft es jedoch die Fritzbox neu zu starten.

Mal so eine Frage.

Das komplette Netz friert ein bezieht sich auf den Internetzugriff?

Oder geht im Lan dann auch nichts mehr ?

Schau mal unter Interfaces->Overview

Da aufklappen. Gibt es auf den Interfaces
In/out errors oder Collisions Einträge?

Ich bin grad selbst am erneuten Überlegen, ob es nur das Internet betrifft. Wir befinden uns bei den Problemen nie vor Ort, sondern versuchen dann remote uns zuzuschalten, was dann meist schon nicht mehr funktioniert bis die Fritzbox neu gestartet wurde. Aber wenn ich so drüber nachdenke, glaube ich, ist es tatsächlich der Internetzugriff und nicht der Netzwerkzugriff. Denn wenn das Problem auftritt, erreichen wir remote nicht einmal mehr die Fritzbox. In den Interface Statistiken sind keinerlei Errors.

@lewald
@all

Ich vermute mal:

1. der Interne LAN Verkehr funzt ohne Probleme
2. WAN über die Fritzbox bei uns WAN-DHCP (exposed host bei LuciferB)  i.o.
3. LAN Kabel i.o
4. Internet -www- VPN etc. keine Verbindung !!! (?)

Bitte Prüfen ob:

1. in der Fritte unter System/ Ereignisse - zu der Zeit eine DSL-Synchronisation (Training) stattfand
2. die Fritte ein autom. Update in der Zeit des Ausfalls durchführte
3. unter Internet/Online-Monitor die Anzahl der Verbindungen anschauen wenn mehr als (1) (Zwangstrennung)
    am Tag dann die Zeit des Ausfalls an der OPNsense im Log Checken

denn bei uns tritt dieses Problem immer auf wenn eine DSL - Syncronisation (Training) stattfand !
Ein einfachen Reconect in der Fritte "übersteht" die OPNsene immer ...

Leider konnten wir unser Problem (nur mit Reboot der OPNsense) noch nicht lösen aber @LuciferB hilft es eventuell zur Fehlersuche...

Die Fritzbox hat zu dem Zeitpunkt kein Training. Da es sich um LWL handelt, gibt es hier auch keine DSL Synchronisationen. Das Internet ist da und stabil und dann plötzlich steigen die States in der OPNsense und dann funktionert weder nach draußen noch nach drinnen der Zugriff. Wir können dann die Fritzbox nicht mehr erreichen und intern können die Mitarbeiter nicht mehr ins Internet. Teilweise mit zig Versuchen schafft man es mal eine Verbindung von außen zur Fritzbox aufzubauen. Wird dann die Fritzbox neu gestartet läuft alles wieder mehrere Tage.

Die Fritzbox wird neu gestartet, weil sich dadurch scheinbar das Netzwerk beruhigt und danach wieder alles funktioniert bis der nächste Peak von 3500 States erzeugt wird und wieder alles hängt.

Anbei der Netzwerkplan:

Code Select Expand


      WAN / Internet
            :
            : Fiber/ LWL
            :
      .-----+-----.
      |  Gateway  |  Fritzbox 5490 Fiber (10.10.10.2)
      '-----+-----'
            |
        WAN | (10.10.10.1 Exposed Host/ DMZ)
            |
      .-----+------.
      | OPNsense   |
      '-----+------'
            |
        LAN         | 192.168.178.1/23
        MITARBEITER | 10.44.0.1/21 (VLAN 5)
            |
      .-----+------.
      | LAN-Switch |
      '-----+------'
            |
            |
     +---------------+
     |               |
     |  ACCESSPOINT  |
     |     WLAN      |
     |     VLAN5     |
     +------+--------+
            |
            |
   ...-----+------... (Clients)


So, jetzt läuft seit einer Woche die neueste Version von OPNsense und heute ist es wieder passiert. Das komplette Netzwerk ist wieder eingefroren. Sowohl von drinnen ist kein Zugriff auf das Internet möglich und von draußen kommt man auch nicht mehr ins Netz. Die Fritzbox wurde wieder neu gestartet und nach ein paar Minuten hat sich alles wieder gefangen.

Hat noch einer eine Idee?

Beim Kunden sind grad um die 30 Nutzer:

Verbindungsstatustabellengröße: 0 % ( 3147/1630000 )

Info

Code Select Expand

Status: Enabled for 2 days 23:04:20           Debug: Urgent

Hostid:   0xafc25e2b
Checksum: 0xf79f67eb4c3fcb4b0c50932af0c41ecb

Interface Stats for ix2               IPv4             IPv6
  Bytes In                     10029821769            81000
  Bytes Out                    14800937725                0
  Packets In
    Passed                        17772216             1125
    Blocked                          78457                0
  Packets Out
    Passed                        21357692                0
    Blocked                              0                0

State Table                          Total             Rate
  current entries                     3620               
  searches                       645901133         2524.4/s
  inserts                          2864710           11.2/s
  removals                         2861090           11.2/s
Source Tracking Table
  current entries                       99               
  searches                         1808477            7.1/s
  inserts                            33511            0.1/s
  removals                           33411            0.1/s
Counters
  match                            3676979           14.4/s
  bad-offset                             0            0.0/s
  fragment                              35            0.0/s
  short                                  1            0.0/s
  normalize                              4            0.0/s
  memory                                 0            0.0/s
  bad-timestamp                          0            0.0/s
  congestion                             0            0.0/s
  ip-option                              0            0.0/s
  proto-cksum                            0            0.0/s
  state-mismatch                      1212            0.0/s
  state-insert                         996            0.0/s
  state-limit                            0            0.0/s
  src-limit                         493813            1.9/s
  synproxy                               0            0.0/s
  map-failed                             0            0.0/s
Limit Counters
  max states per rule                    0            0.0/s
  max-src-states                    493813            1.9/s
  max-src-nodes                          0            0.0/s
  max-src-conn                           0            0.0/s
  max-src-conn-rate                      0            0.0/s
  overload table insertion               0            0.0/s
  overload flush states                  0            0.0/s

Memory:

Code Select Expand

states        hard limit  1630000
src-nodes     hard limit  1630000
frags         hard limit     5000
table-entries hard limit   200000

Timeouts:

Code Select Expand

tcp.first                    30s
tcp.opening                   5s
tcp.established           18000s
tcp.closing                  60s
tcp.finwait                  30s
tcp.closed                   30s
tcp.tsdiff                   10s
udp.first                    60s
udp.single                   30s
udp.multiple                 60s
icmp.first                   20s
icmp.error                   10s
other.first                  60s
other.single                 30s
other.multiple               60s
frag                         30s
interval                     10s
adaptive.start                0 states

Interfaces (Auszug mit Daten):

Code Select Expand

igb2
Cleared:     Tue Mar  2 15:19:21 2021
References:  21               
In4/Pass:    [ Packets: 192978482          Bytes: 166651025391       ]
In4/Block:   [ Packets: 204663             Bytes: 15571530           ]
Out4/Pass:   [ Packets: 122808251          Bytes: 57884475199        ]
Out4/Block:  [ Packets: 958                Bytes: 73282              ]
In6/Pass:    [ Packets: 0                  Bytes: 0                  ]
In6/Block:   [ Packets: 0                  Bytes: 0                  ]
Out6/Pass:   [ Packets: 5                  Bytes: 416                ]
Out6/Block:  [ Packets: 0                  Bytes: 0                  ]

ix2
Cleared:     Tue Mar  2 15:19:21 2021
References:  23               
In4/Pass:    [ Packets: 17619834           Bytes: 9937065660         ]
In4/Block:   [ Packets: 78408              Bytes: 10590670           ]
Out4/Pass:   [ Packets: 21141428           Bytes: 14671161166        ]
Out4/Block:  [ Packets: 0                  Bytes: 0                  ]
In6/Pass:    [ Packets: 1122               Bytes: 80784              ]
In6/Block:   [ Packets: 0                  Bytes: 0                  ]
Out6/Pass:   [ Packets: 0                  Bytes: 0                  ]
Out6/Block:  [ Packets: 0                  Bytes: 0                  ]

ix2_vlan5
Cleared:     Tue Mar  2 15:19:18 2021
References:  26               
In4/Pass:    [ Packets: 105725665          Bytes: 48708567288        ]
In4/Block:   [ Packets: 522930             Bytes: 65087619           ]
Out4/Pass:   [ Packets: 172353450          Bytes: 152699979591       ]
Out4/Block:  [ Packets: 6                  Bytes: 4656               ]
In6/Pass:    [ Packets: 131                Bytes: 9432               ]
In6/Block:   [ Packets: 0                  Bytes: 0                  ]
Out6/Pass:   [ Packets: 0                  Bytes: 0                  ]
Out6/Block:  [ Packets: 0                  Bytes: 0                  ]


Daran haben wir auch schon gedacht. :-) Firewall Optimierung ist schon auf aggressiv, aber hat leider auch nichts gebracht.

Okay, danke!

Traffic Shaper war zum Test mal deaktiviert, aber das Problem trat wieder auf. Das Update werden wir mal einspielen, auch wenn ich in den Release Notes keine relevanten Patches finde.

Vielen Dank für die ersten Tipps. Es handelt sich um einen Atom mit 2,2GHz mit 8 Kernen und 8 Threads.

Die CPU Last ist durchgehend unter 1%, auch wenn die States in die Höhe schießen. Die Auslastung des Systems ist durchgehend sehr niedrig. Die CPU Last geht höchstens mal hoch, wenn ich irgendwelche Abfragen starte. Aber es können selbst 10.000 States sein und die CPU schlummert brav.

Hallo in die Runde,

ich hoffe jemand hat ein paar Tipps uns weiterzuhelfen. Wir haben bisher immer auf pfSense gesetzt und sind jetzt für einen neuen Kunden nach diversen Tests auf OPNsense umgestiegen, da wir die Weiterentwicklung als sehr positiv beobachtet haben.


Kurz zum Aufbau:

- OPNsense auf einem MicroServer Intel Atom C3758 16GB RAM
- Fritzbox 5490 Fiber an einem LWL 500MBit/s Anschluss
- Fritzbox per Gigabit LAN am OPNsense
- OPNsense per Gigabit LAN an einem HP Pro Managed Switch
- Fritzbox im Exposed Host zur OPNsense
- MTU 1500 durchgehend


Kurz zur Konfiguration:

- OPNsense 20.7
- nur IPv4, kein IPv6
- 1x VLAN1 (für die Infrastruktur)
- 1x VLAN5 (für die Nutzer)
- kein Eins-zu-Eins NAT
- 3 Standard Outbound Rules über WAN (local, VLAN1, VLAN5)
- Traffic Shaper aktiv: FlowQueue-CoDel
- Unbound DNS aktiv mit Weiterleitung an zwei DNS (8.8.8.8, 8.8.4.4 über WAN)
- sonst ist nichts aktiv, kein IPS, kein VPN, kein Monitoring, nichts


Das Problem:

Das Problem fing damit an, dass wenn etwa 30 Nutzer das Netz genutzt haben, die States bis 10.000 hoch geschossen sind. Sobald sich die States über 5 bis 6000 begeben, fängt aber das komplette Netzwerk an einzufrieren. Selbst ein Ping klappt dann nur noch sporadisch.
Daraufhin haben wir über die Rules die Max States pro Device begrenzt. Dann lief es eine Weile stabil. Doch jetzt fängt das Problem wieder an. Die States gehen zwar nicht mehr so hoch, aber in unregelmäßigen Abständen friert das Netzwerk ein und kein einziger Nutzer im Netz kann mehr arbeiten.

Die Lösung war bisher immer die OPNsense oder die Fritzbox neu zu starten. Wir haben schon Netzwerke realisiert mit pfSense und Fritzbox für über 200 Mitarbeiter ohne bisher jemals Probleme gehabt zu haben. Aber wir sehen hier einfach den Wald vor lauter Bäumen nicht. Wo ist blos das Problem.

Wäre wirklich super, wenn hier irgendeiner ein paar Ideen hat, und wenn es auch nur Brainstorming darüber ist, was wir uns vielleicht noch anschauen sollten. Leider haben uns Suchmaschinen bisher nicht auf den gewünschten Erfolg gebracht.

Vielen vielen Dank schon mal!