OPNsense Forum

International Forums => German - Deutsch => Topic started by: LuciferB on March 05, 2021, 11:48:24 AM

Title: Netzwerk friert ständig ein
Post by: LuciferB on March 05, 2021, 11:48:24 AM
Hallo in die Runde,

ich hoffe jemand hat ein paar Tipps uns weiterzuhelfen. Wir haben bisher immer auf pfSense gesetzt und sind jetzt für einen neuen Kunden nach diversen Tests auf OPNsense umgestiegen, da wir die Weiterentwicklung als sehr positiv beobachtet haben.


Kurz zum Aufbau:

- OPNsense auf einem MicroServer Intel Atom C3758 16GB RAM
- Fritzbox 5490 Fiber an einem LWL 500MBit/s Anschluss
- Fritzbox per Gigabit LAN am OPNsense
- OPNsense per Gigabit LAN an einem HP Pro Managed Switch
- Fritzbox im Exposed Host zur OPNsense
- MTU 1500 durchgehend


Kurz zur Konfiguration:

- OPNsense 20.7
- nur IPv4, kein IPv6
- 1x VLAN1 (für die Infrastruktur)
- 1x VLAN5 (für die Nutzer)
- kein Eins-zu-Eins NAT
- 3 Standard Outbound Rules über WAN (local, VLAN1, VLAN5)
- Traffic Shaper aktiv: FlowQueue-CoDel
- Unbound DNS aktiv mit Weiterleitung an zwei DNS (8.8.8.8, 8.8.4.4 über WAN)
- sonst ist nichts aktiv, kein IPS, kein VPN, kein Monitoring, nichts


Das Problem:

Das Problem fing damit an, dass wenn etwa 30 Nutzer das Netz genutzt haben, die States bis 10.000 hoch geschossen sind. Sobald sich die States über 5 bis 6000 begeben, fängt aber das komplette Netzwerk an einzufrieren. Selbst ein Ping klappt dann nur noch sporadisch.
Daraufhin haben wir über die Rules die Max States pro Device begrenzt. Dann lief es eine Weile stabil. Doch jetzt fängt das Problem wieder an. Die States gehen zwar nicht mehr so hoch, aber in unregelmäßigen Abständen friert das Netzwerk ein und kein einziger Nutzer im Netz kann mehr arbeiten.

Die Lösung war bisher immer die OPNsense oder die Fritzbox neu zu starten. Wir haben schon Netzwerke realisiert mit pfSense und Fritzbox für über 200 Mitarbeiter ohne bisher jemals Probleme gehabt zu haben. Aber wir sehen hier einfach den Wald vor lauter Bäumen nicht. Wo ist blos das Problem.

Wäre wirklich super, wenn hier irgendeiner ein paar Ideen hat, und wenn es auch nur Brainstorming darüber ist, was wir uns vielleicht noch anschauen sollten. Leider haben uns Suchmaschinen bisher nicht auf den gewünschten Erfolg gebracht.

Vielen vielen Dank schon mal!
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 05, 2021, 11:54:49 AM
Vielleicht hilft dir das weiter
https://www.reddit.com/r/PFSENSE/comments/28dkjf/pfsense_states_table_cpu_high_load_help/

Aber sonst würde mich das ganze auch Interessieren.
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 05, 2021, 12:02:19 PM
Vielleicht ist auch dein CPU etwas schwach

Was sagt den "top" während dein Netzwerk hängt
Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 05, 2021, 12:27:47 PM
Vielen Dank für die ersten Tipps. Es handelt sich um einen Atom mit 2,2GHz mit 8 Kernen und 8 Threads.

Die CPU Last ist durchgehend unter 1%, auch wenn die States in die Höhe schießen. Die Auslastung des Systems ist durchgehend sehr niedrig. Die CPU Last geht höchstens mal hoch, wenn ich irgendwelche Abfragen starte. Aber es können selbst 10.000 States sein und die CPU schlummert brav.
Title: Re: Netzwerk friert ständig ein
Post by: Roger2k on March 05, 2021, 01:07:25 PM
Zum Test mal den Traffic Shaper deaktiviert?
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 05, 2021, 01:47:20 PM
Und vielleicht Mal Update auf 21.1.2 machen
Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 05, 2021, 01:52:48 PM
Okay, danke!

Traffic Shaper war zum Test mal deaktiviert, aber das Problem trat wieder auf. Das Update werden wir mal einspielen, auch wenn ich in den Release Notes keine relevanten Patches finde.
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 05, 2021, 01:59:45 PM
Könntest testweise die Firewall Optimierung umstellen, Verbindung werden dann schneller oder weniger schnell geschlossen


Dennoch finde ich so viele Verbindung bei 30 Clients sehr komisch
Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 05, 2021, 02:00:46 PM
Daran haben wir auch schon gedacht. :-) Firewall Optimierung ist schon auf aggressiv, aber hat leider auch nichts gebracht.
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 05, 2021, 02:02:35 PM
Nur Mal als Vergleich

Aktuell sind 15 Clients am laufen und die Verbindungstabelle ist
0 % ( 772/804000 )
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 05, 2021, 02:04:29 PM
Poste Mal den Output von


    Firewall: Diagnose: pfInfo

Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 05, 2021, 02:13:49 PM
Beim Kunden sind grad um die 30 Nutzer:

Verbindungsstatustabellengröße: 0 % ( 3147/1630000 )

Info
Status: Enabled for 2 days 23:04:20           Debug: Urgent

Hostid:   0xafc25e2b
Checksum: 0xf79f67eb4c3fcb4b0c50932af0c41ecb

Interface Stats for ix2               IPv4             IPv6
  Bytes In                     10029821769            81000
  Bytes Out                    14800937725                0
  Packets In
    Passed                        17772216             1125
    Blocked                          78457                0
  Packets Out
    Passed                        21357692                0
    Blocked                              0                0

State Table                          Total             Rate
  current entries                     3620               
  searches                       645901133         2524.4/s
  inserts                          2864710           11.2/s
  removals                         2861090           11.2/s
Source Tracking Table
  current entries                       99               
  searches                         1808477            7.1/s
  inserts                            33511            0.1/s
  removals                           33411            0.1/s
Counters
  match                            3676979           14.4/s
  bad-offset                             0            0.0/s
  fragment                              35            0.0/s
  short                                  1            0.0/s
  normalize                              4            0.0/s
  memory                                 0            0.0/s
  bad-timestamp                          0            0.0/s
  congestion                             0            0.0/s
  ip-option                              0            0.0/s
  proto-cksum                            0            0.0/s
  state-mismatch                      1212            0.0/s
  state-insert                         996            0.0/s
  state-limit                            0            0.0/s
  src-limit                         493813            1.9/s
  synproxy                               0            0.0/s
  map-failed                             0            0.0/s
Limit Counters
  max states per rule                    0            0.0/s
  max-src-states                    493813            1.9/s
  max-src-nodes                          0            0.0/s
  max-src-conn                           0            0.0/s
  max-src-conn-rate                      0            0.0/s
  overload table insertion               0            0.0/s
  overload flush states                  0            0.0/s


Memory:
states        hard limit  1630000
src-nodes     hard limit  1630000
frags         hard limit     5000
table-entries hard limit   200000


Timeouts:
tcp.first                    30s
tcp.opening                   5s
tcp.established           18000s
tcp.closing                  60s
tcp.finwait                  30s
tcp.closed                   30s
tcp.tsdiff                   10s
udp.first                    60s
udp.single                   30s
udp.multiple                 60s
icmp.first                   20s
icmp.error                   10s
other.first                  60s
other.single                 30s
other.multiple               60s
frag                         30s
interval                     10s
adaptive.start                0 states


Interfaces (Auszug mit Daten):
igb2
Cleared:     Tue Mar  2 15:19:21 2021
References:  21               
In4/Pass:    [ Packets: 192978482          Bytes: 166651025391       ]
In4/Block:   [ Packets: 204663             Bytes: 15571530           ]
Out4/Pass:   [ Packets: 122808251          Bytes: 57884475199        ]
Out4/Block:  [ Packets: 958                Bytes: 73282              ]
In6/Pass:    [ Packets: 0                  Bytes: 0                  ]
In6/Block:   [ Packets: 0                  Bytes: 0                  ]
Out6/Pass:   [ Packets: 5                  Bytes: 416                ]
Out6/Block:  [ Packets: 0                  Bytes: 0                  ]

ix2
Cleared:     Tue Mar  2 15:19:21 2021
References:  23               
In4/Pass:    [ Packets: 17619834           Bytes: 9937065660         ]
In4/Block:   [ Packets: 78408              Bytes: 10590670           ]
Out4/Pass:   [ Packets: 21141428           Bytes: 14671161166        ]
Out4/Block:  [ Packets: 0                  Bytes: 0                  ]
In6/Pass:    [ Packets: 1122               Bytes: 80784              ]
In6/Block:   [ Packets: 0                  Bytes: 0                  ]
Out6/Pass:   [ Packets: 0                  Bytes: 0                  ]
Out6/Block:  [ Packets: 0                  Bytes: 0                  ]

ix2_vlan5
Cleared:     Tue Mar  2 15:19:18 2021
References:  26               
In4/Pass:    [ Packets: 105725665          Bytes: 48708567288        ]
In4/Block:   [ Packets: 522930             Bytes: 65087619           ]
Out4/Pass:   [ Packets: 172353450          Bytes: 152699979591       ]
Out4/Block:  [ Packets: 6                  Bytes: 4656               ]
In6/Pass:    [ Packets: 131                Bytes: 9432               ]
In6/Block:   [ Packets: 0                  Bytes: 0                  ]
Out6/Pass:   [ Packets: 0                  Bytes: 0                  ]
Out6/Block:  [ Packets: 0                  Bytes: 0                  ]
Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 16, 2021, 11:12:16 AM
So, jetzt läuft seit einer Woche die neueste Version von OPNsense und heute ist es wieder passiert. Das komplette Netzwerk ist wieder eingefroren. Sowohl von drinnen ist kein Zugriff auf das Internet möglich und von draußen kommt man auch nicht mehr ins Netz. Die Fritzbox wurde wieder neu gestartet und nach ein paar Minuten hat sich alles wieder gefangen.

Hat noch einer eine Idee?
Title: Re: Netzwerk friert ständig ein
Post by: micneu on March 16, 2021, 01:29:15 PM
Quote from: LuciferB on March 16, 2021, 11:12:16 AM
Die Fritzbox wurde wieder neu gestartet und nach ein paar Minuten hat sich alles wieder gefangen.
warum hast du die Fritzbox neugestartet?

leider habe ich keinen grafischen netzwerkplan gesehen, bitte einen anhängen
Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 16, 2021, 03:53:40 PM
Die Fritzbox wird neu gestartet, weil sich dadurch scheinbar das Netzwerk beruhigt und danach wieder alles funktioniert bis der nächste Peak von 3500 States erzeugt wird und wieder alles hängt.

Anbei der Netzwerkplan:

      WAN / Internet
            :
            : Fiber/ LWL
            :
      .-----+-----.
      |  Gateway  |  Fritzbox 5490 Fiber (10.10.10.2)
      '-----+-----'
            |
        WAN | (10.10.10.1 Exposed Host/ DMZ)
            |
      .-----+------.
      | OPNsense   |
      '-----+------'
            |
        LAN         | 192.168.178.1/23
        MITARBEITER | 10.44.0.1/21 (VLAN 5)
            |
      .-----+------.
      | LAN-Switch |
      '-----+------'
            |
            |
     +---------------+
     |               |
     |  ACCESSPOINT  |
     |     WLAN      |
     |     VLAN5     |
     +------+--------+
            |
            |
   ...-----+------... (Clients)
Title: Re: Netzwerk friert ständig ein
Post by: lewald on March 16, 2021, 04:47:40 PM
Wie ist den der Speicherverbrauch zu diesem Zeitpunkt?

Evtl. defekter Speicher?

Kabel zwischen OPNsense und Fritzbox? (Sowas hatte ich schon)
Defekte Netzwerkkarten ?

Nur mal soo ein paar Ideen.
Title: Re: Netzwerk friert ständig ein
Post by: micneu on March 16, 2021, 05:31:25 PM
Quote from: LuciferB on March 16, 2021, 03:53:40 PM
Die Fritzbox wird neu gestartet, weil sich dadurch scheinbar das Netzwerk beruhigt und danach wieder alles funktioniert bis der nächste Peak von 3500 States erzeugt wird und wieder alles hängt.

und die sense habt ihr auch mal durchgestartet (nicht das sich da was verhaspelt hat)?
das währe mein vorgehen gewesen.
Title: Re: Netzwerk friert ständig ein
Post by: lewald on March 16, 2021, 06:19:38 PM
Mal so eine Frage.

Das komplette Netz friert ein bezieht sich auf den Internetzugriff?

Oder geht im Lan dann auch nichts mehr ?

Schau mal unter Interfaces->Overview

Da aufklappen. Gibt es auf den Interfaces
In/out errors oder Collisions Einträge?
Title: Re: Netzwerk friert ständig ein
Post by: Mondmann on March 16, 2021, 09:49:37 PM
@lewald
@all

Ich vermute mal:

1. der Interne LAN Verkehr funzt ohne Probleme
2. WAN über die Fritzbox bei uns WAN-DHCP (exposed host bei LuciferB)  i.o.
3. LAN Kabel i.o
4. Internet -www- VPN etc. keine Verbindung !!! (?)

Bitte Prüfen ob:

1. in der Fritte unter System/ Ereignisse - zu der Zeit eine DSL-Synchronisation (Training) stattfand
2. die Fritte ein autom. Update in der Zeit des Ausfalls durchführte
3. unter Internet/Online-Monitor die Anzahl der Verbindungen anschauen wenn mehr als (1) (Zwangstrennung)
    am Tag dann die Zeit des Ausfalls an der OPNsense im Log Checken

denn bei uns tritt dieses Problem immer auf wenn eine DSL - Syncronisation (Training) stattfand !
Ein einfachen Reconect in der Fritte "übersteht" die OPNsene immer ...

Leider konnten wir unser Problem (nur mit Reboot der OPNsense) noch nicht lösen aber @LuciferB hilft es eventuell zur Fehlersuche...



Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 21, 2021, 08:23:51 PM
Quote from: micneu on March 16, 2021, 05:31:25 PM
und die sense habt ihr auch mal durchgestartet (nicht das sich da was verhaspelt hat)?
das währe mein vorgehen gewesen.

Ja, bereits mehrfach. Mal hat es geholfen, meist hilft es jedoch die Fritzbox neu zu starten.

Quote from: lewald on March 16, 2021, 06:19:38 PM
Mal so eine Frage.

Das komplette Netz friert ein bezieht sich auf den Internetzugriff?

Oder geht im Lan dann auch nichts mehr ?

Schau mal unter Interfaces->Overview

Da aufklappen. Gibt es auf den Interfaces
In/out errors oder Collisions Einträge?

Ich bin grad selbst am erneuten Überlegen, ob es nur das Internet betrifft. Wir befinden uns bei den Problemen nie vor Ort, sondern versuchen dann remote uns zuzuschalten, was dann meist schon nicht mehr funktioniert bis die Fritzbox neu gestartet wurde. Aber wenn ich so drüber nachdenke, glaube ich, ist es tatsächlich der Internetzugriff und nicht der Netzwerkzugriff. Denn wenn das Problem auftritt, erreichen wir remote nicht einmal mehr die Fritzbox. In den Interface Statistiken sind keinerlei Errors.

Quote from: Mondmann on March 16, 2021, 09:49:37 PM
@lewald
@all

Ich vermute mal:

1. der Interne LAN Verkehr funzt ohne Probleme
2. WAN über die Fritzbox bei uns WAN-DHCP (exposed host bei LuciferB)  i.o.
3. LAN Kabel i.o
4. Internet -www- VPN etc. keine Verbindung !!! (?)

Bitte Prüfen ob:

1. in der Fritte unter System/ Ereignisse - zu der Zeit eine DSL-Synchronisation (Training) stattfand
2. die Fritte ein autom. Update in der Zeit des Ausfalls durchführte
3. unter Internet/Online-Monitor die Anzahl der Verbindungen anschauen wenn mehr als (1) (Zwangstrennung)
    am Tag dann die Zeit des Ausfalls an der OPNsense im Log Checken

denn bei uns tritt dieses Problem immer auf wenn eine DSL - Syncronisation (Training) stattfand !
Ein einfachen Reconect in der Fritte "übersteht" die OPNsene immer ...

Leider konnten wir unser Problem (nur mit Reboot der OPNsense) noch nicht lösen aber @LuciferB hilft es eventuell zur Fehlersuche...

Die Fritzbox hat zu dem Zeitpunkt kein Training. Da es sich um LWL handelt, gibt es hier auch keine DSL Synchronisationen. Das Internet ist da und stabil und dann plötzlich steigen die States in der OPNsense und dann funktionert weder nach draußen noch nach drinnen der Zugriff. Wir können dann die Fritzbox nicht mehr erreichen und intern können die Mitarbeiter nicht mehr ins Internet. Teilweise mit zig Versuchen schafft man es mal eine Verbindung von außen zur Fritzbox aufzubauen. Wird dann die Fritzbox neu gestartet läuft alles wieder mehrere Tage.
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 22, 2021, 09:25:27 AM
Also wenn ihr bei besagter Situation nicht mal von außen auf die Fritzbox kommt, die ja noch vor der OPNsense hängt, liegt es für mich eindeutig an der FB.

Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 22, 2021, 10:32:00 AM
Quote from: lfirewall1243 on March 22, 2021, 09:25:27 AM
Also wenn ihr bei besagter Situation nicht mal von außen auf die Fritzbox kommt, die ja noch vor der OPNsense hängt, liegt es für mich eindeutig an der FB.

Okay, wir tauschen mal die Fritzbox.
Title: Re: Netzwerk friert ständig ein
Post by: Mondmann on March 22, 2021, 12:07:19 PM
@LuciferB

habe mal bei AVM nachgeschaut und offensichtlich seid Ihr mit dem letzten verfügbaren OS-Release

FRITZ!Box 5490 - Version: FRITZ!OS 7.12
Datum: 24.09.2019

unterwegs...

Vieleicht habt Ihr die Möglichkeit eine neuere Fritzbox mal testweise ranzuhängen denn es hat sich Protokoll u. Softwaremäßig seit 2019 viel getan. Diverse Modelle bekamen inzwischen FRITZ!OS 7.25 ausgerollt.
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 22, 2021, 01:44:31 PM
Quote from: Mondmann on March 22, 2021, 12:07:19 PM
@LuciferB

habe mal bei AVM nachgeschaut und offensichtlich seid Ihr mit dem letzten verfügbaren OS-Release

FRITZ!Box 5490 - Version: FRITZ!OS 7.12
Datum: 24.09.2019

unterwegs...

Vieleicht habt Ihr die Möglichkeit eine neuere Fritzbox mal testweise ranzuhängen denn es hat sich Protokoll u. Softwaremäßig seit 2019 viel getan. Diverse Modelle bekamen inzwischen FRITZ!OS 7.25 ausgerollt.
Oder im Business Bereich einfach ein Modem
Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 22, 2021, 02:29:32 PM
Quote from: Mondmann on March 22, 2021, 12:07:19 PM
@LuciferB

habe mal bei AVM nachgeschaut und offensichtlich seid Ihr mit dem letzten verfügbaren OS-Release

FRITZ!Box 5490 - Version: FRITZ!OS 7.12
Datum: 24.09.2019

unterwegs...

Vieleicht habt Ihr die Möglichkeit eine neuere Fritzbox mal testweise ranzuhängen denn es hat sich Protokoll u. Softwaremäßig seit 2019 viel getan. Diverse Modelle bekamen inzwischen FRITZ!OS 7.25 ausgerollt.

Wir stecken asap mal die Fritzbox 5530 ran und schauen wie es mit der läuft.

Quote from: lfirewall1243 on March 22, 2021, 01:44:31 PM
Oder im Business Bereich einfach ein Modem

Welches Modem kannst du denn empfehlen?
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on March 22, 2021, 02:51:37 PM
Moment: Ist doch Glasfaser richtig? Da gibts dann doch vom Anbieter so eine Wandler Box.

Oder hat es die FB integriert?
Title: Re: Netzwerk friert ständig ein
Post by: LuciferB on March 22, 2021, 06:13:57 PM
Quote from: lfirewall1243 on March 22, 2021, 02:51:37 PM
Moment: Ist doch Glasfaser richtig? Da gibts dann doch vom Anbieter so eine Wandler Box.

Oder hat es die FB integriert?

Die Fritzbox 5490 hat ein AON SFP-Modul integriert. Der LWL Anbieter verkauft selbst eine Fritzbox als LWL Modem, aber akzeptiert auch den Einsatz von eigenen SFP-Modulen. Wir möchten nur gerne ein Modem vor der OPNsense haben um die IPMI des Supermicro Server unabhängig von der OPNsense nutzen zu können. Ansonsten wäre der Sinn der IPMI aus unserer Sicht schon verfehlt oder wir müssten per UMTS das IPMI ansteuern um unabhängig zu sein, was aber mit extra Kosten verbunden wäre.

Und nein, eine Wandlerbox wird ansonsten nicht angeboten. Es handelt sich um Business LWL. Alle unsere Kunden mit Business LWL bekommen quasi direkt das LWL Kabel ins Rack gelegt. Ab da ist dann der Kunde bzw. wir verantwortlich.
Title: Re: Netzwerk friert ständig ein
Post by: Mondmann on March 23, 2021, 07:13:51 PM
@LuciferB

Heute hat AVM der FRITZ!Box 5530 Fiber das neue FRITZ!OS 7.25 zum Downlaod bereitgestellt
dann solltet Ihr vielleicht die 5530 mit dem OS 7.25 austesten.
Title: Re: Netzwerk friert ständig ein
Post by: TJ on April 19, 2021, 02:36:05 PM
Hallo in die Runde,

mich würde es interessieren ob in der Zwischenzeit eine Lösung gefunden werden konnte oder der Fehler eingegrenzt wurde.

Ich betreue ebenfalls ein Netzwerk mit ca 30-45 Clients und habe die selbe Symptomatik. Wir sind mit einer Fritzbox 6490 OS 7.01 (Vodafone Kabel) zur OPNsense angebunden.
Unsere nächster Schritt wird der Austausch der Fritzbox mit einer größeren Variante sein. Eventuell ist es ein Performance Problem der Fritzbox?! Wenn dies nicht klappt wird es mit einem Kabelmodem versucht.
Title: Re: Netzwerk friert ständig ein
Post by: lfirewall1243 on April 19, 2021, 02:39:49 PM
Quote from: TJ on April 19, 2021, 02:36:05 PM
Hallo in die Runde,

mich würde es interessieren ob in der Zwischenzeit eine Lösung gefunden werden konnte oder der Fehler eingegrenzt wurde.

Ich betreue ebenfalls ein Netzwerk mit ca 30-45 Clients und habe die selbe Symptomatik. Wir sind mit einer Fritzbox 6490 OS 7.01 (Vodafone Kabel) zur OPNsense angebunden.
Unsere nächster Schritt wird der Austausch der Fritzbox mit einer größeren Variante sein. Eventuell ist es ein Performance Problem der Fritzbox?! Wenn dies nicht klappt wird es mit einem Kabelmodem versucht.
Hast du das GW Monitoring aktiv?

Hatte bereits  Fälle wo ein zu häufiger wechsel auch den Traffic LAN->OPNsense gecrasht hat
Title: Re: Netzwerk friert ständig ein
Post by: achmetbenmuli on October 09, 2021, 10:15:12 AM
Hallo zusammen,

ich wollte hier mal meinen Input liefern, vielleicht ist das für den ein oder anderen hilfreich.

Auch ich betreue ein größeres Netzwerk mit bis zu 200 WLAN-Clients, die eingesetzte OPNSense hing bis vor kurzem am WAN-Port an einer FB 5490, die der Provider (hier: 1&1/Versatel) am Glasfaser-Anschluss (500/100) bereitgestellt hat.

Auch bei mir traten nach einiger Zeit, bei hoher Last bis zu 3x am Tag die bereits beschriebenen Probleme auf; zuerst gehen die Pings hoch, dann bleiben sie irgendwann ganz aus, erst ein Neustart der Fritzbox kann das Problem beseitigen. Nach meinen Beobachtungen steigt die FB 5490 bei ca. 12.000-13.000 States komplett aus.

Die Lösung in diesem Fall war, und ich denke, dass das auch für den ein oder anderen mit diesem Problem in Frage kommt, die Fritzbox komplett wegzulassen und die OPNSense die PPPoE-Einwahl machen zu lassen.
Es gibt bestimmt verschiedene Möglichkeiten, das zu bewerkstelligen und die Vorgehensweise unterscheidet sich u.U. von Provider zu Provider, die von mir beschriebene Methode bezieht sich wie schon gesagt auf den Anschluss von 1&1/Versatel:

-Zugangsdaten vom Provider angefragt (Benutzername, Passwort, VLAN für den Internet-Transport)
-folgende Komponenten sind zu besorgen: eine einfache SC-SC-Kupplung, ein LC-SC Glasfaserkabel, ein Mini-GBic GLC-BX-U, ein einfacher Glas-/Kupfer-Wandler mit 1GBit/s

Der SC-Stecker, der von der Spleißbox kommt und normalerweise in der FB steckt, wird mit der SC-SC-Kupplung ans LC-SC-Glasfaserkabel gesteckt und am der LC-Steckerseite in den GBic. Der GBic steckt im Medienkonverter, der Kupferport des Medienkonverters wird mit dem WAN-Port der OPNSense verbunden.

Dann muss noch das VLAN in der OPNSense angelegt werden und der WAN-Port auf PPPoE umgestellt werden und die Account-Daten eingegeben werden.
Falls der Anschluß eine Zwangstrennung hat, sollte die OPNSense dieser zuvor kommen: Unter System--> Settings-->Cron einen 'Periodic Interface Reset' zur gewünschten Zeit einrichten.

Seit dieser Umstellung sind die Probleme nicht mehr aufgetreten. Es ist ein Traum im Vergelich zu vorher.
Nützlicher Nebeneffekt ist auch, dass kein doofes Double-NAT mehr stattfindet.
Die Leistungsfähigkeit hat deutlich zugenommen, auch bei knapp 20.000 States bisher keinerlei Probleme, keine packet losses, nix.

Bei mir war das Problem eindeutig auf die FB zurückzuführen, für einen Glasfaseranschluß einfach kein adäquates Gerät, weil scheinbar nicht leistungsfähig genug.

VG
Achim
Title: Re: Netzwerk friert ständig ein
Post by: fischkopp on March 09, 2022, 06:21:12 PM
Servus!

Ich bin gerade durch Zufall über den Beitrag gestolpert. Eigentlich auch Nutzer einer pfSense - Lösung, aber bei der Problembeschreibung ist es 1:1.
Ich habe das Problem allerdings reproduzierbar (die Umstände sind mir aber nicht klar) an einem Kabel Deutschland-Anschluß und schon bei 20.000 States auf der "BSD"-Seite.
Die Kabel 6590 - Box scheint hier dann auch die Grätsche zu machen.

Symptome der letzten 2(!) Jahre Ideen für die Ursachen waren:
- Fritzbox bootet neu und haut die CPU-Last auf 100, zeigt aber (ist eine eigene Kaufbox) keine Logfileinformationen zum langsamen Overload
- Problem lässt sich auch beheben, wenn man das "WAN-Kabel" zwischen WAN und Fritzbox-Switch für 10-20 Sekunden rauszieht
- Ebenso geht, wenn noch machbar ein Reset States auf der Firewall

Was ich aber bis jetzt in dieser (DoubleNAT) Umgebung nicht rausgefunden habe, WAS die Ursache für das Abstapeln ist. Hier reden wir nur von <10 Clients. Und je nach Tageszeit verhält es sich unterschiedlich.
Auch gibt es im Kabelnetzanschluß jede Menge Errors auf der KAbelnetzseite, so dass wir jetzt mal zusätzlich die Kaufbox wieder zur Leihbox wechseln werden.

Gibt es hier bei KD eigentlich eine Alternative Lösung, so dass man die IP ohne Fritzbox an die Firewall knüpfen kann?
Title: Re: Netzwerk friert ständig ein
Post by: kruemelmonster on March 10, 2022, 10:23:48 AM
Quote from: fischkopp on March 09, 2022, 06:21:12 PM
....
Gibt es hier bei KD eigentlich eine Alternative Lösung, so dass man die IP ohne Fritzbox an die Firewall knüpfen kann?

Ja die gibt es grundsätzlich. Das Kabelmodem TC4400-EU macht docsis3.1. Ist mit gut 200 (T)Euronen nicht eben preiswert und zumindest in der Vergangenheit nur bei wernerelectronic.de zu bekommen gewesen.  Kann aber selbst dazu nichts sagen. Habe das Teil nie benutzt und mitttlerweile wegen des ganzen HickHack bei KDG/VF auf einen "normalen" DSL-Anschluß umgestellt.

Das kdgforum.de / vodafonekabelforum.de kennst du ja vielleicht schon. Weinn nicht, schau einfach mal dort rein. Da findet sich alles rund um VF / Kabel und natürlich auch zu dem Modem.

Soweit ich das von anderen Modems als Bridge bei VF noch in Erinnerumg habe, bekommst du mit der OpnSense hinter dem Modem die IP direkt per dhcp.
Title: Re: Netzwerk friert ständig ein
Post by: Tuxtom007 on March 10, 2022, 01:24:14 PM
Quote from: achmetbenmuli on October 09, 2021, 10:15:12 AM
Bei mir war das Problem eindeutig auf die FB zurückzuführen, für einen Glasfaseranschluß einfach kein adäquates Gerät, weil scheinbar nicht leistungsfähig genug.
Du kannst ja mal spasseshalber beim AVM-Support anfragen, wieviele gleichzeitige Verbindungen einen FritzBox abkann, ich denke, das du hier das Limit überschritten hast und daher die Probleme nicht verwunderlich sind.
Das Teil ist für den SoHo-Nutzer gedacht :)
Die Datenblätter geben leider da keine Infos zu.

Letztens hatte ich von jemanden gelesen, der 1000 Smartphones in einem Schulnetz über die FritzBox leiten wollen - das funktioniert nicht.
Title: Re: Netzwerk friert ständig ein
Post by: Raketenmeyer on March 10, 2022, 02:57:24 PM
Quote from: kruemelmonster on March 10, 2022, 10:23:48 AM
Quote from: fischkopp on March 09, 2022, 06:21:12 PM
....
Gibt es hier bei KD eigentlich eine Alternative Lösung, so dass man die IP ohne Fritzbox an die Firewall knüpfen kann?

Ja die gibt es grundsätzlich. Das Kabelmodem TC4400-EU macht docsis3.1. Ist mit gut 200 (T)Euronen nicht eben preiswert und zumindest in der Vergangenheit nur bei wernerelectronic.de zu bekommen gewesen.  Kann aber selbst dazu nichts sagen. Habe das Teil nie benutzt und mitttlerweile wegen des ganzen HickHack bei KDG/VF auf einen "normalen" DSL-Anschluß umgestellt.

Das kdgforum.de / vodafonekabelforum.de kennst du ja vielleicht schon. Weinn nicht, schau einfach mal dort rein. Da findet sich alles rund um VF / Kabel und natürlich auch zu dem Modem.

Soweit ich das von anderen Modems als Bridge bei VF noch in Erinnerumg habe, bekommst du mit der OpnSense hinter dem Modem die IP direkt per dhcp.

Man kann bei KD/Vodafone die Fritzbox einfach gegen die Vodafone Station tauschen. Diese lässt sich dann einfach im Kundeninterface auf den Bridge-Mode umschalten. Ist dann quasi nur noch ein Modem. Und man verliert nicht den Supportanspruch.