OPNsense Forum

International Forums => German - Deutsch => Topic started by: Sven-J on February 17, 2019, 10:45:08 pm

Title: CARP Problem
Post by: Sven-J on February 17, 2019, 10:45:08 pm
Moin zusammen,

solangsam bin ich mit meinem Latein am Ende.

Folgende Situation:

2x DL360p Gen8 als Firewall OPNsense 19.1 installiert

LAGG / LACP für folgende Interface Konfiguriert: bge0 / bge1 (WAN)
bxe0 / BXE1 - Trunk und zig vlans Konfiguriert

WAN mit meinem Transfernetz konfiguriert
Allen interfacen auf beiden Nodes jeweils 251 Node 1 und 252 Node 2, CARP IPs immer die 254 bzw. die .142.178 als CARP für das WAN.

HA ist auf einem eigenen Interface direkt mit dem anderen Node verbunden, das funktioniert auch.

Nur ich bekomme immer folgenden Fehler:

CARP has detected a problem and this unit has been demoted to BACKUP status.
Check link status on all interfaces with configured CARP VIPs.

Und ich weiß einfach nicht WO?! Gibts irgendwie ne möglichkeit herauszufinden welches Problem er denn hat?

Danke !

Viele Grüße
Sven-Jendrik
Title: Re: CARP Problem
Post by: mimugmail on February 18, 2019, 06:06:37 am
Überprüfe in Interfaces : Overview ob bei allen Interfaces die Zuordnung gleich ist, also z.B. vlan100 auf beiden Maschinen opt60
Title: Re: CARP Problem
Post by: Sven-J on February 18, 2019, 08:04:33 am
Überprüfe in Interfaces : Overview ob bei allen Interfaces die Zuordnung gleich ist, also z.B. vlan100 auf beiden Maschinen opt60

Moin hab ich, passt alles :!
Title: Re: CARP Problem
Post by: mimugmail on February 18, 2019, 08:47:35 am
Verwendest du IP Alias zusätzlich zu CARP Adressen?
Title: Re: CARP Problem
Post by: Sven-J on February 18, 2019, 09:21:10 am
Verwendest du IP Alias zusätzlich zu CARP Adressen?

Nope only CARP Adressen
Title: Re: CARP Problem
Post by: mimugmail on February 18, 2019, 10:41:18 am
Bei VIP Status, wie ist bei beiden der Status?
Title: Re: CARP Problem
Post by: bewue on February 18, 2019, 11:06:59 am
Falsche Werte bei "VHID Group" und "Advertising Frequency" könnten auch die Ursache sein.
Poste die doch mal (bei Firewall: Virtual IPs: Settings).
Title: Re: CARP Problem
Post by: Sven-J on February 18, 2019, 01:12:13 pm
Falsche Werte bei "VHID Group" und "Advertising Frequency" könnten auch die Ursache sein.
Poste die doch mal (bei Firewall: Virtual IPs: Settings).

Kann man das irgendwie auch per Shell ausgeben? dann ist es einfacher zu Poste
Title: Re: CARP Problem
Post by: Sven-J on February 18, 2019, 04:02:47 pm
Siehe Bilder
Title: Re: CARP Problem
Post by: mimugmail on February 18, 2019, 06:39:46 pm
Wenn bei einem alle master und beim anderen alle backup sind dann passt's doch?
Title: Re: CARP Problem
Post by: Sven-J on February 18, 2019, 06:53:27 pm
Wenn bei einem alle master und beim anderen alle backup sind dann passt's doch?

Ja aber ich kriege trotzdem folgenden Fehler:

CARP has detected a problem and this unit has been demoted to BACKUP status.
Check link status on all interfaces with configured CARP VIPs.
Title: Re: CARP Problem
Post by: mimugmail on February 18, 2019, 09:30:44 pm
Aber da fehlt doch der Kontext vom Log. Kann doch sein dass CARP gestartet hat und dann per DHCP am WAN das Interface resettet wird, das produziert z.B. so eine Meldung.
Title: Re: CARP Problem
Post by: Sven-J on February 18, 2019, 10:24:36 pm
Aber da fehlt doch der Kontext vom Log. Kann doch sein dass CARP gestartet hat und dann per DHCP am WAN das Interface resettet wird, das produziert z.B. so eine Meldung.

Wo finde ich diesen Log?
Title: Re: CARP Problem
Post by: mimugmail on February 18, 2019, 10:48:32 pm
system.log .. guck mal ins Wiki und such nach logging
Title: Re: CARP Problem
Post by: Sven-J on February 18, 2019, 11:17:48 pm
Master nach einem Reboot:
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 2@lagg1_vlan10: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 4@lagg1_vlan42: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 6@lagg1_vlan44: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 3@lagg1_vlan40: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 5@lagg1_vlan43: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 7@lagg1_vlan150: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 10@lagg1_vlan1002: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 9@lagg1_vlan1001: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 11@lagg1_vlan1003: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 8@lagg1_vlan1000: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 13@lagg1_vlan1020: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 16@lagg1_vlan4001: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 15@lagg1_vlan4000: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 12@lagg1_vlan1011: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 17@lagg1_vlan47: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:00:50 DEHAM01-FW01 kernel: carp: 14@lagg1_vlan1150: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:06:28 DEHAM01-FW01 kernel: carp: 1@lagg0: MASTER -> BACKUP (more frequent advertisement received)
Feb 18 22:06:28 DEHAM01-FW01 opnsense: /usr/local/etc/rc.syshook.d/carp/20-openvpn: Carp cluster member "XXXX.142.178 -  (1@lagg0)" has resumed the state "BACKUP" for vhid 1
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 1@lagg0: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 2@lagg1_vlan10: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 opnsense: /usr/local/etc/rc.syshook.d/carp/20-openvpn: Carp cluster member "XXX.142.178 -  (1@lagg0)" has resumed the state "BACKUP" for vhid 1
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 3@lagg1_vlan40: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 4@lagg1_vlan42: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 5@lagg1_vlan43: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 6@lagg1_vlan44: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 7@lagg1_vlan150: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 8@lagg1_vlan1000: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 9@lagg1_vlan1001: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 10@lagg1_vlan1002: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 11@lagg1_vlan1003: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 12@lagg1_vlan1011: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 13@lagg1_vlan1020: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 14@lagg1_vlan1150: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 15@lagg1_vlan4000: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 16@lagg1_vlan4001: INIT -> BACKUP (initialization complete)
Feb 18 22:10:01 DEHAM01-FW01 kernel: carp: 17@lagg1_vlan47: INIT -> BACKUP (initialization complete)
Feb 18 22:10:02 DEHAM01-FW01 kernel: carp: demoted by 240 to 240 (pfsync bulk start)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 2@lagg1_vlan10: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 3@lagg1_vlan40: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 4@lagg1_vlan42: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 5@lagg1_vlan43: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 6@lagg1_vlan44: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 7@lagg1_vlan150: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 8@lagg1_vlan1000: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 9@lagg1_vlan1001: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 10@lagg1_vlan1002: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 11@lagg1_vlan1003: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 12@lagg1_vlan1011: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 13@lagg1_vlan1020: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 14@lagg1_vlan1150: BACKUP -> MASTER (master timed out)
Feb 18 22:10:04 DEHAM01-FW01 kernel: carp: 15@lagg1_vlan4000: BACKUP -> MASTER (master timed out)
Feb 18 22:10:05 DEHAM01-FW01 kernel: carp: 16@lagg1_vlan4001: BACKUP -> MASTER (master timed out)
Feb 18 22:10:05 DEHAM01-FW01 kernel: carp: 17@lagg1_vlan47: BACKUP -> MASTER (master timed out)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 480 (send error 50 on lagg1_vlan40)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 720 (send error 50 on lagg1_vlan10)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 960 (send error 50 on lagg1_vlan47)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 1200 (send error 50 on lagg1_vlan4001)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 1440 (send error 50 on lagg1_vlan4000)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 1680 (send error 50 on lagg1_vlan1150)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 1920 (send error 50 on lagg1_vlan1020)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 2160 (send error 50 on lagg1_vlan1011)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 2400 (send error 50 on lagg1_vlan1003)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 2640 (send error 50 on lagg1_vlan1002)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 2880 (send error 50 on lagg1_vlan1001)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 3120 (send error 50 on lagg1_vlan1000)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 3360 (send error 50 on lagg1_vlan150)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 3600 (send error 50 on lagg1_vlan44)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 3840 (send error 50 on lagg1_vlan43)
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 4080 (send error 50 on lagg1_vlan42)
Feb 18 22:11:07 DEHAM01-FW01 kernel: carp: demoted by -240 to 3840 (pfsync bulk fail)


Habe nun erst Node 2 neugestartet der war dann mit allen vlans plötzlich master nur WAN nicht, habe dann den master neugestartet dann war node 2 master mit allem hat seine ressourcen aber nicht dem Node 1 zurückgegeben. Ich raff es nicht :/

Habe aufm Node 2 jetzt carp wieder deaktiviert damit node 1 wieder master in allem wird.

https://forums.freebsd.org/threads/carp-problem-again-again-and-again.59298/

Das habe ich noch gefunden zu dem Thema... Besteht das immer noch?
Title: Re: CARP Problem
Post by: mimugmail on February 19, 2019, 08:40:55 am
Hast du es denn mal mit Failover statt LACP probiert? Mit spanning-tree etc. kann nix sein oder? Ich würde eher nach dem Fehler mit dem send suchen. Normalerweise ist das eigentlich kein Problem.

Disable preemption auf der HA seite? War da ein Screenshot von beiden Systemen mit dabei?
Title: Re: CARP Problem
Post by: Sven-J on February 19, 2019, 10:34:59 am
Hast du es denn mal mit Failover statt LACP probiert? Mit spanning-tree etc. kann nix sein oder? Ich würde eher nach dem Fehler mit dem send suchen. Normalerweise ist das eigentlich kein Problem.

Disable preemption auf der HA seite? War da ein Screenshot von beiden Systemen mit dabei?

Moin,

so ich komme dem Fehler wohl näher.

FW01 - Master:

lagg1_vlan47: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        ether 5c:b9:01:d7:83:48
        inet6 fe80::5eb9:1ff:fed7:8348%lagg1_vlan47 prefixlen 64 scopeid 0x1e
        inet 10.100.47.251 netmask 0xffffff00 broadcast 10.100.47.255
        inet 10.100.47.254 netmask 0xffffff00 broadcast 10.100.47.255 vhid 17
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect
        status: active
        vlan: 47 vlanpcp: 0 parent interface: lagg1
        carp: MASTER vhid 17 advbase 1 advskew 0
        groups: vlan defaultgroup


root@DEHAM01-FW01:/var/log # ping 10.100.47.252
PING 10.100.47.252 (10.100.47.252): 56 data bytes
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
^C
--- 10.100.47.252 ping statistics ---
8 packets transmitted, 0 packets received, 100.0% packet loss
root@DEHAM01-FW01:/var/log # ping 10.100.47.251
PING 10.100.47.251 (10.100.47.251): 56 data bytes
64 bytes from 10.100.47.251: icmp_seq=0 ttl=64 time=0.050 ms
64 bytes from 10.100.47.251: icmp_seq=1 ttl=64 time=0.024 ms
^C
--- 10.100.47.251 ping statistics ---
2 packets transmitted, 2 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.024/0.037/0.050/0.013 ms
root@DEHAM01-FW01:/var/log # ping 10.100.47.254
PING 10.100.47.254 (10.100.47.254): 56 data bytes
64 bytes from 10.100.47.254: icmp_seq=0 ttl=64 time=0.037 ms
64 bytes from 10.100.47.254: icmp_seq=1 ttl=64 time=0.025 ms
^C
--- 10.100.47.254 ping statistics ---
2 packets transmitted, 2 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.025/0.031/0.037/0.006 ms
root@DEHAM01-FW01:/var/log #


FW02:
lagg1_vlan47: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        ether 2c:76:8a:5c:f8:f0
        inet6 fe80::2e76:8aff:fe5c:f8f0%lagg1_vlan47 prefixlen 64 scopeid 0x1e
        inet 10.100.47.252 netmask 0xffffff00 broadcast 10.100.47.255
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect
        status: active
        vlan: 47 vlanpcp: 0 parent interface: lagg1
        groups: vlan defaultgroup


root@DEHAM01-FW02:~ # ping 10.100.47.251
PING 10.100.47.251 (10.100.47.251): 56 data bytes
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
ping: sendto: Host is down
^C
--- 10.100.47.251 ping statistics ---
13 packets transmitted, 0 packets received, 100.0% packet loss
root@DEHAM01-FW02:~ # ping 10.100.47.252
PING 10.100.47.252 (10.100.47.252): 56 data bytes
64 bytes from 10.100.47.252: icmp_seq=0 ttl=64 time=0.047 ms
64 bytes from 10.100.47.252: icmp_seq=1 ttl=64 time=0.029 ms
^C
--- 10.100.47.252 ping statistics ---
2 packets transmitted, 2 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.029/0.038/0.047/0.009 ms
root@DEHAM01-FW02:~ # ping 10.100.47.254
PING 10.100.47.254 (10.100.47.254): 56 data bytes


root@DEHAM01-FW02:/var/log # ping 169.254.1.2
PING 169.254.1.2 (169.254.1.2): 56 data bytes
64 bytes from 169.254.1.2: icmp_seq=0 ttl=64 time=0.059 ms
^C
--- 169.254.1.2 ping statistics ---
1 packets transmitted, 1 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.059/0.059/0.059/0.000 ms
root@DEHAM01-FW02:/var/log # ping 169.254.1.1
PING 169.254.1.1 (169.254.1.1): 56 data bytes
64 bytes from 169.254.1.1: icmp_seq=0 ttl=64 time=0.183 ms
64 bytes from 169.254.1.1: icmp_seq=1 ttl=64 time=0.323 ms
^C
--- 169.254.1.1 ping statistics ---
2 packets transmitted, 2 packets received, 0.0% packet loss
round-trip min/avg/max/stddev = 0.183/0.253/0.323/0.070 ms


Kommunikation über dem HA-Netz funktioniert aber. Ich check es nicht :!

Jetzt wirds strange, wenn ich aus dem LAGG1 LACP einfach ein Failover/Roundrobin mache funktioniert es. Das scheint wohl am LACP auf den bxe0,bxe1 zu liegen
Title: Re: CARP Problem
Post by: mimugmail on February 19, 2019, 08:31:26 pm
Das sieht mir eher danach aus als wäre das VLAN auf dem Switch nicht angelegt und die beiden können sich nicht sehen. Ich hab das heute bei nem Kunden frisch so konfiguriert (LACP und darauf VLANs), es geht auf jeden Fall ;)
Title: Re: CARP Problem
Post by: Sven-J on February 20, 2019, 06:30:48 am
Das sieht mir eher danach aus als wäre das VLAN auf dem Switch nicht angelegt und die beiden können sich nicht sehen. Ich hab das heute bei nem Kunden frisch so konfiguriert (LACP und darauf VLANs), es geht auf jeden Fall ;)

<DEHAM01-CORE-01>display interface Bridge-Aggregation 1
Bridge-Aggregation1
Current state: UP
IP packet frame type: Ethernet II, hardware address: 5c8a-3850-2332
Description: LACP-FW-1-INET
Bandwidth: 2000000 kbps
2Gbps-speed mode, full-duplex mode
Link speed type is autonegotiation, link duplex type is autonegotiation
PVID: 15
Port link-type: Access
 Tagged VLANs:   None
 Untagged VLANs: 15
Last clearing of counters: Never
Last 300 seconds input:  112 packets/sec 91282 bytes/sec 0%
Last 300 seconds output:  113 packets/sec 88820 bytes/sec 0%
Input (total):  69182321 packets, 15868738090 bytes
        68822555 unicasts, 88195 broadcasts, 271571 multicasts, 0 pauses
Input (normal):  69182321 packets, - bytes
        68822555 unicasts, 88195 broadcasts, 271571 multicasts, 0 pauses
Input:  0 input errors, 0 runts, 0 giants, 0 throttles
        0 CRC, 0 frame, - overruns, 0 aborts
        - ignored, - parity errors
Output (total): 683819046 packets, 988166268219 bytes
        682716902 unicasts, 224279 broadcasts, 877865 multicasts, 0 pauses

<DEHAM01-CORE-01>display interface Bridge-Aggregation 2
Bridge-Aggregation2
Current state: UP
IP packet frame type: Ethernet II, hardware address: 5c8a-3850-2333
Description: LACP-FW-1-trunk
Bandwidth: 20000000 kbps
20Gbps-speed mode, full-duplex mode
Link speed type is autonegotiation, link duplex type is autonegotiation
PVID: 1
Port link-type: Trunk
 VLAN Passing:   1(default vlan), 10, 40, 42-44, 47, 150, 500-506, 547, 551-552, 1000-1003, 1011, 1020, 1150, 4000-4001
 VLAN permitted: 1(default vlan), 10, 40-4094
 Trunk port encapsulation: IEEE 802.1q
Last clearing of counters: Never
Last 300 seconds input:  23 packets/sec 4297 bytes/sec 0%
Last 300 seconds output:  19 packets/sec 6576 bytes/sec 0%
Input (total):  1305255099 packets, 1730191247711 bytes
        1302081181 unicasts, 7510 broadcasts, 3166408 multicasts, 0 pauses
Input (normal):  1305255099 packets, - bytes
        1302081181 unicasts, 7510 broadcasts, 3166408 multicasts, 0 pauses
Input:  0 input errors, 0 runts, 0 giants, 0 throttles
        0 CRC, 0 frame, - overruns, 0 aborts
        - ignored, - parity errors
Output (total): 690755112 packets, 753149602631 bytes
        688259838 unicasts, 154091 broadcasts, 2341183 multicasts, 0 pauses
Output (normal): 690755112 packets, - bytes
        688259838 unicasts, 154091 broadcasts, 2341183 multicasts, 0 pauses
Output: 0 output errors, - underruns, - buffer failures
        0 aborts, 0 deferred, 0 collisions, 0 late collisions
        0 lost carrier, - no carrier

<DEHAM01-CORE-01>display interface Bridge-Aggregation 4
Bridge-Aggregation4
Current state: UP
IP packet frame type: Ethernet II, hardware address: 5c8a-3850-2335
Description: LACP-FW-2-trunk
Bandwidth: 20000000 kbps
20Gbps-speed mode, full-duplex mode
Link speed type is autonegotiation, link duplex type is autonegotiation
PVID: 3
Port link-type: Trunk
 VLAN Passing:   3, 10, 40, 42-44, 47, 150, 500-506, 547, 551-552, 1000-1003, 1011, 1020, 1150, 4000-4001
 VLAN permitted: 3, 10, 40-4094
 Trunk port encapsulation: IEEE 802.1q
Last clearing of counters: Never
Last 300 seconds input:  0 packets/sec 126 bytes/sec 0%
Last 300 seconds output:  12 packets/sec 2172 bytes/sec 0%
Input (total):  2361306 packets, 2234309304 bytes
        1517489 unicasts, 1323 broadcasts, 842494 multicasts, 0 pauses
Input (normal):  2361306 packets, - bytes
        1517489 unicasts, 1323 broadcasts, 842494 multicasts, 0 pauses
Input:  0 input errors, 0 runts, 0 giants, 0 throttles
        0 CRC, 0 frame, - overruns, 0 aborts
        - ignored, - parity errors
Output (total): 5115311 packets, 1190861340 bytes
        776382 unicasts, 141679 broadcasts, 4197250 multicasts, 0 pauses
Output (normal): 5115311 packets, - bytes
        776382 unicasts, 141679 broadcasts, 4197250 multicasts, 0 pauses
Output: 0 output errors, - underruns, - buffer failures
        0 aborts, 0 deferred, 0 collisions, 0 late collisions
        0 lost carrier, - no carrier
      
<DEHAM01-CORE-01>display interface Bridge-Aggregation 3
Bridge-Aggregation3
Current state: UP
IP packet frame type: Ethernet II, hardware address: 5c8a-3850-2334
Description: LACP-FW-2-INET
Bandwidth: 2000000 kbps
2Gbps-speed mode, full-duplex mode
Link speed type is autonegotiation, link duplex type is autonegotiation
PVID: 15
Port link-type: Access
 Tagged VLANs:   None
 Untagged VLANs: 15
Last clearing of counters: Never
Last 300 seconds input:  1 packets/sec 78 bytes/sec 0%
Last 300 seconds output:  2 packets/sec 232 bytes/sec 0%
Input (total):  1173615 packets, 484490037 bytes
        1051210 unicasts, 87942 broadcasts, 34463 multicasts, 0 pauses
Input (normal):  1173615 packets, - bytes
        1051210 unicasts, 87942 broadcasts, 34463 multicasts, 0 pauses
Input:  0 input errors, 0 runts, 0 giants, 0 throttles
        0 CRC, 0 frame, - overruns, 0 aborts
        - ignored, - parity errors
Output (total): 3160504 packets, 1886456666 bytes
        1821496 unicasts, 224600 broadcasts, 1114408 multicasts, 0 pauses
Output (normal): 3160504 packets, - bytes
        1821496 unicasts, 224600 broadcasts, 1114408 multicasts, 0 pauses
Output: 0 output errors, - underruns, - buffer failures
        0 aborts, 0 deferred, 0 collisions, 0 late collisions
        0 lost carrier, - no carrier
   
      


Wie man sieht alles da. Bridge-Aggregation 1 + 2 Firewall 1 (1 = WAN / 2 = TRUNK) 3 + 4 Firewall 2 (3= WAN / 4 = TRUNK)
Title: Re: CARP Problem
Post by: mimugmail on February 20, 2019, 07:22:53 am
Dann schau mit tcpdump auf dem Vlan ich ob du den Ping der Gegenstelle siehst. Wenn ja, FW, wenn nicht Vlan
Title: Re: CARP Problem
Post by: Sven-J on February 20, 2019, 10:22:17 am
Dann schau mit tcpdump auf dem Vlan ich ob du den Ping der Gegenstelle siehst. Wenn ja, FW, wenn nicht Vlan

Die Frage ist halt welches vlan hat denn ein Problem das habe ich noch nicht herausgefunden...
lagg0: Hier sieht man was auf den Interfaces:

root@DEHAM01-FW01:~ # tcpdump -i lagg0 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg0, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36
 00:00:00.000023 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36
 00:00:02.009931 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36
 00:00:00.000022 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36


root@DEHAM01-FW02:~ # tcpdump -i lagg0 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg0, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36
 00:00:02.008065 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36
 00:00:02.011843 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36


lagg1:
root@DEHAM01-FW01:~ # tcpdump -i lagg1_vlan10 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan10, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.941046 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.944357 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:02.019615 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.998975 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.995011 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.991991 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.947848 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.960193 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.939598 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
^C
10 packets captured
12 packets received by filter
0 packets dropped by kernel
root@DEHAM01-FW01:~ # tcpdump -i lagg1_vlan40 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan40, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
 00:00:01.972066 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
 00:00:01.945273 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
 00:00:01.992690 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
^C
4 packets captured
200 packets received by filter
0 packets dropped by kernel
root@DEHAM01-FW01:~ # tcpdump -i lagg1_vlan42 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan42, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.42.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 4, prio 240, authtype none, intvl 1s, length 36
 00:00:01.982081 IP 10.100.42.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 4, prio 240, authtype none, intvl 1s, length 36
 00:00:02.005943 IP 10.100.42.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 4, prio 240, authtype none, intvl 1s, length 36
^C
3 packets captured
30 packets received by filter
0 packets dropped by kernel
root@DEHAM01-FW01:~ # tcpdump -i lagg1_vlan43 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan43, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:01.951765 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:02.001060 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:02.005929 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:01.971391 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:02.029615 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:01.996054 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:02.003951 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:01.970545 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:01.999970 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
 00:00:01.942550 IP 10.100.43.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 5, prio 240, authtype none, intvl 1s, length 36
^C
11 packets captured
403 packets received by filter
0 packets dropped by kernel
root@DEHAM01-FW01:~ # tcpdump -i lagg1_vlan44 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan44, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.44.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 6, prio 240, authtype none, intvl 1s, length 36
 00:00:01.968267 IP 10.100.44.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 6, prio 240, authtype none, intvl 1s, length 36
 00:00:01.961686 IP 10.100.44.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 6, prio 240, authtype none, intvl 1s, length 36
 00:00:01.945056 IP 10.100.44.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 6, prio 240, authtype none, intvl 1s, length 36
 00:00:01.987084 IP 10.100.44.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 6, prio 240, authtype none, intvl 1s, length 36
 00:00:01.943265 IP 10.100.44.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 6, prio 240, authtype none, intvl 1s, length 36
^C
6 packets captured
8 packets received by filter
0 packets dropped by kernel
root@DEHAM01-FW01:~ # tcpdump -i lagg1_vlan47 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan47, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.47.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 17, prio 240, authtype none, intvl 1s, length 36
 00:00:01.991137 IP 10.100.47.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 17, prio 240, authtype none, intvl 1s, length 36
 00:00:02.017017 IP 10.100.47.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 17, prio 240, authtype none, intvl 1s, length 36
 00:00:01.991844 IP 10.100.47.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 17, prio 240, authtype none, intvl 1s, length 36




root@DEHAM01-FW02:~ # tcpdump -i lagg1_vlan10 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan10, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.942515 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.975992 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.956651 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.968317 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
 00:00:01.961620 IP 10.100.10.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 2, prio 240, authtype none, intvl 1s, length 36
^C
6 packets captured
6 packets received by filter
0 packets dropped by kernel
root@DEHAM01-FW02:~ # tcpdump -i lagg1_vlan40 -ttt -n proto CARP
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lagg1_vlan40, link-type EN10MB (Ethernet), capture size 262144 bytes
 00:00:00.000000 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
 00:00:02.010778 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
 00:00:02.000065 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
 00:00:01.991105 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36
 00:00:02.017048 IP 10.100.40.251 > 224.0.0.18: VRRPv2, Advertisement, vrid 3, prio 240, authtype none, intvl 1s, length 36


Title: Re: CARP Problem
Post by: mimugmail on February 20, 2019, 09:34:34 pm
Also ich hab heut das System von gestern ausgeliefert und sobald ich die neuen Switche an die alte Infrastruktur gesteckt hab, hat der alte Switch die Carp Pakete vom LAN verschluckt. (Dell) .. hab ich noch nie gesehen sowas. Dann hab ich das Vlan aus dem Uplink Trunk raus und schon ging's .. bringt aber nix wenn die Firewall dann das LAN nicht sieht :P
Title: Re: CARP Problem
Post by: Sven-J on February 21, 2019, 04:09:49 pm
Also ich hab heut das System von gestern ausgeliefert und sobald ich die neuen Switche an die alte Infrastruktur gesteckt hab, hat der alte Switch die Carp Pakete vom LAN verschluckt. (Dell) .. hab ich noch nie gesehen sowas. Dann hab ich das Vlan aus dem Uplink Trunk raus und schon ging's .. bringt aber nix wenn die Firewall dann das LAN nicht sieht :P

Moin,

hmm die CARP Pakete sehe ich ja auf beiden FWs wenn ich die tcpdumps richtig verstehe. ;!
Title: Re: CARP Problem
Post by: bewue on February 21, 2019, 04:39:30 pm
Quote
00:00:00.000000 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36

Hast du die virtuellen CARP IPs damals händisch auch auf der Backup-Maschine angelegt oder dies der XMLRPC-Sync Funktion überlassen?

prio 240 ist hier seltsam. Der Master sollte Advertisements mit prio 0 versenden.
Wie bei den Virtual IP Settings bei "Advertising Frequency: Base" angegeben.

Auf dem Master sollten alle virtuellen CARP IPs mit "Advertising Frequency: Base 1, Skew 0"
und auf der Backup Maschine mit "Base 1, Skew 100" konfiguriert sein!
Überprüf das mal.

Zusätzlich könntest du bei "Disable preempt" den Haken auf beiden Maschinen entfernen falls du ihn gesetzt hast.

Wenn es dann immer noch Probleme gibt mal beide Maschinen rebooten.
Title: Re: CARP Problem
Post by: Sven-J on February 21, 2019, 06:36:06 pm
Quote
00:00:00.000000 IP xxx.xxx.142.179 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 240, authtype none, intvl 1s, length 36

Hast du die virtuellen CARP IPs damals händisch auch auf der Backup-Maschine angelegt oder dies der XMLRPC-Sync Funktion überlassen?

prio 240 ist hier seltsam. Der Master sollte Advertisements mit prio 0 versenden.
Wie bei den Virtual IP Settings bei "Advertising Frequency: Base" angegeben.

Auf dem Master sollten alle virtuellen CARP IPs mit "Advertising Frequency: Base 1, Skew 0"
und auf der Backup Maschine mit "Base 1, Skew 100" konfiguriert sein!
Überprüf das mal.

Zusätzlich könntest du bei "Disable preempt" den Haken auf beiden Maschinen entfernen falls du ihn gesetzt hast.

Wenn es dann immer noch Probleme gibt mal beide Maschinen rebooten.

Huhu,

danke erstmal!

Also FW01:

Advertising Frequency Base 1, Skew 0

FW02:

Advertising Frequency Base 1, Skew 100

Für alle Netze oder muss hier immer für jedes netz ne andere Base genommen werden? VHID ist unterschiedlich. Also vlan10 hat vhid2, freq 1 / 0 bzw. vhid2, freq 1 / 100 auf FW02.

disable preempt ist der haken nicht gesetzt auf beiden. 

Reboot habe ich schon die ganze Zeit gemacht... Nach nem reboot ist dann einfach Chaos.

die CARP Ips hat XMLRPC übertragen, ich habe nur in jedem Netz halt auf jedem Host ne IP erstellt

FW01 -> 251
FW02 -> 252
CARP -> 254

LG
Sven

Title: Re: CARP Problem
Post by: bewue on February 21, 2019, 09:26:19 pm
Quote
Für alle Netze oder muss hier immer für jedes netz ne andere Base genommen werden? VHID ist unterschiedlich. Also vlan10 hat vhid2, freq 1 / 0 bzw. vhid2, freq 1 / 100 auf FW02.

Das sollte alles so passen!

Weiter oben im Thread sind Logs von dir mit:
Quote
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 480 (send error 50 on lagg1_vlan40)

Anscheinend wird wegen diesem "send error 50" das Interface auf den advskew Wert 240 runtergestuft.
Dazu habe ich folgendes gefunden:
https://groups.google.com/forum/#!topic/muc.lists.freebsd.stable/vFkufX8mfDc (https://groups.google.com/forum/#!topic/muc.lists.freebsd.stable/vFkufX8mfDc)
Also:
net.inet.carp.senderr_demotion_factor -> 10

Mit LACP habe ich keine Erfahrung, aber das scheint ja die Ursache für die ganze Misere zu sein.
Title: Re: CARP Problem
Post by: Sven-J on February 22, 2019, 07:21:56 am
Quote
Für alle Netze oder muss hier immer für jedes netz ne andere Base genommen werden? VHID ist unterschiedlich. Also vlan10 hat vhid2, freq 1 / 0 bzw. vhid2, freq 1 / 100 auf FW02.

Das sollte alles so passen!

Weiter oben im Thread sind Logs von dir mit:
Quote
Feb 18 22:10:07 DEHAM01-FW01 kernel: carp: demoted by 240 to 480 (send error 50 on lagg1_vlan40)

Anscheinend wird wegen diesem "send error 50" das Interface auf den advskew Wert 240 runtergestuft.
Dazu habe ich folgendes gefunden:
https://groups.google.com/forum/#!topic/muc.lists.freebsd.stable/vFkufX8mfDc (https://groups.google.com/forum/#!topic/muc.lists.freebsd.stable/vFkufX8mfDc)
Also:
net.inet.carp.senderr_demotion_factor -> 10

Mit LACP habe ich keine Erfahrung, aber das scheint ja die Ursache für die ganze Misere zu sein.

Moin,

hmm das muss ich doch unter System -> Settings -> Tunables -> Add ->
Tunable = net.inet.carp.senderr_demotion_factor
Value = 10

setzen oder?
Title: Re: CARP Problem
Post by: mimugmail on February 22, 2019, 08:45:20 am
Bei dem tcpdump musst du vor jedem Output die lokale IP der Maschine hinschreiben.
Man kann ja nicht wissen ob es das Paket von der eigenen oder entfernten Maschine ist.

Bitte .. nicht an den tunables spielen .. nur weil einer meint das hat ihm geholfen muss es nicht richtig sein. Du kannst es machen, vielleicht geht es dann auch, aber du wirst nie verstehen wieso und weisst dann auch nie warum es überhaupt funktioniert. Nimm dir die Zeit an das betreffende Interface einen separaten Switch zu hängen und beide Firewall dran. Tritt das Problem für dieses IF immer noch auf?
Title: Re: CARP Problem
Post by: Sven-J on February 22, 2019, 09:34:32 am
Bei dem tcpdump musst du vor jedem Output die lokale IP der Maschine hinschreiben.
Man kann ja nicht wissen ob es das Paket von der eigenen oder entfernten Maschine ist.

Bitte .. nicht an den tunables spielen .. nur weil einer meint das hat ihm geholfen muss es nicht richtig sein. Du kannst es machen, vielleicht geht es dann auch, aber du wirst nie verstehen wieso und weisst dann auch nie warum es überhaupt funktioniert. Nimm dir die Zeit an das betreffende Interface einen separaten Switch zu hängen und beide Firewall dran. Tritt das Problem für dieses IF immer noch auf?

Moin,

naja ich habe keine Möglichkeit das anders zu testen. Laut Logs liegt das halt schon am LACP und wirklich näher kommen tue ich halt auch nicht dem Problem...

Was ich nur weiß es liegt am LACP, nur da drauf möchte ich halt nicht Verzichten. Und sonst habe ich halt keine Ahnung woher ich sonst noch Unterstützung erhalte ausser hier.

LG
Sven-J
Title: Re: CARP Problem
Post by: mimugmail on February 22, 2019, 09:53:22 am
Du hast doch im Post oben von allen Maschinen und Interfaces tcpdumps gemacht .. jetzt müsste man nur noch wissen welche Firewall welche IPs hat, dann kommt man dem vielleicht näher
Title: Re: CARP Problem
Post by: Sven-J on February 22, 2019, 10:04:32 am
Du hast doch im Post oben von allen Maschinen und Interfaces tcpdumps gemacht .. jetzt müsste man nur noch wissen welche Firewall welche IPs hat, dann kommt man dem vielleicht näher

Moin,

FW01 -> 251 / xxx.xxx.142.179
FW02 -> 252 / xxx.xxx.142.180
CARP -> 254 / xxx.xxx.142.178


Viele Grüße
Sven
Title: Re: CARP Problem
Post by: mimugmail on February 22, 2019, 12:28:02 pm
<DEHAM01-CORE-01>display interface Bridge-Aggregation 4
Bridge-Aggregation4
Current state: UP
IP packet frame type: Ethernet II, hardware address: 5c8a-3850-2335
Description: LACP-FW-2-trunk
Bandwidth: 20000000 kbps
20Gbps-speed mode, full-duplex mode
Link speed type is autonegotiation, link duplex type is autonegotiation
PVID: 3
Port link-type: Trunk
 VLAN Passing:   3, 10, 40, 42-44, 47, 150, 500-506, 547, 551-552, 1000-1003, 1011, 1020, 1150, 4000-4001
 VLAN permitted: 3, 10, 40-4094
 Trunk port encapsulation: IEEE 802.1q
Last clearing of counters: Never
Last 300 seconds input:  0 packets/sec 126 bytes/sec 0%
Last 300 seconds output:  12 packets/sec 2172 bytes/sec 0%
Input (total):  2361306 packets, 2234309304 bytes
        1517489 unicasts, 1323 broadcasts, 842494 multicasts, 0 pauses
Input (normal):  2361306 packets, - bytes
        1517489 unicasts, 1323 broadcasts, 842494 multicasts, 0 pauses
Input:  0 input errors, 0 runts, 0 giants, 0 throttles
        0 CRC, 0 frame, - overruns, 0 aborts
        - ignored, - parity errors
Output (total): 5115311 packets, 1190861340 bytes
        776382 unicasts, 141679 broadcasts, 4197250 multicasts, 0 pauses
Output (normal): 5115311 packets, - bytes
        776382 unicasts, 141679 broadcasts, 4197250 multicasts, 0 pauses
Output: 0 output errors, - underruns, - buffer failures
        0 aborts, 0 deferred, 0 collisions, 0 late collisions
        0 lost carrier, - no carrier




Wie hast du der OPNsense beigebracht das native VLAN 3 ist? die LACP's von FW1 und FW2 unterscheiden sich ...
Title: Re: CARP Problem
Post by: Sven-J on February 22, 2019, 12:34:19 pm
Vlan 3 wird nicht benutzt ist nur für Security Reasons auf jedem Port. Die Firewall benutzt ab vlan10 aufwärts.

Gesendet von meinem SM-N950F mit Tapatalk

Title: Re: CARP Problem
Post by: mimugmail on February 22, 2019, 12:41:31 pm
<DEHAM01-CORE-01>display interface Bridge-Aggregation 2
PVID: 1
Port link-type: Trunk
 VLAN Passing:   1(default vlan), 10, 40, 42-44, 47, 150, 500-506, 547, 551-552, 1000-1003, 1011, 1020, 1150, 4000-4001
 VLAN permitted: 1(default vlan), 10, 40-4094

<DEHAM01-CORE-01>display interface Bridge-Aggregation 4
PVID: 3
Port link-type: Trunk
 VLAN Passing:   3, 10, 40, 42-44, 47, 150, 500-506, 547, 551-552, 1000-1003, 1011, 1020, 1150, 4000-4001
 VLAN permitted: 3, 10, 40-4094

Ich verstehe nicht wieso BA2 und BA4 nicht identisch konfiguriert sind, was ist da der Hintergrund?
Title: Re: CARP Problem
Post by: Wurzlsepp on February 23, 2019, 05:18:19 pm
Moin,

B2 und B4 sind nicht gleich weil der Switch-Admin einen Fehler gemacht hat.
Das Problem ist dennoch B4 und nicht etwa CARP in meinen Augen. Die Opnsense Box registriert die LACP Lakete des Switch möglicherweise nicht oder wir haben ein Übertragungsproblem (Layer 1). Dagegen spricht aber dass der Link auf Failover scheinbar funktioniert.
Siehe Status der BAs auf dem System:
<DEHAM01-CORE-01>display link-aggregation verbose Bridge-Aggregation 1
Loadsharing Type: Shar -- Loadsharing, NonS -- Non-Loadsharing
Port Status: S -- Selected, U -- Unselected, 
             I -- Individual, * -- Management port
Flags:  A -- LACP_Activity, B -- LACP_Timeout, C -- Aggregation,
        D -- Synchronization, E -- Collecting, F -- Distributing,
        G -- Defaulted, H -- Expired

Aggregate Interface: Bridge-Aggregation1
Aggregation Mode: Dynamic
Loadsharing Type: Shar
Management VLAN : None
System ID: 0x8000, 5c8a-3850-22ef
Local:
  Port             Status  Priority Oper-Key  Flag
--------------------------------------------------------------------------------
  XGE1/0/27        S       32768    5         {ACDEF}
  XGE2/0/27        S       32768    5         {ACDEF}
Remote:
  Actor            Partner Priority Oper-Key  SystemID               Flag   
--------------------------------------------------------------------------------
  XGE1/0/27        3       32768    427       0x8000, 2c76-8a54-2530 {ACDEF}
  XGE2/0/27        4       32768    427       0x8000, 2c76-8a54-2530 {ACDEF}
<DEHAM01-CORE-01>display link-aggregation verbose Bridge-Aggregation 12
                                                                     ^
 % Wrong parameter found at '^' position.
<DEHAM01-CORE-01>display link-aggregation verbose Bridge-Aggregation 2
Loadsharing Type: Shar -- Loadsharing, NonS -- Non-Loadsharing
Port Status: S -- Selected, U -- Unselected, 
             I -- Individual, * -- Management port
Flags:  A -- LACP_Activity, B -- LACP_Timeout, C -- Aggregation,
        D -- Synchronization, E -- Collecting, F -- Distributing,
        G -- Defaulted, H -- Expired

Aggregate Interface: Bridge-Aggregation2
Aggregation Mode: Dynamic
Loadsharing Type: Shar
Management VLAN : None
System ID: 0x8000, 5c8a-3850-22ef
Local:
  Port             Status  Priority Oper-Key  Flag
--------------------------------------------------------------------------------
  XGE1/0/28        S       32768    4         {ACDEF}
  XGE2/0/28        S       32768    4         {ACDEF}
Remote:
  Actor            Partner Priority Oper-Key  SystemID               Flag   
--------------------------------------------------------------------------------
  XGE1/0/28        1       32768    466       0x8000, 5cb9-01d7-8348 {ACDEF}
  XGE2/0/28        2       32768    466       0x8000, 5cb9-01d7-8348 {ACDEF}
<DEHAM01-CORE-01>display link-aggregation verbose Bridge-Aggregation 3
Loadsharing Type: Shar -- Loadsharing, NonS -- Non-Loadsharing
Port Status: S -- Selected, U -- Unselected, 
             I -- Individual, * -- Management port
Flags:  A -- LACP_Activity, B -- LACP_Timeout, C -- Aggregation,
        D -- Synchronization, E -- Collecting, F -- Distributing,
        G -- Defaulted, H -- Expired

Aggregate Interface: Bridge-Aggregation3
Aggregation Mode: Dynamic
Loadsharing Type: Shar
Management VLAN : None
System ID: 0x8000, 5c8a-3850-22ef
Local:
  Port             Status  Priority Oper-Key  Flag
--------------------------------------------------------------------------------
  XGE1/0/29        S       32768    7         {ACDEF}
  XGE2/0/29        S       32768    7         {ACDEF}
Remote:
  Actor            Partner Priority Oper-Key  SystemID               Flag   
--------------------------------------------------------------------------------
  XGE1/0/29        3       32768    427       0x8000, ac16-2d8c-0b14 {ACDEF}
  XGE2/0/29        4       32768    427       0x8000, ac16-2d8c-0b14 {ACDEF}
<DEHAM01-CORE-01>display link-aggregation verbose Bridge-Aggregation 4
Loadsharing Type: Shar -- Loadsharing, NonS -- Non-Loadsharing
Port Status: S -- Selected, U -- Unselected, 
             I -- Individual, * -- Management port
Flags:  A -- LACP_Activity, B -- LACP_Timeout, C -- Aggregation,
        D -- Synchronization, E -- Collecting, F -- Distributing,
        G -- Defaulted, H -- Expired

Aggregate Interface: Bridge-Aggregation4
Aggregation Mode: Dynamic
Loadsharing Type: Shar
Management VLAN : None
System ID: 0x8000, 5c8a-3850-22ef
Local:
  Port             Status  Priority Oper-Key  Flag
--------------------------------------------------------------------------------
  XGE1/0/30        U       32768    6         {ABCG}
  XGE2/0/30        U       32768    6         {ACD}
Remote:
  Actor            Partner Priority Oper-Key  SystemID               Flag   
--------------------------------------------------------------------------------
  XGE1/0/30        0       32768    0         0x8000, 0000-0000-0000 {DEF}
  XGE2/0/30        2       32768    466       0x8000, 2c76-8a5c-f8f0 {ACG}
Title: Re: CARP Problem
Post by: Wurzlsepp on February 24, 2019, 11:02:01 pm
So, Rätsel etwas entwirrt.
Firmware Update auf der 10Gbit Karte
LACP geht
FW02 nun überall Backup. FW01 Master.
Sieht soweit gut aus, wir beobachten weiter.
Title: Re: CARP Problem
Post by: mimugmail on February 25, 2019, 06:51:55 am
Super, das war mir auch neu. Aber du bist jetzt nicht der der den Thread erstellt oder?
Title: Re: CARP Problem
Post by: Sven-J on February 25, 2019, 06:53:35 am
Super, das war mir auch neu. Aber du bist jetzt nicht der der den Thread erstellt oder?
Nein er ist mein Super Netzwerker :)

Gesendet von meinem SM-N950F mit Tapatalk

Title: Re: CARP Problem
Post by: rainerle on February 28, 2019, 05:30:45 pm
Hallo zusammen,

ich hatte mit meiner Installation das gleiche Problem. Als dieser Thread durchlief, hab' ich auch die Firmware bei meinen Netzwerkkarten upgedated.

Jetzt läuft das. Die Büchsen wurden 10/2018 ausgeliefert, die Firmware auf den Karten war aber schon etwas älter...

Besten Gruß und Dank!
Rainer