VOIP über VPN funktioniert unter 20.7 nicht mehr

[mimugmail]

Hm, die Paket kommen jetzt auf jeden Fall kleiner an.

[h4p4t3]

Ja, nur noch vereinzelt zu groß.

Wird denn die Größe der Pakete durch die Firewall gesteuert?

Ich würde ja auch einen Bug eröffnen, aber ehrlich gesagt wie ich so gar nicht, wo das Kernproblem zu verorten ist.

[h4p4t3]

So, hat ein wenig gedauert. Jetzt läuft eine zweite Firewall, so dass ich mit den Problemen mit 20.7 nicht so einen Druck habe.

Ich wäre für Tipps zur Problemlösung (oder -findung) sehr dankbar. 

Auf Nachfrage bei GitHub hier der Output von ifconfig:
20.1

Code: [Select]

em0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
        ether f4:90:ea:10:22:de
        hwaddr f4:90:ea:10:22:de
        inet6 fe80::f690:eaff:fe10:22de%em0 prefixlen 64 scopeid 0x1
        inet 192.168.20.58 netmask 0xffffff00 broadcast 192.168.20.255
        inet 192.168.20.61 netmask 0xffffff00 broadcast 192.168.20.255 vhid 1
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        carp: BACKUP vhid 1 advbase 1 advskew 30
em1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
        ether f4:90:ea:10:22:df
        hwaddr f4:90:ea:10:22:df
        inet6 fe80::f690:eaff:fe10:22df%em1 prefixlen 64 scopeid 0x2
        inet 192.168.178.8 netmask 0xffffff00 broadcast 192.168.178.255
        inet 192.168.178.2 netmask 0xffffff00 broadcast 192.168.178.255 vhid 1
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        carp: BACKUP vhid 1 advbase 1 advskew 30
em2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
        ether f4:90:ea:10:22:e0
        hwaddr f4:90:ea:10:22:e0
        inet 192.168.21.58 netmask 0xffffff00 broadcast 192.168.21.255
        inet6 fe80::f690:eaff:fe10:22e0%em2 prefixlen 64 scopeid 0x3
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>
        inet6 ::1 prefixlen 128
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x4
        inet 127.0.0.1 netmask 0xff000000
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: lo
enc0: flags=0<> metric 0 mtu 1536
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: enc
pflog0: flags=100<PROMISC> metric 0 mtu 33160
        groups: pflog
pfsync0: flags=41<UP,RUNNING> metric 0 mtu 1500
        groups: pfsync
        pfsync: syncdev: em2 syncpeer: 192.168.21.59 maxupd: 128 defer: off
ovpns1: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> metric 0 mtu 1500
        options=80000<LINKSTATE>
        inet6 fe80::f690:eaff:fe10:22de%ovpns1 prefixlen 64 scopeid 0x8
        inet 10.10.0.1 --> 10.10.0.2 netmask 0xffffffff
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: tun openvpn
        Opened by PID 16626
ovpns2: flags=8010<POINTOPOINT,MULTICAST> metric 0 mtu 1500
        options=80000<LINKSTATE>
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: tun openvpn

20.7

Code: [Select]

em0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=85209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
        ether f4:90:ea:10:22:de
        inet6 fe80::f690:eaff:fe10:22de%em0 prefixlen 64 scopeid 0x1
        inet 192.168.20.58 netmask 0xffffff00 broadcast 192.168.20.255
        inet 192.168.20.61 netmask 0xffffff00 broadcast 192.168.20.255 vhid 1
        carp: BACKUP vhid 1 advbase 1 advskew 30
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
em1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=85209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
        ether f4:90:ea:10:22:df
        inet 192.168.178.8 netmask 0xffffff00 broadcast 192.168.178.255
        inet 192.168.178.2 netmask 0xffffff00 broadcast 192.168.178.255 vhid 1
        inet6 fe80::f690:eaff:fe10:22df%em1 prefixlen 64 scopeid 0x2
        carp: BACKUP vhid 1 advbase 1 advskew 30
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
em2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=85209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
        ether f4:90:ea:10:22:e0
        inet 192.168.21.58 netmask 0xffffff00 broadcast 192.168.21.255
        inet6 fe80::f690:eaff:fe10:22e0%em2 prefixlen 64 scopeid 0x3
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
enc0: flags=0<> metric 0 mtu 1536
        groups: enc
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        options=680003<RXCSUM,TXCSUM,LINKSTATE,RXCSUM_IPV6,TXCSUM_IPV6>
        inet6 ::1 prefixlen 128
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x5
        inet 127.0.0.1 netmask 0xff000000
        groups: lo
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
pflog0: flags=100<PROMISC> metric 0 mtu 33160
        groups: pflog
pfsync0: flags=41<UP,RUNNING> metric 0 mtu 1500
        pfsync: syncdev: em2 syncpeer: 192.168.21.59 maxupd: 128 defer: off
        groups: pfsync
ovpns1: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> metric 0 mtu 1500
        options=80000<LINKSTATE>
        inet6 fe80::f690:eaff:fe10:22de%ovpns1 prefixlen 64 scopeid 0x8
        inet 10.10.0.1 --> 10.10.0.2 netmask 0xffffffff
        groups: tun openvpn
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        Opened by PID 7115
ovpns2: flags=8010<POINTOPOINT,MULTICAST> metric 0 mtu 1500
        options=80000<LINKSTATE>
        groups: tun openvpn
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>


[franco]

Das einzige was sich ändert sind die Features der Netzwerkkarten:

Code: [Select]

--- 20.1 2020-09-18 15:20:01.000000000 +0200
+++ 20.7 2020-09-18 15:14:05.000000000 +0200
@@ -1,5 +1,5 @@
 em0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
-        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
+        options=85209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
         ether f4:90:ea:10:22:de
         inet6 fe80::f690:eaff:fe10:22de%em0 prefixlen 64 scopeid 0x1
         inet 192.168.20.58 netmask 0xffffff00 broadcast 192.168.20.255
@@ -9,7 +9,7 @@
         status: active
         nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
 em1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
-        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
+        options=85209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
         ether f4:90:ea:10:22:df
         inet 192.168.178.8 netmask 0xffffff00 broadcast 192.168.178.255
         inet 192.168.178.2 netmask 0xffffff00 broadcast 192.168.178.255 vhid 1
@@ -19,7 +19,7 @@
         status: active
         nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
 em2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
-        options=209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC>
+        options=85209b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,WOL_MAGIC,VLAN_HWFILTER,VLAN_HWTSO>
         ether f4:90:ea:10:22:e0
         inet 192.168.21.58 netmask 0xffffff00 broadcast 192.168.21.255
         inet6 fe80::f690:eaff:fe10:22e0%em2 prefixlen 64 scopeid 0x3
@@ -30,7 +30,7 @@
         groups: enc
         nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
 lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
-        options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>
+        options=680003<RXCSUM,TXCSUM,LINKSTATE,RXCSUM_IPV6,TXCSUM_IPV6>
         inet6 ::1 prefixlen 128
         inet6 fe80::1%lo0 prefixlen 64 scopeid 0x5
         inet 127.0.0.1 netmask 0xff000000
Ob das Deaktivieren der HW-Features unter Interfaces: Settings etwas bringt weiss ich allerdings nicht. TSO wäre hier relevant gilt aber traditionell nicht für UDP (TCP segmentation offload). Vielleicht ist dem Treiber das aber egal.


Grüsse
Franco

[h4p4t3]

Bis gerade sah es dort so aus:
Hardware CRC       [ ] Deaktiviere Hardwareprüfsummenentlastung
Hardware TSO       [X] Deaktiviere die Hardware-TCP-Segmentierungsentlastung
Hardware LRO       [X] Deaktiviere die hardwareseitige Entlastung für großen Datenempfang
VLAN Hardware Filterung Aktiviere VLAN-Hardwarefilterung
ARP Handhabung   [ ] ARP-Nachrichten unterdrücken

oberstes Häkchen gesetzt -> augenscheinlich kein Erfolg
(ich mache den Erfolg jetzt mal daran fest, dass man den Status der Kollegen nicht sieht)
Bei Bedarf kann ich aber nochmal ein Packet Capture durchführen.

[Patrick M. Hausen]

Das einzige was sich ändert sind die Features der Netzwerkkarten

Wenn ich mich nicht irre, ist das nicht ganz richtig. Wurde der Treiber nicht beim Wechsel von FreeBSD 11 nach 12 auf iflib umgestellt? Vielleicht hilft es, mal den FreeBSD Bugtracker zu durchsuchen.

Ansonsten ist "alle Hardwarefeatures aus" leider immer erst mal eine gute Idee. Ich hatte sogar in einem Digital Ocean Droplet, also einer VM, eine unterirdische Performance, sobald NAT ins Spiel kam. Immer wenn Hardware Offloading eingeschaltet war. Ohne geht's.

Gruß
Patrick

[franco]

> Wenn ich mich nicht irre, ist das nicht ganz richtig. Wurde der Treiber nicht beim Wechsel von FreeBSD 11 nach 12 auf iflib umgestellt?

Nun ja, es ist schon richtig. Du nennst lediglich den einen möglichen Grund dafür. Die em(4), lem(4) und igb(4) Treiber wurden darüber hinaus zusammengefügt. Auch hier kann es zu Überscheidungen und im schlimmsten Fall zu Bugs kommen.

Was mich etwas verwundert: wenn LRO und TSO aus sind, warum sind dann Flags im ifconfig an...

War das jetzt eine 20.7 oder 20.7.2?


Grüsse
Franco

[franco]

PS: ok die "vlanhwtso" und "tso" flags gibt es beide einzeln.

https://bugs.freebsd.org/bugzilla/show_bug.cgi?id=158635 das bringt uns aber auch nicht weiter. TSO sollte ja bereits aus sein. Oo

[h4p4t3]

War das jetzt eine 20.7 oder 20.7.2?

20.7.2

[h4p4t3]

Ob die neue Firewall dieselben Probleme verursacht? Die Schnittstellen dort werden als igb geführt:

Code: [Select]

igb0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=6400bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
        ether f4:90:ea:00:37:8e
        hwaddr f4:90:ea:00:37:8e
        inet 192.168.20.59 netmask 0xffffff00 broadcast 192.168.20.255
        inet 192.168.20.61 netmask 0xffffff00 broadcast 192.168.20.255 vhid 1
        inet6 fe80::f690:eaff:fe00:378e%igb0 prefixlen 64 scopeid 0x1
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        carp: BACKUP vhid 1 advbase 1 advskew 100
igb1: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=6400bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
        ether f4:90:ea:00:37:8f
        hwaddr f4:90:ea:00:37:8f
        inet6 fe80::f690:eaff:fe00:378f%igb1 prefixlen 64 scopeid 0x2
        inet 192.168.178.9 netmask 0xffffff00 broadcast 192.168.178.255
        inet 192.168.178.2 netmask 0xffffff00 broadcast 192.168.178.255 vhid 1
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
        carp: BACKUP vhid 1 advbase 1 advskew 100
igb2: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
        options=6400bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO,RXCSUM_IPV6,TXCSUM_IPV6>
        ether f4:90:ea:00:37:90
        hwaddr f4:90:ea:00:37:90
        inet6 fe80::f690:eaff:fe00:3790%igb2 prefixlen 64 scopeid 0x3
        inet 192.168.21.59 netmask 0xffffff00 broadcast 192.168.21.255
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
        options=600003<RXCSUM,TXCSUM,RXCSUM_IPV6,TXCSUM_IPV6>
        inet6 ::1 prefixlen 128
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x4
        inet 127.0.0.1 netmask 0xff000000
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: lo
enc0: flags=0<> metric 0 mtu 1536
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: enc
pflog0: flags=100<PROMISC> metric 0 mtu 33160
        groups: pflog
pfsync0: flags=41<UP,RUNNING> metric 0 mtu 1500
        groups: pfsync
        pfsync: syncdev: igb2 syncpeer: 192.168.21.58 maxupd: 128 defer: off
ovpns1: flags=8051<UP,POINTOPOINT,RUNNING,MULTICAST> metric 0 mtu 1500
        options=80000<LINKSTATE>
        inet6 fe80::f690:eaff:fe00:378e%ovpns1 prefixlen 64 scopeid 0x8
        inet 10.10.0.1 --> 10.10.0.2 netmask 0xffffffff
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: tun openvpn
        Opened by PID 56691
ovpns2: flags=8010<POINTOPOINT,MULTICAST> metric 0 mtu 1500
        options=80000<LINKSTATE>
        nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
        groups: tun openvpn


[h4p4t3]

Alle Tipps am Ende?

Ich nehme an, ob die neue Firewall die gleichen Probleme machen wird, kann ich nur rausfinden, wenn ich es ausprobiere. 

[JeGr]

Wenn es tatsächlich HW bedingt durch Treiber ist, wird es wahrscheinlich leider so sein, wenn niemand sonst den Fehler reproduzieren konnte. Ich habe gerade leider keine Testhardware zur Hand :/

[mimugmail]

Oder du kaufst kommerziellen Support ein .. eventuell günstiger als neue Hardware.
Wenn du was altes rumliegen hast macht das im ersten Schritt vielleicht mehr Sinn.

Ich hab schon öfters mit Ad telefoniert, das ist extremst beeindruckend was er da noch an Troubleshooting aus dem Hut zaubern kann.

[h4p4t3]

Wenn es tatsächlich HW bedingt durch Treiber ist, wird es wahrscheinlich leider so sein, wenn niemand sonst den Fehler reproduzieren konnte. Ich habe gerade leider keine Testhardware zur Hand :/

Klar, aber da gibt es einige Seltsamkeiten: Wir haben es hier mit zwei Firewalls von Deciso zu tun, also nichts von mir zusammengebasteltes. Eine stammt aus 2017, eine ist aktuell erworben worden. Beide weisen das gleiche Verhalten auf: Telefonate über VPN funktionieren unter 20.1.9, unter 20.7.3 nicht. Wenn es denn wirklich am Treiber liegt, werde ich mich an Deciso wenden.

Ich habe jetzt noch ein wenig mit der Paketaufzeichnung gespielt.
Erst mal habe ich festgestellt, dass unter beiden Versionen Fragmentierungen auftauchen. Beim Anmeldevorgang unter 20.1.9 12 in 16 Sekunden, unter 20.7.3 8 in 17 Sekunden. Anscheinend liegt es nicht daran.
Was mir darüber hinaus seltsam vorkommt: Die cap-Datei der VPN-Schnittstelle ist immer etwas größer als die der internen Schnittstelle. (Zur Erläuterung: Ich habe immer einmal den Anmeldevorgang und ein kurzes Telefonat mitgeschnitten, 58 ist die Firewall mit 20.1.9, 59 die mit 20.7.3) Nur bei einem Telefonat unter 20.7.3 ist die Differenz deutlich größer. 

Code: [Select]

ls -l
-rwx------ 1   473449 Sep 29 07:05 Anmeldung_202009290705_59_igb0.cap
-rwx------ 1   546555 Sep 29 07:05 Anmeldung_202009290705_59_ovpns1.cap
-rwx------ 1   556494 Sep 29 07:21 Anmeldung_202009290721_58_em0.cap
-rwx------ 1   684096 Sep 29 07:21 Anmeldung_202009290721_58_ovpns1.cap
-rwx------ 1   368416 Sep 29 07:14 Telefonat_202009290714_59_igb0.cap
-rwx------ 1  1118297 Sep 29 07:14 Telefonat_202009290714_59_ovpns1.cap
-rwx------ 1   315630 Sep 29 07:25 Telefonat_202009290725_58_em0.cap
-rwx------ 1   452071 Sep 29 07:25 Telefonat_202009290725_58_ovpns1.cap


[h4p4t3]

Oder du kaufst kommerziellen Support ein .. eventuell günstiger als neue Hardware.
Wenn du was altes rumliegen hast macht das im ersten Schritt vielleicht mehr Sinn.

Ich hab schon öfters mit Ad telefoniert, das ist extremst beeindruckend was er da noch an Troubleshooting aus dem Hut zaubern kann.

Durchaus eine Möglichkeit, die ich in Betracht ziehe. Vor allem macht es viel mehr Sinn jemanden zu bezahlen, der Ahnung hat, als dass ich meine Zeit mit Stochern verbrate.

Aber wer ist Ad?