OPNsense
  • Home
  • Help
  • Search
  • Login
  • Register

  • OPNsense Forum »
  • English Forums »
  • General Discussion »
  • Poor performance on a new setup
« previous next »
  • Print
Pages: [1]

Author Topic: Poor performance on a new setup  (Read 961 times)

decafgeek

  • Newbie
  • *
  • Posts: 5
  • Karma: 0
    • View Profile
Poor performance on a new setup
« on: March 11, 2024, 03:18:01 pm »
Hello,

Hoping someone can point out where I might make adjustments. I am definite newb when it comes to BSD, way more experience with Linux from a driver and networking perspective, so hopefully most of this issue is PEBKAC. I switched our house over to Opnsense from a stock Verizon FiOS router (service is 1Gb). It appeared to go smoothly, but we've noticed performance issues with loading websites, and in particular downloading files. I can get good speeds on the firewall directly with iperf3, but a hard-wired client behind it will only see about a third of that on downloads. Wireless clients are much worse, though I suspect some of that is limitations of the Wifi bands currently used, but it is noticeably worse than when the Verizon box was at the front of the network.

The opnsense box is a SuperMicro A1SRi-2758F with 32GB of RAM - to my knowledge the 'C2000' bug hasn't (yet) affected this board and it has run fine during my testing before I switched it over to be the main gateway. I use the integrated igb ports for my LAN connections, and I have an Intel X540-AT2 dual port 1G/10G card that I use to connect to the Verizon ONT. Please see the attached 'network.png' for the full layout, but essentially:

  • The Verizon box is now just an AP for wifi clients, currently on the 'LAN' VLAN only
  • I have a dedicated interface for MoCA devices (Verizon STBs) to keep them off the main network
  • I use mutliple VLANs on a 2-port LAGG to a Cisco switch that is the core of the house's network
  • I don't use the dedicated/default 'lan' interface in OPNsense, I use one of the VLANs I created
  • Not shown, but I have a ZeroTier interface set up as well
  • All HW offloading (CRC, TSO, VLAN) is disabled
  • No IDS/IPS is enabled

What we've observed after switching over is really poor performance with file downloads/uploads in particular, but also just general lag and choppiness on wifi clients trying to load pages, look at social media, etc. While troubleshooting this, I did follow some performance recommendations and tuned the system for bigger queues, RSS, netisr etc. RSS on or off did not seem to change things for better or worse. Here is loader.conf:

Code: [Select]
loader_brand="opnsense"
loader_logo="hourglass"
loader_menu_title=""

autoboot_delay="3"

# Vital modules that are not in FreeBSD's GENERIC
# configuration will be loaded on boot, which makes
# races with individual module's settings impossible.
carp_load="YES"
if_bridge_load="YES"
if_enc_load="YES"
if_gif_load="YES"
if_gre_load="YES"
if_lagg_load="YES"
if_tap_load="YES"
if_tun_load="YES"
if_vlan_load="YES"
pf_load="YES"
pflog_load="YES"
pfsync_load="YES"

# dynamically generated console settings follow
comconsole_speed="38400"
boot_multicons="YES"
boot_serial="YES"
#kern.vty
console="vidconsole,comconsole"

# dynamically generated tunables settings follow
dev.igb.0.eee_control="0"
dev.igb.0.fc="0"
dev.igb.0.iflib.tx_abdicate="1"
dev.igb.1.eee_control="0"
dev.igb.1.fc="0"
dev.igb.1.iflib.tx_abdicate="1"
dev.igb.2.eee_control="0"
dev.igb.2.fc="0"
dev.igb.2.iflib.tx_abdicate="1"
dev.igb.3.eee_control="0"
dev.igb.3.fc="0"
dev.igb.3.iflib.tx_abdicate="1"
dev.ix.0.fc="0"
dev.ix.0.iflib.tx_abdicate="1"
dev.ix.1.fc="0"
dev.ix.1.iflib.tx_abdicate="1"
hw.ibrs_disable="1"
hw.intr_storm_threshold="0"
hw.ix.enable_aim="1"
hw.ix.enable_rss="1"
hw.ix.flow_control="0"
hw.ixl.enable_head_writeback="0"
hw.syscons.kbd_reboot="0"
kern.ipc.maxsockbuf="16777216"
kern.ipc.nmbclusters="1000000"
kern.ipc.nmbjumbop="524288"
kern.ipc.soacceptqueue="2048"
kern.random.fortuna.minpoolsize="128"
kern.randompid="1"
net.enc.in.ipsec_bpf_mask="2"
net.enc.in.ipsec_filter_mask="2"
net.enc.out.ipsec_bpf_mask="1"
net.enc.out.ipsec_filter_mask="1"
net.inet.icmp.drop_redirect="1"
net.inet.icmp.icmplim="0"
net.inet.icmp.log_redirect="0"
net.inet.icmp.reply_from_interface="1"
net.inet.ip.accept_sourceroute="0"
net.inet.ip.forwarding="1"
net.inet.ip.intr_queue_maxlen="8192"
net.inet.ip.portrange.first="1024"
net.inet.ip.random_id="1"
net.inet.ip.redirect="0"
net.inet.ip.sourceroute="0"
net.inet.rss.bits="3"
net.inet.rss.enabled="1"
net.inet.tcp.abc_l_var="44"
net.inet.tcp.blackhole="2"
net.inet.tcp.delayed_ack="0"
net.inet.tcp.drop_synfin="1"
net.inet.tcp.log_debug="0"
net.inet.tcp.minmss="536"
net.inet.tcp.mssdflt="1460"
net.inet.tcp.recvbuf_inc="65536"
net.inet.tcp.recvbuf_max="4194304"
net.inet.tcp.recvspace="65228"
net.inet.tcp.sendbuf_inc="65536"
net.inet.tcp.sendbuf_max="4194304"
net.inet.tcp.sendspace="65228"
net.inet.tcp.soreceive_stream="1"
net.inet.tcp.syncache.bucketlimit="100"
net.inet.tcp.syncache.hashsize="1024"
net.inet.tcp.syncookies="0"
net.inet.tcp.tso="0"
net.inet.udp.blackhole="1"
net.inet.udp.checksum="1"
net.inet.udp.maxdgram="16384"
net.inet6.ip6.forwarding="1"
net.inet6.ip6.intr_queue_maxlen="8192"
net.inet6.ip6.prefer_tempaddr="0"
net.inet6.ip6.redirect="0"
net.inet6.ip6.use_tempaddr="0"
net.isr.bindthreads="1"
net.isr.defaultqlimit="8192"
net.isr.dispatch="deferred"
net.isr.maxthreads="-1"
net.link.bridge.pfil_bridge="0"
net.link.bridge.pfil_local_phys="0"
net.link.bridge.pfil_member="1"
net.link.bridge.pfil_onlyip="0"
net.link.ether.inet.log_arp_movements="1"
net.link.ether.inet.log_arp_wrong_iface="1"
net.link.ifqmaxlen="8192"
net.link.tap.user_open="1"
net.link.vlan.mtag_pcp="1"
net.local.dgram.maxdgram="8192"
net.pf.share_forward="1"
net.pf.share_forward6="1"
net.pf.source_nodes_hashsize="1048576"
net.route.multipath="0"
security.bsd.see_other_gids="0"
security.bsd.see_other_uids="0"
vfs.read_max="32"
vfs.zfs.dirty_data_sync_percent="5"
vfs.zfs.txg.timeout="90"
vm.pmap.pti="1"

Here is ifconfig:
Code: [Select]
ix0: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: WAN (wan)
options=4803828<VLAN_MTU,JUMBO_MTU,WOL_UCAST,WOL_MCAST,WOL_MAGIC,NOMAP>
ether 48:5d:36:e5:90:2f
hwaddr a0:36:9f:8c:3e:b8
inet X.X.X.X netmask 0xffffff00 broadcast X.X.X.X
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
ix1: flags=8822<BROADCAST,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=4803828<VLAN_MTU,JUMBO_MTU,WOL_UCAST,WOL_MCAST,WOL_MAGIC,NOMAP>
ether a0:36:9f:8c:3e:ba
media: Ethernet autoselect
status: no carrier
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
igb0: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=4802028<VLAN_MTU,JUMBO_MTU,WOL_MAGIC,NOMAP>
ether 0c:c4:7a:da:3f:54
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
igb1: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=4802028<VLAN_MTU,JUMBO_MTU,WOL_MAGIC,NOMAP>
ether 0c:c4:7a:da:3f:54
hwaddr 0c:c4:7a:da:3f:55
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
igb2: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: MoCA (opt1)
options=4802028<VLAN_MTU,JUMBO_MTU,WOL_MAGIC,NOMAP>
ether 0c:c4:7a:da:3f:56
inet 192.168.1.1 netmask 0xffffff00 broadcast 192.168.1.255
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
igb3: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: TEST (opt12)
options=4802028<VLAN_MTU,JUMBO_MTU,WOL_MAGIC,NOMAP>
ether 0c:c4:7a:da:3f:57
media: Ethernet autoselect
status: no carrier
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
options=680003<RXCSUM,TXCSUM,LINKSTATE,RXCSUM_IPV6,TXCSUM_IPV6>
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x7
inet 127.0.0.1 netmask 0xff000000
groups: lo
nd6 options=21<PERFORMNUD,AUTO_LINKLOCAL>
enc0: flags=0<> metric 0 mtu 1536
groups: enc
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
pfsync0: flags=0<> metric 0 mtu 1500
syncpeer: 0.0.0.0 maxupd: 128 defer: off
syncok: 1
groups: pfsync
pflog0: flags=20100<PROMISC,PPROMISC> metric 0 mtu 33160
groups: pflog
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: LAGG0 (opt8)
options=4802028<VLAN_MTU,JUMBO_MTU,WOL_MAGIC,NOMAP>
ether 0c:c4:7a:da:3f:54
laggproto lacp lagghash l2,l3
laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
groups: lagg
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lagg0_vlan10: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: LAN (opt2)
options=4000000<NOMAP>
ether 0c:c4:7a:da:3f:54
inet 10.1.1.1 netmask 0xffffff00 broadcast 10.1.1.255
groups: vlan
vlan: 10 vlanproto: 802.1q vlanpcp: 0 parent interface: lagg0
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lagg0_vlan100: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: MGMT (opt7)
options=4000000<NOMAP>
ether 0c:c4:7a:da:3f:54
inet 10.1.0.1 netmask 0xffffff80 broadcast 10.1.0.127
groups: vlan
vlan: 100 vlanproto: 802.1q vlanpcp: 0 parent interface: lagg0
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lagg0_vlan20: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: GUEST (opt3)
options=4000000<NOMAP>
ether 0c:c4:7a:da:3f:54
inet 10.1.2.1 netmask 0xffffff00 broadcast 10.1.2.255
groups: vlan
vlan: 20 vlanproto: 802.1q vlanpcp: 0 parent interface: lagg0
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lagg0_vlan30: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: IOT (opt4)
options=4000000<NOMAP>
ether 0c:c4:7a:da:3f:54
inet 10.1.3.1 netmask 0xffffff00 broadcast 10.1.3.255
groups: vlan
vlan: 30 vlanproto: 802.1q vlanpcp: 0 parent interface: lagg0
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lagg0_vlan300: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: WORK (opt9)
options=4000000<NOMAP>
ether 0c:c4:7a:da:3f:54
inet 10.1.0.193 netmask 0xfffffff0 broadcast 10.1.0.207
groups: vlan
vlan: 300 vlanproto: 802.1q vlanpcp: 0 parent interface: lagg0
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lagg0_vlan40: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: SEC (opt5)
options=4000000<NOMAP>
ether 0c:c4:7a:da:3f:54
inet 10.1.4.1 netmask 0xffffff00 broadcast 10.1.4.255
groups: vlan
vlan: 40 vlanproto: 802.1q vlanpcp: 0 parent interface: lagg0
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
lagg0_vlan50: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: LAB (opt6)
options=4000000<NOMAP>
ether 0c:c4:7a:da:3f:54
inet 10.1.5.1 netmask 0xffffff00 broadcast 10.1.5.255
groups: vlan
vlan: 50 vlanproto: 802.1q vlanpcp: 0 parent interface: lagg0
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
ztagim5o453mlt3: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 5000 mtu 2800
description: ZT0 (opt10)
options=80000<LINKSTATE>
ether a2:07:eb:fa:d0:74
hwaddr 58:9c:fc:10:ff:da
inet 172.27.1.1 netmask 0xffff0000 broadcast 172.27.255.255
groups: tap
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
Opened by PID 75856

I am at a loss at this point, and hope someone on here can help me understand:
  • What horror have I wrought with tuning? :)
  • Am I hitting a hardware limitation somehow? I don't see excessive CPU or RAM consumption
  • I have a ~70ft cable run between the OPNSense box and the ONT - could this be an issue?

Thanks to the group for any advice or pointers on what to adjust to try to get this to work properly.
Logged

decafgeek

  • Newbie
  • *
  • Posts: 5
  • Karma: 0
    • View Profile
Re: Poor performance on a new setup
« Reply #1 on: March 11, 2024, 03:24:40 pm »
Here are iperf runs direct on the firewall:
Code: [Select]
root@opnsense:/usr/local/opnsense/service/conf # iperf3 -b 4g -P10 -c speedtest.nyc1.us.leaseweb.net
Connecting to host speedtest.nyc1.us.leaseweb.net, port 5201
[  5] local 96.234.74.197 port 56012 connected to 108.62.52.129 port 5201
[  7] local 96.234.74.197 port 6672 connected to 108.62.52.129 port 5201
[  9] local 96.234.74.197 port 12267 connected to 108.62.52.129 port 5201
[ 11] local 96.234.74.197 port 24409 connected to 108.62.52.129 port 5201
[ 13] local 96.234.74.197 port 58746 connected to 108.62.52.129 port 5201
[ 15] local 96.234.74.197 port 15515 connected to 108.62.52.129 port 5201
[ 17] local 96.234.74.197 port 65227 connected to 108.62.52.129 port 5201
[ 19] local 96.234.74.197 port 10512 connected to 108.62.52.129 port 5201
[ 21] local 96.234.74.197 port 40307 connected to 108.62.52.129 port 5201
[ 23] local 96.234.74.197 port 47795 connected to 108.62.52.129 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  9.62 MBytes  80.7 Mbits/sec   12   18.4 KBytes       
[  7]   0.00-1.00   sec  5.75 MBytes  48.2 Mbits/sec   24   91.0 KBytes       
[  9]   0.00-1.00   sec  10.8 MBytes  90.2 Mbits/sec   21    102 KBytes       
[ 11]   0.00-1.00   sec  10.9 MBytes  91.2 Mbits/sec   29    124 KBytes       
[ 13]   0.00-1.00   sec  8.88 MBytes  74.4 Mbits/sec   17   78.3 KBytes       
[ 15]   0.00-1.00   sec  12.6 MBytes   106 Mbits/sec   13    129 KBytes       
[ 17]   0.00-1.00   sec  8.00 MBytes  67.1 Mbits/sec   17   88.3 KBytes       
[ 19]   0.00-1.00   sec  10.9 MBytes  91.2 Mbits/sec   19    127 KBytes       
[ 21]   0.00-1.00   sec  11.9 MBytes  99.6 Mbits/sec   12    127 KBytes       
[ 23]   0.00-1.00   sec  6.75 MBytes  56.6 Mbits/sec   16   76.8 KBytes       
[SUM]   0.00-1.00   sec  96.0 MBytes   805 Mbits/sec  180             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  10.4 MBytes  87.0 Mbits/sec    7    128 KBytes       
[  7]   1.00-2.00   sec  9.62 MBytes  80.7 Mbits/sec    7   80.9 KBytes       
[  9]   1.00-2.00   sec  11.4 MBytes  95.4 Mbits/sec    5    140 KBytes       
[ 11]   1.00-2.00   sec  9.62 MBytes  80.7 Mbits/sec    9   74.0 KBytes       
[ 13]   1.00-2.00   sec  12.2 MBytes   103 Mbits/sec    6    111 KBytes       
[ 15]   1.00-2.00   sec  13.6 MBytes   114 Mbits/sec    5   78.2 KBytes       
[ 17]   1.00-2.00   sec  10.4 MBytes  87.0 Mbits/sec    8   95.2 KBytes       
[ 19]   1.00-2.00   sec  17.4 MBytes   146 Mbits/sec    5    115 KBytes       
[ 21]   1.00-2.00   sec  9.00 MBytes  75.5 Mbits/sec    8   76.7 KBytes       
[ 23]   1.00-2.00   sec  8.38 MBytes  70.3 Mbits/sec    6   62.5 KBytes       
[SUM]   1.00-2.00   sec   112 MBytes   940 Mbits/sec   66             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  12.6 MBytes   106 Mbits/sec    6   56.6 KBytes       
[  7]   2.00-3.00   sec  6.75 MBytes  56.6 Mbits/sec    4   88.1 KBytes       
[  9]   2.00-3.00   sec  12.5 MBytes   105 Mbits/sec    3    133 KBytes       
[ 11]   2.00-3.00   sec  10.9 MBytes  91.2 Mbits/sec    7    119 KBytes       
[ 13]   2.00-3.00   sec  11.1 MBytes  93.3 Mbits/sec    6   32.5 KBytes       
[ 15]   2.00-3.00   sec  11.5 MBytes  96.5 Mbits/sec    7   17.0 KBytes       
[ 17]   2.00-3.00   sec  10.6 MBytes  89.1 Mbits/sec    7   21.2 KBytes       
[ 19]   2.00-3.00   sec  14.5 MBytes   122 Mbits/sec    8   63.7 KBytes       
[ 21]   2.00-3.00   sec  14.2 MBytes   120 Mbits/sec    5   36.8 KBytes       
[ 23]   2.00-3.00   sec  7.50 MBytes  62.9 Mbits/sec    4   21.2 KBytes       
[SUM]   2.00-3.00   sec   112 MBytes   942 Mbits/sec   57             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  10.6 MBytes  89.1 Mbits/sec    4    127 KBytes       
[  7]   3.00-4.00   sec  8.00 MBytes  67.1 Mbits/sec    4   99.5 KBytes       
[  9]   3.00-4.00   sec  13.4 MBytes   112 Mbits/sec    4    159 KBytes       
[ 11]   3.00-4.00   sec  12.0 MBytes   101 Mbits/sec    6    124 KBytes       
[ 13]   3.00-4.00   sec  11.4 MBytes  95.4 Mbits/sec    3    112 KBytes       
[ 15]   3.00-4.00   sec  11.2 MBytes  94.4 Mbits/sec    5   60.8 KBytes       
[ 17]   3.00-4.00   sec  11.5 MBytes  96.5 Mbits/sec    5    122 KBytes       
[ 19]   3.00-4.00   sec  15.4 MBytes   129 Mbits/sec    6   83.5 KBytes       
[ 21]   3.00-4.00   sec  10.5 MBytes  88.1 Mbits/sec    5    130 KBytes       
[ 23]   3.00-4.00   sec  8.25 MBytes  69.2 Mbits/sec    5    107 KBytes       
[SUM]   3.00-4.00   sec   112 MBytes   942 Mbits/sec   47             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  16.5 MBytes   138 Mbits/sec    4    109 KBytes       
[  7]   4.00-5.00   sec  10.5 MBytes  88.1 Mbits/sec   10   51.2 KBytes       
[  9]   4.00-5.00   sec  8.12 MBytes  68.2 Mbits/sec    9   59.7 KBytes       
[ 11]   4.00-5.00   sec  13.9 MBytes   116 Mbits/sec    5    102 KBytes       
[ 13]   4.00-5.00   sec  10.2 MBytes  86.0 Mbits/sec    9   11.3 KBytes       
[ 15]   4.00-5.00   sec  8.62 MBytes  72.4 Mbits/sec    9   69.7 KBytes       
[ 17]   4.00-5.00   sec  11.0 MBytes  92.3 Mbits/sec    7    107 KBytes       
[ 19]   4.00-5.00   sec  10.8 MBytes  90.2 Mbits/sec    9   65.5 KBytes       
[ 21]   4.00-5.00   sec  10.8 MBytes  90.2 Mbits/sec   10   71.2 KBytes       
[ 23]   4.00-5.00   sec  11.8 MBytes  98.6 Mbits/sec    4   86.5 KBytes       
[SUM]   4.00-5.00   sec   112 MBytes   941 Mbits/sec   76             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  13.6 MBytes   114 Mbits/sec    7   56.9 KBytes       
[  7]   5.00-6.00   sec  10.6 MBytes  89.1 Mbits/sec    8   65.3 KBytes       
[  9]   5.00-6.00   sec  12.1 MBytes   102 Mbits/sec    9   78.1 KBytes       
[ 11]   5.00-6.00   sec  11.0 MBytes  92.3 Mbits/sec   10    101 KBytes       
[ 13]   5.00-6.00   sec  12.1 MBytes   102 Mbits/sec    4    114 KBytes       
[ 15]   5.00-6.00   sec  13.9 MBytes   116 Mbits/sec    8   65.3 KBytes       
[ 17]   5.00-6.00   sec  10.6 MBytes  89.1 Mbits/sec    9   62.5 KBytes       
[ 19]   5.00-6.00   sec  12.5 MBytes   105 Mbits/sec    8   86.8 KBytes       
[ 21]   5.00-6.00   sec  9.12 MBytes  76.5 Mbits/sec    7   66.8 KBytes       
[ 23]   5.00-6.00   sec  6.50 MBytes  54.5 Mbits/sec   10   71.0 KBytes       
[SUM]   5.00-6.00   sec   112 MBytes   941 Mbits/sec   80             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  12.1 MBytes   102 Mbits/sec    6   62.3 KBytes       
[  7]   6.00-7.00   sec  7.38 MBytes  61.9 Mbits/sec    7    168 KBytes       
[  9]   6.00-7.00   sec  8.12 MBytes  68.2 Mbits/sec    7   89.5 KBytes       
[ 11]   6.00-7.00   sec  11.6 MBytes  97.5 Mbits/sec    5    114 KBytes       
[ 13]   6.00-7.00   sec  10.2 MBytes  86.0 Mbits/sec    7   98.2 KBytes       
[ 15]   6.00-7.00   sec  10.4 MBytes  87.0 Mbits/sec    9   12.7 KBytes       
[ 17]   6.00-7.00   sec  10.8 MBytes  90.2 Mbits/sec    8   49.6 KBytes       
[ 19]   6.00-7.00   sec  16.4 MBytes   137 Mbits/sec    7   77.9 KBytes       
[ 21]   6.00-7.00   sec  13.4 MBytes   112 Mbits/sec    5   86.8 KBytes       
[ 23]   6.00-7.00   sec  11.4 MBytes  95.4 Mbits/sec    6   53.8 KBytes       
[SUM]   6.00-7.00   sec   112 MBytes   937 Mbits/sec   67             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  12.2 MBytes   103 Mbits/sec    6   63.7 KBytes       
[  7]   7.00-8.00   sec  7.50 MBytes  62.9 Mbits/sec    6   72.4 KBytes       
[  9]   7.00-8.00   sec  11.4 MBytes  95.4 Mbits/sec    7   46.7 KBytes       
[ 11]   7.00-8.00   sec  12.8 MBytes   107 Mbits/sec    6   65.2 KBytes       
[ 13]   7.00-8.00   sec  12.2 MBytes   103 Mbits/sec    7   62.3 KBytes       
[ 15]   7.00-8.00   sec  10.1 MBytes  84.9 Mbits/sec    5   79.5 KBytes       
[ 17]   7.00-8.00   sec  16.2 MBytes   136 Mbits/sec    5   61.1 KBytes       
[ 19]   7.00-8.00   sec  12.9 MBytes   108 Mbits/sec   10   88.2 KBytes       
[ 21]   7.00-8.00   sec  9.62 MBytes  80.7 Mbits/sec    8   19.8 KBytes       
[ 23]   7.00-8.00   sec  7.38 MBytes  61.9 Mbits/sec    8   38.3 KBytes       
[SUM]   7.00-8.00   sec   112 MBytes   943 Mbits/sec   68             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  11.6 MBytes  97.5 Mbits/sec    5    114 KBytes       
[  7]   8.00-9.00   sec  7.88 MBytes  66.1 Mbits/sec    5    105 KBytes       
[  9]   8.00-9.00   sec  7.88 MBytes  66.1 Mbits/sec    5   92.5 KBytes       
[ 11]   8.00-9.00   sec  12.8 MBytes   107 Mbits/sec    8    136 KBytes       
[ 13]   8.00-9.00   sec  11.2 MBytes  94.4 Mbits/sec    6    115 KBytes       
[ 15]   8.00-9.00   sec  11.4 MBytes  95.4 Mbits/sec    5    111 KBytes       
[ 17]   8.00-9.00   sec  13.8 MBytes   115 Mbits/sec    5    138 KBytes       
[ 19]   8.00-9.00   sec  15.5 MBytes   130 Mbits/sec    9    158 KBytes       
[ 21]   8.00-9.00   sec  10.2 MBytes  86.0 Mbits/sec    4    134 KBytes       
[ 23]   8.00-9.00   sec  9.88 MBytes  82.8 Mbits/sec    3    121 KBytes       
[SUM]   8.00-9.00   sec   112 MBytes   941 Mbits/sec   55             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  10.0 MBytes  83.8 Mbits/sec    5    102 KBytes       
[  7]   9.00-10.00  sec  9.25 MBytes  77.6 Mbits/sec    3    122 KBytes       
[  9]   9.00-10.00  sec  7.38 MBytes  61.8 Mbits/sec    6   1.41 KBytes       
[ 11]   9.00-10.00  sec  11.6 MBytes  97.5 Mbits/sec    5    114 KBytes       
[ 13]   9.00-10.00  sec  10.4 MBytes  87.0 Mbits/sec    9    118 KBytes       
[ 15]   9.00-10.00  sec  8.75 MBytes  73.4 Mbits/sec    6   96.8 KBytes       
[ 17]   9.00-10.00  sec  13.5 MBytes   113 Mbits/sec    8    111 KBytes       
[ 19]   9.00-10.00  sec  14.1 MBytes   118 Mbits/sec    9    140 KBytes       
[ 21]   9.00-10.00  sec  15.8 MBytes   132 Mbits/sec    3    166 KBytes       
[ 23]   9.00-10.00  sec  11.4 MBytes  95.4 Mbits/sec    3   90.9 KBytes       
[SUM]   9.00-10.00  sec   112 MBytes   940 Mbits/sec   57             
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec   119 MBytes   100 Mbits/sec   62             sender
[  5]   0.00-10.01  sec   119 MBytes  99.9 Mbits/sec                  receiver
[  7]   0.00-10.00  sec  83.2 MBytes  69.8 Mbits/sec   78             sender
[  7]   0.00-10.01  sec  83.1 MBytes  69.6 Mbits/sec                  receiver
[  9]   0.00-10.00  sec   103 MBytes  86.4 Mbits/sec   76             sender
[  9]   0.00-10.01  sec   103 MBytes  86.0 Mbits/sec                  receiver
[ 11]   0.00-10.00  sec   117 MBytes  98.1 Mbits/sec   90             sender
[ 11]   0.00-10.01  sec   117 MBytes  97.8 Mbits/sec                  receiver
[ 13]   0.00-10.00  sec   110 MBytes  92.4 Mbits/sec   74             sender
[ 13]   0.00-10.01  sec   110 MBytes  92.1 Mbits/sec                  receiver
[ 15]   0.00-10.00  sec   112 MBytes  94.1 Mbits/sec   72             sender
[ 15]   0.00-10.01  sec   112 MBytes  93.8 Mbits/sec                  receiver
[ 17]   0.00-10.00  sec   116 MBytes  97.6 Mbits/sec   79             sender
[ 17]   0.00-10.01  sec   116 MBytes  97.4 Mbits/sec                  receiver
[ 19]   0.00-10.00  sec   140 MBytes   118 Mbits/sec   90             sender
[ 19]   0.00-10.01  sec   140 MBytes   117 Mbits/sec                  receiver
[ 21]   0.00-10.00  sec   114 MBytes  96.0 Mbits/sec   67             sender
[ 21]   0.00-10.01  sec   114 MBytes  95.8 Mbits/sec                  receiver
[ 23]   0.00-10.00  sec  89.1 MBytes  74.8 Mbits/sec   65             sender
[ 23]   0.00-10.01  sec  88.9 MBytes  74.5 Mbits/sec                  receiver
[SUM]   0.00-10.00  sec  1.08 GBytes   927 Mbits/sec  753             sender
[SUM]   0.00-10.01  sec  1.08 GBytes   924 Mbits/sec                  receiver

iperf Done.

root@opnsense:/usr/local/opnsense/service/conf # iperf3 -b 4g -P10 -c speedtest.nyc1.us.leaseweb.net -R
Connecting to host speedtest.nyc1.us.leaseweb.net, port 5201
Reverse mode, remote host speedtest.nyc1.us.leaseweb.net is sending
[  5] local 96.234.74.197 port 47814 connected to 108.62.52.129 port 5201
[  7] local 96.234.74.197 port 47815 connected to 108.62.52.129 port 5201
[  9] local 96.234.74.197 port 47816 connected to 108.62.52.129 port 5201
[ 11] local 96.234.74.197 port 47817 connected to 108.62.52.129 port 5201
[ 13] local 96.234.74.197 port 47818 connected to 108.62.52.129 port 5201
[ 15] local 96.234.74.197 port 47819 connected to 108.62.52.129 port 5201
[ 17] local 96.234.74.197 port 47820 connected to 108.62.52.129 port 5201
[ 19] local 96.234.74.197 port 47821 connected to 108.62.52.129 port 5201
[ 21] local 96.234.74.197 port 47822 connected to 108.62.52.129 port 5201
[ 23] local 96.234.74.197 port 47823 connected to 108.62.52.129 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  9.88 MBytes  82.7 Mbits/sec                 
[  7]   0.00-1.00   sec  12.1 MBytes   102 Mbits/sec                 
[  9]   0.00-1.00   sec  9.88 MBytes  82.7 Mbits/sec                 
[ 11]   0.00-1.00   sec  8.62 MBytes  72.2 Mbits/sec                 
[ 13]   0.00-1.00   sec  15.2 MBytes   128 Mbits/sec                 
[ 15]   0.00-1.00   sec  7.12 MBytes  59.7 Mbits/sec                 
[ 17]   0.00-1.00   sec  11.0 MBytes  92.1 Mbits/sec                 
[ 19]   0.00-1.00   sec  7.12 MBytes  59.7 Mbits/sec                 
[ 21]   0.00-1.00   sec  8.50 MBytes  71.2 Mbits/sec                 
[ 23]   0.00-1.00   sec  12.5 MBytes   105 Mbits/sec                 
[SUM]   0.00-1.00   sec   102 MBytes   854 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  11.9 MBytes  99.6 Mbits/sec                 
[  7]   1.00-2.00   sec  10.8 MBytes  90.2 Mbits/sec                 
[  9]   1.00-2.00   sec  8.38 MBytes  70.3 Mbits/sec                 
[ 11]   1.00-2.00   sec  8.88 MBytes  74.5 Mbits/sec                 
[ 13]   1.00-2.00   sec  13.6 MBytes   114 Mbits/sec                 
[ 15]   1.00-2.00   sec  7.12 MBytes  59.8 Mbits/sec                 
[ 17]   1.00-2.00   sec  13.2 MBytes   111 Mbits/sec                 
[ 19]   1.00-2.00   sec  7.62 MBytes  64.0 Mbits/sec                 
[ 21]   1.00-2.00   sec  9.50 MBytes  79.7 Mbits/sec                 
[ 23]   1.00-2.00   sec  8.50 MBytes  71.3 Mbits/sec                 
[SUM]   1.00-2.00   sec  99.5 MBytes   835 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.03   sec  8.12 MBytes  66.4 Mbits/sec                 
[  7]   2.00-3.03   sec  14.6 MBytes   119 Mbits/sec                 
[  9]   2.00-3.03   sec  11.2 MBytes  91.9 Mbits/sec                 
[ 11]   2.00-3.03   sec  8.38 MBytes  68.4 Mbits/sec                 
[ 13]   2.00-3.03   sec  12.8 MBytes   104 Mbits/sec                 
[ 15]   2.00-3.03   sec  9.50 MBytes  77.6 Mbits/sec                 
[ 17]   2.00-3.03   sec  13.1 MBytes   107 Mbits/sec                 
[ 19]   2.00-3.03   sec  9.50 MBytes  77.6 Mbits/sec                 
[ 21]   2.00-3.03   sec  8.62 MBytes  70.4 Mbits/sec                 
[ 23]   2.00-3.03   sec  8.50 MBytes  69.4 Mbits/sec                 
[SUM]   2.00-3.03   sec   104 MBytes   853 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.03-4.04   sec  8.25 MBytes  68.7 Mbits/sec                 
[  7]   3.03-4.04   sec  13.5 MBytes   112 Mbits/sec                 
[  9]   3.03-4.04   sec  9.38 MBytes  78.0 Mbits/sec                 
[ 11]   3.03-4.04   sec  12.9 MBytes   107 Mbits/sec                 
[ 13]   3.03-4.04   sec  13.8 MBytes   114 Mbits/sec                 
[ 15]   3.03-4.04   sec  8.25 MBytes  68.7 Mbits/sec                 
[ 17]   3.03-4.04   sec  9.62 MBytes  80.1 Mbits/sec                 
[ 19]   3.03-4.04   sec  8.62 MBytes  71.8 Mbits/sec                 
[ 21]   3.03-4.04   sec  9.38 MBytes  78.0 Mbits/sec                 
[ 23]   3.03-4.04   sec  7.88 MBytes  65.5 Mbits/sec                 
[SUM]   3.03-4.04   sec   102 MBytes   845 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.04-5.00   sec  9.25 MBytes  80.4 Mbits/sec                 
[  7]   4.04-5.00   sec  11.8 MBytes   102 Mbits/sec                 
[  9]   4.04-5.00   sec  7.75 MBytes  67.4 Mbits/sec                 
[ 11]   4.04-5.00   sec  9.62 MBytes  83.7 Mbits/sec                 
[ 13]   4.04-5.00   sec  17.0 MBytes   148 Mbits/sec                 
[ 15]   4.04-5.00   sec  9.38 MBytes  81.5 Mbits/sec                 
[ 17]   4.04-5.00   sec  9.50 MBytes  82.6 Mbits/sec                 
[ 19]   4.04-5.00   sec  7.75 MBytes  67.4 Mbits/sec                 
[ 21]   4.04-5.00   sec  9.88 MBytes  85.8 Mbits/sec                 
[ 23]   4.04-5.00   sec  6.88 MBytes  59.8 Mbits/sec                 
[SUM]   4.04-5.00   sec  98.8 MBytes   858 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.02   sec  9.12 MBytes  75.5 Mbits/sec                 
[  7]   5.00-6.02   sec  10.8 MBytes  88.9 Mbits/sec                 
[  9]   5.00-6.02   sec  10.2 MBytes  84.8 Mbits/sec                 
[ 11]   5.00-6.02   sec  10.8 MBytes  88.9 Mbits/sec                 
[ 13]   5.00-6.02   sec  15.8 MBytes   130 Mbits/sec                 
[ 15]   5.00-6.02   sec  9.38 MBytes  77.6 Mbits/sec                 
[ 17]   5.00-6.02   sec  9.88 MBytes  81.7 Mbits/sec                 
[ 19]   5.00-6.02   sec  8.50 MBytes  70.3 Mbits/sec                 
[ 21]   5.00-6.02   sec  10.4 MBytes  85.8 Mbits/sec                 
[ 23]   5.00-6.02   sec  7.00 MBytes  57.9 Mbits/sec                 
[SUM]   5.00-6.02   sec   102 MBytes   842 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.02-7.00   sec  9.38 MBytes  79.8 Mbits/sec                 
[  7]   6.02-7.00   sec  11.2 MBytes  95.7 Mbits/sec                 
[  9]   6.02-7.00   sec  12.4 MBytes   105 Mbits/sec                 
[ 11]   6.02-7.00   sec  7.38 MBytes  62.7 Mbits/sec                 
[ 13]   6.02-7.00   sec  12.4 MBytes   105 Mbits/sec                 
[ 15]   6.02-7.00   sec  6.50 MBytes  55.3 Mbits/sec                 
[ 17]   6.02-7.00   sec  11.2 MBytes  95.7 Mbits/sec                 
[ 19]   6.02-7.00   sec  9.75 MBytes  83.0 Mbits/sec                 
[ 21]   6.02-7.00   sec  8.75 MBytes  74.4 Mbits/sec                 
[ 23]   6.02-7.00   sec  8.25 MBytes  70.2 Mbits/sec                 
[SUM]   6.02-7.00   sec  97.2 MBytes   827 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  11.6 MBytes  97.5 Mbits/sec                 
[  7]   7.00-8.00   sec  9.88 MBytes  82.8 Mbits/sec                 
[  9]   7.00-8.00   sec  9.38 MBytes  78.6 Mbits/sec                 
[ 11]   7.00-8.00   sec  11.5 MBytes  96.5 Mbits/sec                 
[ 13]   7.00-8.00   sec  14.6 MBytes   123 Mbits/sec                 
[ 15]   7.00-8.00   sec  7.25 MBytes  60.8 Mbits/sec                 
[ 17]   7.00-8.00   sec  11.5 MBytes  96.5 Mbits/sec                 
[ 19]   7.00-8.00   sec  7.00 MBytes  58.7 Mbits/sec                 
[ 21]   7.00-8.00   sec  9.88 MBytes  82.8 Mbits/sec                 
[ 23]   7.00-8.00   sec  8.50 MBytes  71.3 Mbits/sec                 
[SUM]   7.00-8.00   sec   101 MBytes   848 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  9.75 MBytes  81.5 Mbits/sec                 
[  7]   8.00-9.00   sec  14.9 MBytes   124 Mbits/sec                 
[  9]   8.00-9.00   sec  9.00 MBytes  75.3 Mbits/sec                 
[ 11]   8.00-9.00   sec  11.1 MBytes  93.0 Mbits/sec                 
[ 13]   8.00-9.00   sec  10.5 MBytes  87.8 Mbits/sec                 
[ 15]   8.00-9.00   sec  7.00 MBytes  58.5 Mbits/sec                 
[ 17]   8.00-9.00   sec  10.4 MBytes  86.8 Mbits/sec                 
[ 19]   8.00-9.00   sec  7.88 MBytes  65.9 Mbits/sec                 
[ 21]   8.00-9.00   sec  10.6 MBytes  88.9 Mbits/sec                 
[ 23]   8.00-9.00   sec  9.38 MBytes  78.4 Mbits/sec                 
[SUM]   8.00-9.00   sec   100 MBytes   841 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  8.50 MBytes  71.5 Mbits/sec                 
[  7]   9.00-10.00  sec  14.0 MBytes   118 Mbits/sec                 
[  9]   9.00-10.00  sec  9.75 MBytes  82.0 Mbits/sec                 
[ 11]   9.00-10.00  sec  10.0 MBytes  84.1 Mbits/sec                 
[ 13]   9.00-10.00  sec  16.0 MBytes   135 Mbits/sec                 
[ 15]   9.00-10.00  sec  7.75 MBytes  65.2 Mbits/sec                 
[ 17]   9.00-10.00  sec  9.62 MBytes  81.0 Mbits/sec                 
[ 19]   9.00-10.00  sec  9.00 MBytes  75.7 Mbits/sec                 
[ 21]   9.00-10.00  sec  8.50 MBytes  71.5 Mbits/sec                 
[ 23]   9.00-10.00  sec  7.00 MBytes  58.9 Mbits/sec                 
[SUM]   9.00-10.00  sec   100 MBytes   842 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.01  sec  96.3 MBytes  80.7 Mbits/sec  168             sender
[  5]   0.00-10.00  sec  95.8 MBytes  80.3 Mbits/sec                  receiver
[  7]   0.00-10.01  sec   125 MBytes   104 Mbits/sec  206             sender
[  7]   0.00-10.00  sec   124 MBytes   104 Mbits/sec                  receiver
[  9]   0.00-10.01  sec  98.0 MBytes  82.2 Mbits/sec  161             sender
[  9]   0.00-10.00  sec  97.4 MBytes  81.7 Mbits/sec                  receiver
[ 11]   0.00-10.01  sec  99.8 MBytes  83.7 Mbits/sec  166             sender
[ 11]   0.00-10.00  sec  99.1 MBytes  83.1 Mbits/sec                  receiver
[ 13]   0.00-10.01  sec   143 MBytes   120 Mbits/sec  197             sender
[ 13]   0.00-10.00  sec   142 MBytes   119 Mbits/sec                  receiver
[ 15]   0.00-10.01  sec  79.8 MBytes  66.9 Mbits/sec  130             sender
[ 15]   0.00-10.00  sec  79.2 MBytes  66.5 Mbits/sec                  receiver
[ 17]   0.00-10.01  sec   110 MBytes  92.3 Mbits/sec  176             sender
[ 17]   0.00-10.00  sec   109 MBytes  91.5 Mbits/sec                  receiver
[ 19]   0.00-10.01  sec  83.5 MBytes  70.0 Mbits/sec  144             sender
[ 19]   0.00-10.00  sec  82.8 MBytes  69.4 Mbits/sec                  receiver
[ 21]   0.00-10.01  sec  94.6 MBytes  79.3 Mbits/sec  161             sender
[ 21]   0.00-10.00  sec  94.0 MBytes  78.8 Mbits/sec                  receiver
[ 23]   0.00-10.01  sec  85.3 MBytes  71.5 Mbits/sec  140             sender
[ 23]   0.00-10.00  sec  84.4 MBytes  70.8 Mbits/sec                  receiver
[SUM]   0.00-10.01  sec  1015 MBytes   851 Mbits/sec  1649             sender
[SUM]   0.00-10.00  sec  1007 MBytes   845 Mbits/sec                  receiver

iperf Done.

Logged

decafgeek

  • Newbie
  • *
  • Posts: 5
  • Karma: 0
    • View Profile
Re: Poor performance on a new setup
« Reply #2 on: March 11, 2024, 03:25:15 pm »
Hardwired client behind the firewall:

Code: [Select]
decafgeek@host~$ iperf3 -b 4g -P10 -c speedtest.nyc1.us.leaseweb.net
Connecting to host speedtest.nyc1.us.leaseweb.net, port 5201
[  5] local 10.1.1.197 port 53188 connected to 108.62.52.129 port 5201
[  7] local 10.1.1.197 port 53194 connected to 108.62.52.129 port 5201
[  9] local 10.1.1.197 port 53210 connected to 108.62.52.129 port 5201
[ 11] local 10.1.1.197 port 53220 connected to 108.62.52.129 port 5201
[ 13] local 10.1.1.197 port 53224 connected to 108.62.52.129 port 5201
[ 15] local 10.1.1.197 port 53236 connected to 108.62.52.129 port 5201
[ 17] local 10.1.1.197 port 53248 connected to 108.62.52.129 port 5201
[ 19] local 10.1.1.197 port 53264 connected to 108.62.52.129 port 5201
[ 21] local 10.1.1.197 port 53272 connected to 108.62.52.129 port 5201
[ 23] local 10.1.1.197 port 53276 connected to 108.62.52.129 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec  6.89 MBytes  57.8 Mbits/sec    4   65.6 KBytes       
[  7]   0.00-1.00   sec  6.19 MBytes  51.9 Mbits/sec   75   67.0 KBytes       
[  9]   0.00-1.00   sec  8.89 MBytes  74.6 Mbits/sec   12   67.0 KBytes       
[ 11]   0.00-1.00   sec  8.17 MBytes  68.6 Mbits/sec    9   65.6 KBytes       
[ 13]   0.00-1.00   sec  8.38 MBytes  70.3 Mbits/sec   15   67.0 KBytes       
[ 15]   0.00-1.00   sec  8.30 MBytes  69.6 Mbits/sec    8   67.0 KBytes       
[ 17]   0.00-1.00   sec  6.90 MBytes  57.9 Mbits/sec   19   67.0 KBytes       
[ 19]   0.00-1.00   sec  6.75 MBytes  56.6 Mbits/sec   25   67.0 KBytes       
[ 21]   0.00-1.00   sec  6.67 MBytes  55.9 Mbits/sec   24   67.0 KBytes       
[ 23]   0.00-1.00   sec  7.21 MBytes  60.5 Mbits/sec   48   64.2 KBytes       
[SUM]   0.00-1.00   sec  74.4 MBytes   624 Mbits/sec  239             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[  7]   1.00-2.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[  9]   1.00-2.00   sec  8.50 MBytes  71.3 Mbits/sec    9   65.6 KBytes       
[ 11]   1.00-2.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[ 13]   1.00-2.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 15]   1.00-2.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 17]   1.00-2.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 19]   1.00-2.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 21]   1.00-2.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 23]   1.00-2.00   sec  8.56 MBytes  71.8 Mbits/sec    0   65.6 KBytes       
[SUM]   1.00-2.00   sec  85.8 MBytes   720 Mbits/sec    9             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  8.88 MBytes  74.4 Mbits/sec    0   65.6 KBytes       
[  7]   2.00-3.00   sec  7.00 MBytes  58.7 Mbits/sec   69   54.2 KBytes       
[  9]   2.00-3.00   sec  8.88 MBytes  74.4 Mbits/sec    0   65.6 KBytes       
[ 11]   2.00-3.00   sec  8.88 MBytes  74.4 Mbits/sec    0   65.6 KBytes       
[ 13]   2.00-3.00   sec  8.88 MBytes  74.4 Mbits/sec    0   67.0 KBytes       
[ 15]   2.00-3.00   sec  8.88 MBytes  74.4 Mbits/sec    0   67.0 KBytes       
[ 17]   2.00-3.00   sec  8.88 MBytes  74.4 Mbits/sec    0   67.0 KBytes       
[ 19]   2.00-3.00   sec  8.88 MBytes  74.4 Mbits/sec    0   67.0 KBytes       
[ 21]   2.00-3.00   sec  8.50 MBytes  71.3 Mbits/sec   29   61.3 KBytes       
[ 23]   2.00-3.00   sec  8.00 MBytes  67.1 Mbits/sec   35   57.0 KBytes       
[SUM]   2.00-3.00   sec  85.6 MBytes   718 Mbits/sec  133             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  8.75 MBytes  73.4 Mbits/sec    0   65.6 KBytes       
[  7]   3.00-4.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[  9]   3.00-4.00   sec  8.62 MBytes  72.4 Mbits/sec   21   67.0 KBytes       
[ 11]   3.00-4.00   sec  7.12 MBytes  59.8 Mbits/sec   74   65.6 KBytes       
[ 13]   3.00-4.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 15]   3.00-4.00   sec  8.50 MBytes  71.3 Mbits/sec   20   58.5 KBytes       
[ 17]   3.00-4.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 19]   3.00-4.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 21]   3.00-4.00   sec  8.75 MBytes  73.4 Mbits/sec   10   65.6 KBytes       
[ 23]   3.00-4.00   sec  8.88 MBytes  74.4 Mbits/sec    0   65.6 KBytes       
[SUM]   3.00-4.00   sec  85.6 MBytes   718 Mbits/sec  125             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  8.50 MBytes  71.3 Mbits/sec    0   65.6 KBytes       
[  7]   4.00-5.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[  9]   4.00-5.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 11]   4.00-5.00   sec  8.50 MBytes  71.3 Mbits/sec    0   65.6 KBytes       
[ 13]   4.00-5.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 15]   4.00-5.00   sec  8.62 MBytes  72.3 Mbits/sec    0   67.0 KBytes       
[ 17]   4.00-5.00   sec  8.62 MBytes  72.3 Mbits/sec    0   67.0 KBytes       
[ 19]   4.00-5.00   sec  8.62 MBytes  72.3 Mbits/sec    0   67.0 KBytes       
[ 21]   4.00-5.00   sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[ 23]   4.00-5.00   sec  8.50 MBytes  71.3 Mbits/sec    0   65.6 KBytes       
[SUM]   4.00-5.00   sec  85.5 MBytes   717 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  8.75 MBytes  73.4 Mbits/sec    0   65.6 KBytes       
[  7]   5.00-6.00   sec  7.75 MBytes  65.0 Mbits/sec   58   27.1 KBytes       
[  9]   5.00-6.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 11]   5.00-6.00   sec  8.75 MBytes  73.4 Mbits/sec    0   65.6 KBytes       
[ 13]   5.00-6.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 15]   5.00-6.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 17]   5.00-6.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 19]   5.00-6.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 21]   5.00-6.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[ 23]   5.00-6.00   sec  8.75 MBytes  73.4 Mbits/sec    0   65.6 KBytes       
[SUM]   5.00-6.00   sec  86.0 MBytes   721 Mbits/sec   58             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  8.00 MBytes  67.1 Mbits/sec   33   48.5 KBytes       
[  7]   6.00-7.00   sec  8.38 MBytes  70.3 Mbits/sec    0   65.6 KBytes       
[  9]   6.00-7.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 11]   6.00-7.00   sec  8.50 MBytes  71.3 Mbits/sec    0   65.6 KBytes       
[ 13]   6.00-7.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 15]   6.00-7.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 17]   6.00-7.00   sec  8.62 MBytes  72.3 Mbits/sec    0   67.0 KBytes       
[ 19]   6.00-7.00   sec  8.75 MBytes  73.4 Mbits/sec    0   67.0 KBytes       
[ 21]   6.00-7.00   sec  8.75 MBytes  73.4 Mbits/sec    0   65.6 KBytes       
[ 23]   6.00-7.00   sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[SUM]   6.00-7.00   sec  85.6 MBytes   718 Mbits/sec   33             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[  7]   7.00-8.00   sec  8.50 MBytes  71.3 Mbits/sec    0   65.6 KBytes       
[  9]   7.00-8.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 11]   7.00-8.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[ 13]   7.00-8.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 15]   7.00-8.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 17]   7.00-8.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 19]   7.00-8.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 21]   7.00-8.00   sec  8.50 MBytes  71.3 Mbits/sec    0   65.6 KBytes       
[ 23]   7.00-8.00   sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[SUM]   7.00-8.00   sec  85.9 MBytes   720 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[  7]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[  9]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 11]   8.00-9.00   sec  8.50 MBytes  71.3 Mbits/sec    0   65.6 KBytes       
[ 13]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 15]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 17]   8.00-9.00   sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 19]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   67.0 KBytes       
[ 21]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[ 23]   8.00-9.00   sec  8.62 MBytes  72.4 Mbits/sec    0   65.6 KBytes       
[SUM]   8.00-9.00   sec  86.0 MBytes   721 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[  7]   9.00-10.00  sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[  9]   9.00-10.00  sec  8.62 MBytes  72.3 Mbits/sec    0   67.0 KBytes       
[ 11]   9.00-10.00  sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[ 13]   9.00-10.00  sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 15]   9.00-10.00  sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 17]   9.00-10.00  sec  8.62 MBytes  72.3 Mbits/sec    0   67.0 KBytes       
[ 19]   9.00-10.00  sec  8.50 MBytes  71.3 Mbits/sec    0   67.0 KBytes       
[ 21]   9.00-10.00  sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[ 23]   9.00-10.00  sec  8.62 MBytes  72.3 Mbits/sec    0   65.6 KBytes       
[SUM]   9.00-10.00  sec  85.9 MBytes   720 Mbits/sec    0             
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec  84.3 MBytes  70.7 Mbits/sec   37             sender
[  5]   0.00-10.02  sec  83.9 MBytes  70.2 Mbits/sec                  receiver
[  7]   0.00-10.00  sec  80.9 MBytes  67.9 Mbits/sec  202             sender
[  7]   0.00-10.02  sec  86.4 MBytes  72.3 Mbits/sec                  receiver
[  9]   0.00-10.00  sec  86.6 MBytes  72.7 Mbits/sec   42             sender
[  9]   0.00-10.02  sec  80.6 MBytes  67.5 Mbits/sec                  receiver
[ 11]   0.00-10.00  sec  84.3 MBytes  70.7 Mbits/sec   83             sender
[ 11]   0.00-10.02  sec  85.9 MBytes  71.9 Mbits/sec                  receiver
[ 13]   0.00-10.00  sec  86.1 MBytes  72.2 Mbits/sec   15             sender
[ 13]   0.00-10.02  sec  84.1 MBytes  70.3 Mbits/sec                  receiver
[ 15]   0.00-10.00  sec  86.0 MBytes  72.2 Mbits/sec   28             sender
[ 15]   0.00-10.02  sec  85.8 MBytes  71.8 Mbits/sec                  receiver
[ 17]   0.00-10.00  sec  84.7 MBytes  71.0 Mbits/sec   19             sender
[ 17]   0.00-10.02  sec  84.4 MBytes  70.6 Mbits/sec                  receiver
[ 19]   0.00-10.00  sec  84.6 MBytes  71.0 Mbits/sec   25             sender
[ 19]   0.00-10.02  sec  84.4 MBytes  70.6 Mbits/sec                  receiver
[ 21]   0.00-10.00  sec  84.3 MBytes  70.7 Mbits/sec   63             sender
[ 21]   0.00-10.02  sec  84.1 MBytes  70.4 Mbits/sec                  receiver
[ 23]   0.00-10.00  sec  84.4 MBytes  70.8 Mbits/sec   83             sender
[ 23]   0.00-10.02  sec  84.0 MBytes  70.3 Mbits/sec                  receiver
[SUM]   0.00-10.00  sec   846 MBytes   710 Mbits/sec  597             sender
[SUM]   0.00-10.02  sec   844 MBytes   706 Mbits/sec                  receiver

iperf Done.

decafgeek@host:~$ iperf3 -b 4g -P10 -c speedtest.nyc1.us.leaseweb.net -R
Connecting to host speedtest.nyc1.us.leaseweb.net, port 5201
Reverse mode, remote host speedtest.nyc1.us.leaseweb.net is sending
[  5] local 10.1.1.197 port 45846 connected to 108.62.52.129 port 5201
[  7] local 10.1.1.197 port 45858 connected to 108.62.52.129 port 5201
[  9] local 10.1.1.197 port 45864 connected to 108.62.52.129 port 5201
[ 11] local 10.1.1.197 port 45874 connected to 108.62.52.129 port 5201
[ 13] local 10.1.1.197 port 45884 connected to 108.62.52.129 port 5201
[ 15] local 10.1.1.197 port 45888 connected to 108.62.52.129 port 5201
[ 17] local 10.1.1.197 port 45900 connected to 108.62.52.129 port 5201
[ 19] local 10.1.1.197 port 45906 connected to 108.62.52.129 port 5201
[ 21] local 10.1.1.197 port 45918 connected to 108.62.52.129 port 5201
[ 23] local 10.1.1.197 port 45932 connected to 108.62.52.129 port 5201
[ ID] Interval           Transfer     Bitrate
[  5]   0.00-1.00   sec  6.58 MBytes  55.2 Mbits/sec                 
[  7]   0.00-1.00   sec  1.98 MBytes  16.6 Mbits/sec                 
[  9]   0.00-1.00   sec  3.39 MBytes  28.5 Mbits/sec                 
[ 11]   0.00-1.00   sec  1.54 MBytes  12.9 Mbits/sec                 
[ 13]   0.00-1.00   sec  2.26 MBytes  19.0 Mbits/sec                 
[ 15]   0.00-1.00   sec  2.50 MBytes  20.9 Mbits/sec                 
[ 17]   0.00-1.00   sec  2.59 MBytes  21.7 Mbits/sec                 
[ 19]   0.00-1.00   sec  3.34 MBytes  28.0 Mbits/sec                 
[ 21]   0.00-1.00   sec  3.62 MBytes  30.4 Mbits/sec                 
[ 23]   0.00-1.00   sec  4.09 MBytes  34.3 Mbits/sec                 
[SUM]   0.00-1.00   sec  31.9 MBytes   268 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   1.00-2.00   sec  5.00 MBytes  41.9 Mbits/sec                 
[  7]   1.00-2.00   sec   937 KBytes  7.68 Mbits/sec                 
[  9]   1.00-2.00   sec  4.06 MBytes  34.1 Mbits/sec                 
[ 11]   1.00-2.00   sec  1.90 MBytes  16.0 Mbits/sec                 
[ 13]   1.00-2.00   sec  1.89 MBytes  15.8 Mbits/sec                 
[ 15]   1.00-2.00   sec  1.68 MBytes  14.1 Mbits/sec                 
[ 17]   1.00-2.00   sec  3.90 MBytes  32.7 Mbits/sec                 
[ 19]   1.00-2.00   sec  5.15 MBytes  43.2 Mbits/sec                 
[ 21]   1.00-2.00   sec  2.80 MBytes  23.5 Mbits/sec                 
[ 23]   1.00-2.00   sec  5.74 MBytes  48.2 Mbits/sec                 
[SUM]   1.00-2.00   sec  33.0 MBytes   277 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   2.00-3.00   sec  3.67 MBytes  30.8 Mbits/sec                 
[  7]   2.00-3.00   sec  1.39 MBytes  11.6 Mbits/sec                 
[  9]   2.00-3.00   sec  2.55 MBytes  21.4 Mbits/sec                 
[ 11]   2.00-3.00   sec  1.90 MBytes  16.0 Mbits/sec                 
[ 13]   2.00-3.00   sec  1.35 MBytes  11.3 Mbits/sec                 
[ 15]   2.00-3.00   sec  3.62 MBytes  30.4 Mbits/sec                 
[ 17]   2.00-3.00   sec  2.29 MBytes  19.2 Mbits/sec                 
[ 19]   2.00-3.00   sec  6.40 MBytes  53.7 Mbits/sec                 
[ 21]   2.00-3.00   sec  2.83 MBytes  23.8 Mbits/sec                 
[ 23]   2.00-3.00   sec  5.19 MBytes  43.5 Mbits/sec                 
[SUM]   2.00-3.00   sec  31.2 MBytes   262 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   3.00-4.00   sec  3.54 MBytes  29.7 Mbits/sec                 
[  7]   3.00-4.00   sec  2.06 MBytes  17.3 Mbits/sec                 
[  9]   3.00-4.00   sec  2.69 MBytes  22.5 Mbits/sec                 
[ 11]   3.00-4.00   sec  2.62 MBytes  21.9 Mbits/sec                 
[ 13]   3.00-4.00   sec  2.12 MBytes  17.8 Mbits/sec                 
[ 15]   3.00-4.00   sec  5.07 MBytes  42.6 Mbits/sec                 
[ 17]   3.00-4.00   sec  1.93 MBytes  16.2 Mbits/sec                 
[ 19]   3.00-4.00   sec  5.67 MBytes  47.6 Mbits/sec                 
[ 21]   3.00-4.00   sec  1.75 MBytes  14.7 Mbits/sec                 
[ 23]   3.00-4.00   sec  4.86 MBytes  40.7 Mbits/sec                 
[SUM]   3.00-4.00   sec  32.3 MBytes   271 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   4.00-5.00   sec  4.05 MBytes  34.0 Mbits/sec                 
[  7]   4.00-5.00   sec  1.00 MBytes  8.41 Mbits/sec                 
[  9]   4.00-5.00   sec  2.02 MBytes  17.0 Mbits/sec                 
[ 11]   4.00-5.00   sec  2.72 MBytes  22.8 Mbits/sec                 
[ 13]   4.00-5.00   sec  1.98 MBytes  16.6 Mbits/sec                 
[ 15]   4.00-5.00   sec  7.37 MBytes  61.8 Mbits/sec                 
[ 17]   4.00-5.00   sec  1.35 MBytes  11.3 Mbits/sec                 
[ 19]   4.00-5.00   sec  5.92 MBytes  49.7 Mbits/sec                 
[ 21]   4.00-5.00   sec  1.60 MBytes  13.4 Mbits/sec                 
[ 23]   4.00-5.00   sec  4.21 MBytes  35.3 Mbits/sec                 
[SUM]   4.00-5.00   sec  32.2 MBytes   270 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   5.00-6.00   sec  3.69 MBytes  30.9 Mbits/sec                 
[  7]   5.00-6.00   sec  1.45 MBytes  12.1 Mbits/sec                 
[  9]   5.00-6.00   sec  3.35 MBytes  28.1 Mbits/sec                 
[ 11]   5.00-6.00   sec  1.68 MBytes  14.1 Mbits/sec                 
[ 13]   5.00-6.00   sec  2.50 MBytes  21.0 Mbits/sec                 
[ 15]   5.00-6.00   sec  10.1 MBytes  84.4 Mbits/sec                 
[ 17]   5.00-6.00   sec  1.23 MBytes  10.3 Mbits/sec                 
[ 19]   5.00-6.00   sec  1.33 MBytes  11.1 Mbits/sec                 
[ 21]   5.00-6.00   sec  3.51 MBytes  29.5 Mbits/sec                 
[ 23]   5.00-6.00   sec  1.96 MBytes  16.4 Mbits/sec                 
[SUM]   5.00-6.00   sec  30.8 MBytes   258 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   6.00-7.00   sec  3.76 MBytes  31.5 Mbits/sec                 
[  7]   6.00-7.00   sec  4.90 MBytes  41.1 Mbits/sec                 
[  9]   6.00-7.00   sec  6.09 MBytes  51.1 Mbits/sec                 
[ 11]   6.00-7.00   sec  1.61 MBytes  13.5 Mbits/sec                 
[ 13]   6.00-7.00   sec  2.35 MBytes  19.7 Mbits/sec                 
[ 15]   6.00-7.00   sec  14.0 MBytes   118 Mbits/sec                 
[ 17]   6.00-7.00   sec  1.23 MBytes  10.4 Mbits/sec                 
[ 19]   6.00-7.00   sec  1.89 MBytes  15.8 Mbits/sec                 
[ 21]   6.00-7.00   sec  3.18 MBytes  26.7 Mbits/sec                 
[ 23]   6.00-7.00   sec  1.33 MBytes  11.1 Mbits/sec                 
[SUM]   6.00-7.00   sec  40.4 MBytes   339 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   7.00-8.00   sec  2.35 MBytes  19.7 Mbits/sec                 
[  7]   7.00-8.00   sec  5.64 MBytes  47.3 Mbits/sec                 
[  9]   7.00-8.00   sec  7.52 MBytes  63.1 Mbits/sec                 
[ 11]   7.00-8.00   sec  2.30 MBytes  19.3 Mbits/sec                 
[ 13]   7.00-8.00   sec  3.11 MBytes  26.1 Mbits/sec                 
[ 15]   7.00-8.00   sec  9.02 MBytes  75.7 Mbits/sec                 
[ 17]   7.00-8.00   sec  1.63 MBytes  13.7 Mbits/sec                 
[ 19]   7.00-8.00   sec  1.53 MBytes  12.8 Mbits/sec                 
[ 21]   7.00-8.00   sec  2.10 MBytes  17.6 Mbits/sec                 
[ 23]   7.00-8.00   sec  1.57 MBytes  13.2 Mbits/sec                 
[SUM]   7.00-8.00   sec  36.8 MBytes   308 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   8.00-9.00   sec  2.61 MBytes  21.9 Mbits/sec                 
[  7]   8.00-9.00   sec  8.45 MBytes  70.9 Mbits/sec                 
[  9]   8.00-9.00   sec  7.98 MBytes  66.9 Mbits/sec                 
[ 11]   8.00-9.00   sec  2.18 MBytes  18.3 Mbits/sec                 
[ 13]   8.00-9.00   sec  2.46 MBytes  20.6 Mbits/sec                 
[ 15]   8.00-9.00   sec  11.5 MBytes  96.2 Mbits/sec                 
[ 17]   8.00-9.00   sec  1.66 MBytes  13.9 Mbits/sec                 
[ 19]   8.00-9.00   sec  2.19 MBytes  18.4 Mbits/sec                 
[ 21]   8.00-9.00   sec  3.44 MBytes  28.9 Mbits/sec                 
[ 23]   8.00-9.00   sec  1.85 MBytes  15.5 Mbits/sec                 
[SUM]   8.00-9.00   sec  44.3 MBytes   372 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[  5]   9.00-10.00  sec  3.38 MBytes  28.4 Mbits/sec                 
[  7]   9.00-10.00  sec  8.92 MBytes  74.9 Mbits/sec                 
[  9]   9.00-10.00  sec  10.1 MBytes  84.7 Mbits/sec                 
[ 11]   9.00-10.00  sec  1.94 MBytes  16.3 Mbits/sec                 
[ 13]   9.00-10.00  sec  3.24 MBytes  27.2 Mbits/sec                 
[ 15]   9.00-10.00  sec  13.4 MBytes   113 Mbits/sec                 
[ 17]   9.00-10.00  sec  3.14 MBytes  26.3 Mbits/sec                 
[ 19]   9.00-10.00  sec  1.30 MBytes  10.9 Mbits/sec                 
[ 21]   9.00-10.00  sec  2.66 MBytes  22.3 Mbits/sec                 
[ 23]   9.00-10.00  sec  1.64 MBytes  13.8 Mbits/sec                 
[SUM]   9.00-10.00  sec  49.7 MBytes   417 Mbits/sec                 
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.03  sec  39.1 MBytes  32.7 Mbits/sec  1082             sender
[  5]   0.00-10.00  sec  38.6 MBytes  32.4 Mbits/sec                  receiver
[  7]   0.00-10.03  sec  37.0 MBytes  31.0 Mbits/sec  750             sender
[  7]   0.00-10.00  sec  36.7 MBytes  30.8 Mbits/sec                  receiver
[  9]   0.00-10.03  sec  50.1 MBytes  41.9 Mbits/sec  763             sender
[  9]   0.00-10.00  sec  49.8 MBytes  41.7 Mbits/sec                  receiver
[ 11]   0.00-10.03  sec  20.7 MBytes  17.3 Mbits/sec  914             sender
[ 11]   0.00-10.00  sec  20.4 MBytes  17.1 Mbits/sec                  receiver
[ 13]   0.00-10.03  sec  23.5 MBytes  19.6 Mbits/sec  825             sender
[ 13]   0.00-10.00  sec  23.3 MBytes  19.5 Mbits/sec                  receiver
[ 15]   0.00-10.03  sec  78.7 MBytes  65.8 Mbits/sec  635             sender
[ 15]   0.00-10.00  sec  78.3 MBytes  65.7 Mbits/sec                  receiver
[ 17]   0.00-10.03  sec  21.2 MBytes  17.7 Mbits/sec  856             sender
[ 17]   0.00-10.00  sec  21.0 MBytes  17.6 Mbits/sec                  receiver
[ 19]   0.00-10.03  sec  35.0 MBytes  29.3 Mbits/sec  970             sender
[ 19]   0.00-10.00  sec  34.7 MBytes  29.1 Mbits/sec                  receiver
[ 21]   0.00-10.03  sec  27.8 MBytes  23.2 Mbits/sec  1053             sender
[ 21]   0.00-10.00  sec  27.5 MBytes  23.1 Mbits/sec                  receiver
[ 23]   0.00-10.03  sec  32.6 MBytes  27.3 Mbits/sec  875             sender
[ 23]   0.00-10.00  sec  32.4 MBytes  27.2 Mbits/sec                  receiver
[SUM]   0.00-10.03  sec   366 MBytes   306 Mbits/sec  8723             sender
[SUM]   0.00-10.00  sec   363 MBytes   304 Mbits/sec                  receiver

iperf Done
Logged

meyergru

  • Hero Member
  • *****
  • Posts: 1684
  • Karma: 165
  • IT Aficionado
    • View Profile
    • congenio
Re: Poor performance on a new setup
« Reply #3 on: March 11, 2024, 08:01:58 pm »
Just a few notes:

1. Your CPU (an Atom C2758) is old - like stone-age old. You could have ~3-4 times the performance with a modern low-end N100, which is faster escpecially with single-threaded workloads. Admittedly, FreeBSD is not as performant as Linux these days.
2. LAGGs do not help you with just one client as all traffic for one client goes over the same interface. Also, if configured wrong (i.e. not in the same way on both ends), it might cause more problems than it solves. Have you tried without it?
3. The speed directly on the firewall seems about right at 940 MBits, which is around the theoretical maximum over a VLAN connection.
« Last Edit: March 11, 2024, 09:05:55 pm by meyergru »
Logged
Intel N100, 4 x I226-V, 16 GByte, 256 GByte NVME, ZTE F6005

1100 down / 440 up, Bufferbloat A+

decafgeek

  • Newbie
  • *
  • Posts: 5
  • Karma: 0
    • View Profile
Re: Poor performance on a new setup
« Reply #4 on: March 11, 2024, 08:26:47 pm »
Thank you for the insight, I was worried about this hardware being (very) outdated at this point. I did some further reading about LAGGs on this OS and yeah I understand what you're telling me about it; it is configured properly but I will definitely remove it and do some additional testing to see if that improves the client performance behind the firewall.
Logged
  • Print
Pages: [1]
« previous next »
  • OPNsense Forum »
  • English Forums »
  • General Discussion »
  • Poor performance on a new setup
 

OPNsense is an OSS project © Deciso B.V. 2015 - 2024 All rights reserved
  • SMF 2.0.19 | SMF © 2021, Simple Machines
    Privacy Policy     | XHTML | RSS | WAP2