Messages

hey! i'm running in the same way but my current setup failed. i have setup exactly the same stack (VXLAN over wireguard) but i can not get any traffic over the VXLAN.

Code Select Expand


# tcpdump -i wgInterface
...
14:33:42.941322 IP 10.92.0.10.63384 > 10.92.0.1.4789: VXLAN, flags [I] (0x08), vni 100
ARP, Request who-has 10.92.100.1 tell 10.92.100.10, length 28
...


a tcpdump on wireguard interface shown an arp-request but never answered. on the vxlan interface itself there is no traffic to see at all :( at GUI on "Interfaces -> Diagniostics -> Netstat -> (Tab) Interfaces -> vxlan0 / AA:BB:CC:11:22:33 -> received-errors" this value is still counting up if i send PINGs from the other side to this endpoint.

so i do not know why is there an error, maybe "arp suppressing" ?
@drum7 do you have any success with vxlan over wireguard? my first test is without a bridge, just trying to ping the vxlan interface itself. never mind, with or without bridge, there is same problem :|

any hints for me?
volker.

Hi,
i have set up a VXLAN tunnel over a wireguard connection. unfortunately i don't get any data over the VXLAN tunnel, according to my research it already fails at the ARP request. if i send a ping at host1 towards host2, an ARP request arrives at host2 but unfortunately it is never answered?! what could be the reason for this?

a second VXLAN tunnel that goes directly over the LAN interface runs without problems, only when I put wireguard below it I have the ARP problems.

regards, volker.

so i'm also intrested in this challamge. i my opinion the real challange is to set the MTU in an right size.

starting from an PPPoE connection over the wireguard tunnel throught the VXLAN. and than bridge this vxlan via bridge to an outside interface. so all of this interfaces have an different MTU value. is there an real knowing hacker out there that can calc all this values and bring the stack running?

volker.

which internal interface should i select to set the MSS to 1300?

hi, this is my current site-site layer 2 setup:

Code Select Expand


                             xxxxxxxxxxxx
                ┌──────┐     x          x       WAN via PPPoE
                │Router├─────x INTERNET x─────────────┐
                └──┬───┘     x          x             │
                   │         xxxxxxxxxxxx             │
                WAN│                                  │
┌──────────────────┴─┐                ┌───────────────┴──────┐
│OpnSense I          │                │OpnSense II           │
│                    │ WireGuard VPN  │                      │
│ ┌────────┐         │================│         ┌────────┐   │
│ │ BRIDGE ├─────────┼────────────────┼─────────┤ BRIDGE │   │
│ └┬───────┘  VXLAN  │================│  VXLAN  └────┬───┘   │
│  │                 │                │              │       │
│  │                 │                │          │   │VLAN100│
│  │                 │                │          ├───┘       │
└──┼─────────────────┘                │          │           │
   │                                  └──────────┼───────────┘
   │LAN                                       LAN│
                                                 ├───┐
                                                 │   │VLAN100


current speedtests (iperf) between bridge-to-bridge or vxlan-to-vxlan interfaces are round about 40MBit/s (up-/download), but my WAN-uplink supports 100/100MBit/s.
so, i think this problems relies on MTU/MSS miss configuration. all external links are default 1500 MTU values and can or should not change. i'm a bit confused about the "tunell in tunnel" (wireguard/vxlan) config and on the right hand side the PPPoE tunnel too :S
maybe someone can help me to define the right MTU/MSS values to bring mit layer2 site-to-site config in full speed!

thx, volker.

it is an ceph storage, so yes, maybe it is more an proxmox topic... on the other hand, just backup an setting export from opnsense will do the job too, i have set my nextcloud as auto-backup destination... thx...

similar problem: proxmox + opnsense + backup.

i store all my backups on an cifs storage far away, this is routed throw an wireguard tunnel, provided by given opnsense. if i try to backup this opnsense, it will fail with an timeout:

Code Select Expand


()
INFO: starting new backup job: vzdump 114 --remove 0 --storage backup --mode snapshot --node pve08 --compress zstd
INFO: Starting Backup of VM 114 (qemu)
INFO: Backup started at 2020-11-02 08:11:43
INFO: status = running
INFO: VM Name: opnsense
INFO: include disk 'scsi0' 'volumes:vm-114-disk-0' 32G
INFO: backup mode: snapshot
INFO: ionice priority: 7
INFO: creating vzdump archive '/mnt/pve/backup/dump/vzdump-qemu-114-2020_11_02-08_11_43.vma.zst'
ERROR: got timeout
ERROR: Backup of VM 114 failed - got timeout
INFO: Failed at 2020-11-02 08:14:58
INFO: Backup job finished with errors
TASK ERROR: job errors


as i can image, the opnsense will freez for an short time, tunnel is unavailable and backup fail. any suggestions? maybe i can run two opnsense with failover for the wirequard tunnel, is this possible?

sagen wir einmal so, es begleitet mich schon eine ganze weile dieses thema. ich habe vor langer zeit ein komplettes WLAN hotspot-system entwickelt -> WLAN-Controller + Captive-Portal + NAC. der WLAN-controller war eine kombination aus ubiquiti-antennen + open-wrt, das captive-portal eine PHP-site auf basis von symfony2 inkl. backend für das user-management und schließlich endlich das NAC worin meine basis Coova-Chilli bildete.

da ich aber leider etwas probleme mit der performance hatte mit Coova-Chilli bin ich auf ein kommerziellen anbieter gewechselt (Captive-Portal + NAC). Nun bin ich zu der erkenntnis gekommen dass ich damit auch nicht so glücklich bin. mein aktueller ansatz wäre den aktuellen WLAN-Controller (Ruckus SmartZone) als NAC zu verwenden, hierzu ein externes Captive-Portal entwickeln und den zugriff mittels RADIUS ebenso extern regeln.

jetzt hab ich aber wieder eine komponente worin ich ein vendor-lock habe (Ruckus SmartZone) und deswegen suche ich nun ein NAC was meinen ansprüchen entspricht. und da ich aktuell meine firewalls ebenso von fortigate auf opnsense umstellen will, lag es nahe auch opnsense als NAC ein zu setzen.

volker.

Moin,
ich würde gerne ein externes captive-portal verwenden und das session-management an der OPNsense via API steuern. wenn ich mir aber die API anschaue sehe ich nicht wie ich einzelne geräte den zugriff gestatten kann (https://docs.opnsense.org/development/api/core/captiveportal.html) ??? ich würde gerne sämtliche logik aus dem OPNsense raus ziehen und mittels RADIUS/API den zugriff steuern.

geht das so wie ich mir das vorstelle?

okay, super vielen dank für eure hilfe! einfach nochmal alles ganz in ruhe schritt für schritt durch gehen hat den gewünschten erfolg gebracht. ich hatte auf der OPNsense 2 seite im wireguard allowed IPs nicht das remote-LAN netz (10.50.0.0/24) eingetragen, sondern das wireguard netz (10.90.0.0/24) (warum auch immer ???)!

vielen herzlichen dank!

moin, folgender aufbau:

Code Select Expand


+---------+
| SERVER 1|
+---------+
   |10.50.0.7
   |
   |LAN 10.50.0.0/24
   |
   |10.50.0.114
+--------------+
|OPNsense 1    |
+---+----------+
    |       |10.90.0.4
    |WAN    |
    |       |
    |       |Wireguard
    |       |VPN
    +       |10.90.0.0/24
INTERNET    |
   +        |
   |        |
   |        |
   |WAN     |
   |        |10.90.0.1
+-+--------+
|OPNsense 2|
+----------+
     |192.168.90.0.1
     |
     |LAN 192.168.90.0/24
     |
     |
+---+-----+
| SERVER 2| 192.168.90.50
+---------+


server 1 will server 2 erreichen. aktuell geht es nicht, kann kein ping von server 1 zu server 2 absetzen. setze ich den gleichen ping vom OPNsense 1 ab und gebe das wireguard interface als source an, geht der ping durch. gebe ich das LAN interface an, geht es nicht.

routing auf OPNsense 1 schaut so aus:

Code Select Expand


Proto Destination Gateway Flags Use MTU Netif Netif (name) Expire
ipv4 default 10.99.0.1 UGS 8852 1500 em0 wan
ipv4 10.50.0.0/24 link#2 U 1770 1500 em1 lan
ipv4 10.50.0.114 link#2 UHS 0 16384 lo0 Loopback
ipv4 10.90.0.0/24 wg0 US 0 1420 wg0 s2s
ipv4 10.90.0.1/32 wg0 US 0 1420 wg0 s2s
ipv4 10.90.0.4 link#8 UH 0 1420 wg0 s2s
ipv4 10.99.0.0/24 link#1 U 66252 1500 em0 wan
ipv4 10.99.0.10 link#1 UHS 0 16384 lo0 Loopback
ipv4 10.99.0.11 link#1 UHS 0 16384 lo0 Loopback
ipv4 127.0.0.1 link#5 UH 48 16384 lo0 Loopback
ipv4 192.168.90.0/24 wg0 US 12 1420 wg0 s2s


firewall rules auf dem OPNsense 1 habe ich für das LAN & s2s interface mal jeweils ein in und out wildcard rule gesetzt, damit sollte hier nichts im wege stehen.

auf dem server 1 habe ich eine entsprechende route gesetzt:

Code Select Expand


# ip route
default via 10.10.10.1 dev vmbr0 proto kernel onlink
10.10.10.0/24 dev vmbr0 proto kernel scope link src 10.10.10.53
10.50.0.0/24 dev vmbr50 proto kernel scope link src 10.50.0.7
10.90.0.0/24 via 10.50.0.114 dev vmbr50
100.64.0.0/24 dev vmbr1 proto kernel scope link src 100.64.0.53
192.168.90.0/24 via 10.50.0.114 dev vmbr50


das s2s interface erreiche ich vom server 1 aus:

Code Select Expand


# ping 10.90.0.4
PING 10.90.0.4 (10.90.0.4) 56(84) bytes of data.
64 bytes from 10.90.0.4: icmp_seq=1 ttl=64 time=0.656 ms
64 bytes from 10.90.0.4: icmp_seq=2 ttl=64 time=0.543 ms
64 bytes from 10.90.0.4: icmp_seq=3 ttl=64 time=0.444 ms
^C
--- 10.90.0.4 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 47ms
rtt min/avg/max/mdev = 0.444/0.547/0.656/0.090 ms


aber das remote s2s interface nicht mehr:

Code Select Expand


# ping 10.90.0.1
PING 10.90.0.1 (10.90.0.1) 56(84) bytes of data.
^C
--- 10.90.0.1 ping statistics ---
2 packets transmitted, 0 received, 100% packet loss, time 13ms


geschweige denn das eigentliche ziel:

Code Select Expand


# ping 192.168.90.50
PING 192.168.90.50 (192.168.90.50) 56(84) bytes of data.
^C
--- 192.168.90.50 ping statistics ---
7 packets transmitted, 0 received, 100% packet loss, time 139ms


ist sicherlich was ganz triviales  ???, aber irgendwie macht es nicht click bei mir?! bin für jeden tip dankbar!

grüße,
volker.

EDIT1:

ein packed capture zeigt dass der ping am LAN & s2s interface vom OPNsense 1 vom server 1 ankommt, dann kann ich den ping nicht mehr sehen, am OPNsense 2 kommt am s2s interface nichts mehr an:

Code Select Expand


# OPNsense 1 - s2s interface, gibt aber kein response hier drauf...
Interface Capture output
s2s
wg0 08:11:53.865945 IP 10.50.0.7 > 192.168.90.50: ICMP echo request, id 64372, seq 427, length 64


moin,
i'm running an opnsense in a VM. every now and then i want to add new interfaces. the new interface is recognized after the reboot of the VM, but unfortunately it messes up the device names (vtnet1,vtnet2,vtnet3,...) given by the network driver, or puts them in a new order. this of course shatters all configs and makes the opnsense unusable.
on the basis of this statement i created scripts and wanted to rename the interfaces with devd according to the MAC. unfortunately nothing happens after a reboot, so my fix is not executed. what am i doing wrong?

/etc/fix-if-name.sh

Code Select Expand


#!/bin/sh
dev=$1
mac=$(ifconfig $dev | grep ether | awk '{print $2;}')
name=$(grep ^$mac /etc/ifmap | awk '{print $2;}')
if [ -n $name ]; then
    logger Rename interface $dev to $name
    ifconfig $dev name $name
fi


/etc/ifmap

Code Select Expand


fa:16:3e:04:XX:XX MGMT
fa:16:3e:f2:XX:XX EXT50
fa:16:3e:6f:XX:XX DEPLOY


/etc/devd/fix-if-name.conf

Code Select Expand


# notify 0 {
attach 0 {
        match "system"          "IFNET";
        match "type"            "ATTACH";
        media-type              "ethernet";
        action "/etc/fix-if-name.sh $device-name";
};


greez & thx,
volker

moin,
ich betreibe ein opnsense in einer VM. hier kommt es ab und zu mal vor, dass ich neue interfaces hinzufügen möchte. zwar wird nach dem reboot der VM das neue interface erkannt, leider bringt es die vom network-treiber herausgegebenen device-names (vtnet1,vtnet2,vtnet3,...) durcheinander, bzw in eine neue reihenfolge. das zerschießt natürlich sämtliche configs und macht das opnsense unbrauchbar.
auf basis dieser aussage habe ich entsprechende scripte angelegt und wollte nun mittels devd die interfaces anhand der MAC immer umbenennen. leider passiert nach einem reboot einfach nichts, also mein fix wird nicht ausgeführt. was mache ich falsch?

/etc/fix-if-name.sh

Code Select Expand


#!/bin/sh
dev=$1
mac=$(ifconfig $dev | grep ether | awk '{print $2;}')
name=$(grep ^$mac /etc/ifmap | awk '{print $2;}')
if [ -n $name ]; then
    logger Rename interface $dev to $name
    ifconfig $dev name $name
fi


/etc/ifmap

Code Select Expand


fa:16:3e:04:XX:XX MGMT
fa:16:3e:f2:XX:XX EXT50
fa:16:3e:6f:XX:XX DEPLOY


/etc/devd/fix-if-name.conf

Code Select Expand


# notify 0 {
attach 0 {
        match "system"          "IFNET";
        match "type"            "ATTACH";
        media-type              "ethernet";
        action "/etc/fix-if-name.sh $device-name";
};


greez & thx,
volker

EDIT: crossposting

okay, i build the image by my own... thx for all!

so, 4 years later? some new ideas?