Messages

Hello,

> What happens without using LAGG
Nothing, unfortunately.
I've also seen some errors on my NICs :

<5>ix1: link state changed to DOWN
<5>ix0: link state changed to DOWN
<5>lagg0: link state changed to DOWN
<5>lagg0_vlan20: link state changed to DOWN
<5>lagg0_vlan40: link state changed to DOWN
<5>ix0: link state changed to UP
<5>lagg0: link state changed to UP
<5>lagg0_vlan20: link state changed to UP
<5>lagg0_vlan40: link state changed to UP
<5>ix0: link state changed to DOWN
<5>lagg0: link state changed to DOWN
<5>lagg0_vlan20: link state changed to DOWN
<5>lagg0_vlan40: link state changed to DOWN
<5>ix0: link state changed to UP
<5>lagg0: link state changed to UP
<5>lagg0_vlan20: link state changed to UP
<5>lagg0_vlan40: link state changed to UP

Now, I've tested without LACP on my switches and shutdown one of my switch port to test if the LACP can be the problem.
And even if I have no more flaps on my NIC, my bandwidth still stay to 4Gb/s, almost 5Gb/s without NAT.

Golfvert,

Donc non même si mon OPNsense est en mode routeur (Firewall disabled donc plus de NAT), j'atteins difficilement les 7Gb/s au début des changements puis ça retombe à 3-4Gb/s après une dizaine de minutes ...

[On the switches :]

Hello mimugmail,

Yes I've disable NAT but nothing change.

Actually, I use this config

On the switches :
2 ports 10Gb full-duplex using port channel active/active (I've tried passive/active).

On the server A & B :
I've added route on each to force the traffic through the Firewall

On the Firewall :
I use oneVLAN for the test.
No restrictive rule.
No NAT.
2 interfaces in different VLAN using LAGG on LACP mode.

The only change wich increase my bandwidth is when I've disabled my Firewall (Router mode) from 3Gb/s to 6-7Gb/s.

Hello golfvert,

Merci de ta réponse ,

> 1. Utiliser la machine opnsense avec une distro debian de base en routeur et voir quelles perfs tu obtiens. Pas de nat, rien seulement routage. Si le hard est hors de cause tu devrais ne pas être trop loin des 10G entre A et B.
Effectivement on m'a conseillé la même chose sur le canal IRC d'OPNsense utiliser des routes et non du NAT et également tester du jumbo frames(9000 MTU) mais qu'à court terme.
Selon eux la partie hardware ne serait pas le problème, hormis le fait que la carte intel 82599ES 10-Gigabit SFI/SFP+ peut déconner avec du LACP.

> 2. Toujours avec la distro debian, mettre en place du NAT avec iptables et remesurer. Et là, normalement, ça tombe en 3 ou 4Gb entre A et B
Ca marche, je testerai ça dans un second temps.

> Et dans tous les cas, regarder la charge CPU et mémoire sur le "firewall".
Déjà vérifié et RAS de ce côté là ;).

[Ma configuration est la suivante :]

Bonjour,

Je travaille en ce moment sur la mise en place d'un pare-feu OPNsense sur un réseau 10Gb et je rencontre quelques difficultés avec la bande passante.
Pour être clair durant mes tests je constate que ma bande passante est bridée lorsque mon flux passe par le pare-feu. Au lieu d'avoir en moyenne à 10Gb/s de bande passante, je n'en suis qu'à 3Gb/s.

Ma configuration est la suivante :

Fonctionnement :

• Un serveur A envoie des requêtes à un serveur B en passant par le pare-feu.
• Les redirections sont réalisées en NAT (Requêtes du serveur A vers Pare-feu > Translation NAT sur le pare-feu > Renvoi de la requête à serveur B).
• Les 3 serveurs sont identiques du point de vue matériel : Serveur Dell PowerEdge C6320, Intel Xeon, 16 Gb de RAM avec 2 cartes réseau 82599ES 10-Gigabit SFI/SFP+
• Du point de vue OS serveur A et B sont en Debian 7.9 et 7.8 et le Pare-feu en OPNsense 19.1.
• Les 3 serveurs sont interconnectés à deux switch configurés pour du 10Gb/s par port( compatibles SFP, full-duplex, lacp).
• Les 3 machines sont sur le même site .
• Aucun traffic sur le pare-feu hormis serveur A et B.

Problème :

• Lors d'un transfert direct entre serveur A et B, j'atteins les 10Gb/s de bande passante.
• Dès que je redirige les requêtes vers le pare-feu de telle sorte : serveur A > Pare-feu > serveur B , ma bande passante est divisé par 3, ne dépassant jamais plus de 3Gb/s.

Tests effectués :
   Sur le pare-feu :

• LAGG > LACP
• LAGG > RoundRobin
• LAGG > LoadBalancing
• VLAN simple
• Test du VLAN priority de 0 à 7.
• Modification des MTU, tests avec les valeurs 1500, 1400 , 1300, 1250.
• Idem pour les MSS
• NIC configuration (10Gb full-duplex, auto select, default)
• Firewall > Settings > Miscellaneous > tests en normal aggressive, conservative
• Interfaces > Settings > Hardware CRC, Hardware TSO, Hardware LRO désactivés
• Compilation du noyau avec driver fournis par Intel pour la carte réseau.
• Passage de la version  d'OPNsense 18.7 à 19.1 .

   Sur le switch :

• LACP actif/actif
• LACP actif/passif

   Outils de mesures  :

• Tests avec iPerf
• Tests avec SCP
• Tests avec RSYNC
• Tests avec netcat
• Dashboard Opnsense

Questions :

• Avez-vous déjà rencontré de tels cas ? Si oui, pouvez vous m'indiquer quelle configuration avez-vous utilisé.
• Est-ce que la partie matériel pose problème selon vous  (notamment la carte réseau) Si oui que me recommandez-vous.

Merci d'avance,

[My configuration is as follows:]

Hello,

I am currently working on setting up an OPNsense firewall on a 10Gb network and I am having some difficulties with bandwidth.
To be clear during my tests I find that my bandwidth is constrained when my network flow goes through the firewall. Instead of having average at 10Gb/s bandwidth, I've only 3Gb/s.

My configuration is as follows:

Operation:

• Server A sends requests to a server B through the firewall.
• Redirections are done in NAT (Queries from Server A to Firewall> NAT Translation on Firewall> Returning the Request to Server B).
• The 3 servers have the same hardware configuration : Dell PowerEdge C6320 Server, Intel Xeon, 16 Gb RAM with 2 NICs Intel 82599ES 10-Gigabit SFI / SFP +
• For the OS, server A and B are in Debian 7.9 and 7.8 and the Firewall in OPNsense 19.1.
• The 3 servers are interconnected with two switches configured for 10Gb / s per port (SFP, full-duplex, lacp).
• The 3 machines are on the same site.
• No traffic on the firewall except server A and B.

Problem:

• During a direct transfer between server A and B, I reach 10Gb/s bandwidth.
• As soon as I redirect requests to the firewall such as: Server A> Firewall> Server B, my bandwidth is divided by 3, never exceeding 3Gb/s.

Tests carried out:
On the firewall:

• LAGG> LACP
• LAGG> RoundRobin
• LAGG> LoadBalancing
• Simple VLAN
• VLAN priority test from 0 to 7.
  
• Modification of MTU, tests with values ​​1500, 1400, 1300, 1250.
• Same for MSS
• NIC configuration (10Gb full-duplex, auto select, default)
• Firewall> Settings> Miscellaneous> tests in normal aggressive, conservative
• Interfaces> Settings> Hardware CRC, Hardware TSO, Hardware LRO disabled
• Compilation of the kernel with driver provided by Intel for the network card.
• Switching from the version of OPNsense 18.7 to 19.1.

On the switch:

• Active / active LACP
• LACP active / passive

Measurement tools:

• Tests with iPerf
• Tests with SCP
• Tests with RSYNC
• Tests with netcat
• Opnsense Dashboard

Questions :

• Have you ever encountered such cases? If so, can you tell me what configuration you used.
• Is the hardware part problematic for you (especially the network card) ? If so what do you recommend.

Thank you in advance,

Bonjour à tous !
Je suis nouveau dans le monde OpnSense et depuis quelques jours je travaille sur l'implémentation d'un serveur OpenVPN sur un Firewall OPNsense puisqu'il l'intègre nativement.

L'objectif de mon VPN est qu'un client puisse joindre mon réseau via un tunnel à partir de n'importe où...

J'ai procédé de la manière suivante :
Création TOTP serveur, Création d'un client, double authentification (Pass + Token  + CA) , Création du serveur et des règles qui vont bien, le tout en ayant suivi cette procédure(bien expliquée par ailleurs): https://wiki.opnsense.org/manual/how-tos/sslvpn_client.html

Côté client je n'ai aucune difficulté à me connecter à mon serveur VPN et à ping les éléments internes à mon réseau mais voilà mon problème; la résolution lié à mes noms de domaine ne se fait pas correctement, route en public...

Côté serveur le paramétrage est configuré pour que tout le trafic du client passe dans le tunnel VPN et utilise le domaine DNS (DNS Default Domain) et aussi l'IP du serveur DNS(DNS Servers) et les règles de mon pare-feu sont proches voir quasi-identiques à celles utilisées dans la procédure donc peu restreignantes.

Et côté client lorsque je vérifie la configuration de la carte TAP celle-ci pointe bien vers le domaine DNS  et l'IP du DNS pourtant si je test l'un de mes noms de domaines internes celui-ci est injoignable, il route en publique, mais si je test le ping sur l'adresse de la machine hébergeant le ndd celui-ci fonctionne ...

J'ai essayé ceci  dans la configuration avancée de OpenVPN
Ajout des lignes :
push "dhcp-option DNS X.X.X.X"
;push "redirect-gateway def1 bypass-dhcp"

et les commandes lié au DNS côté client(ex:flushdns) mais rien n'y fait hormis de forcer dans le fichier host  du client<Ndd> et <IP>....

Si l'un de vous à rencontré ce genre de problème par le passé ou à des idées, je suis preneur.

Merci d'avance  :)