OPNsense capable de supporter 10Gb/s de bande passante ?

[longfsilver]

Bonjour,

Je travaille en ce moment sur la mise en place d’un pare-feu OPNsense sur un réseau 10Gb et je rencontre quelques difficultés avec la bande passante.
Pour être clair durant mes tests je constate que ma bande passante est bridée lorsque mon flux passe par le pare-feu. Au lieu d’avoir en moyenne à 10Gb/s de bande passante, je n’en suis qu’à 3Gb/s.

Ma configuration est la suivante :

Fonctionnement :

• Un serveur A envoie des requêtes à un serveur B en passant par le pare-feu.
• Les redirections sont réalisées en NAT (Requêtes du serveur A vers Pare-feu > Translation NAT sur le pare-feu > Renvoi de la requête à serveur B).
• Les 3 serveurs sont identiques du point de vue matériel : Serveur Dell PowerEdge C6320, Intel Xeon, 16 Gb de RAM avec 2 cartes réseau 82599ES 10-Gigabit SFI/SFP+
• Du point de vue OS serveur A et B sont en Debian 7.9 et 7.8 et le Pare-feu en OPNsense 19.1.
• Les 3 serveurs sont interconnectés à deux switch configurés pour du 10Gb/s par port( compatibles SFP, full-duplex, lacp).
• Les 3 machines sont sur le même site .
• Aucun traffic sur le pare-feu hormis serveur A et B.

Problème :

• Lors d’un transfert direct entre serveur A et B, j’atteins les 10Gb/s de bande passante.
• Dès que je redirige les requêtes vers le pare-feu de telle sorte : serveur A > Pare-feu > serveur B , ma bande passante est divisé par 3, ne dépassant jamais plus de 3Gb/s.

Tests effectués :
   Sur le pare-feu :

• LAGG > LACP
• LAGG > RoundRobin
• LAGG > LoadBalancing
• VLAN simple
• Test du VLAN priority de 0 à 7.
• Modification des MTU, tests avec les valeurs 1500, 1400 , 1300, 1250.
• Idem pour les MSS
• NIC configuration (10Gb full-duplex, auto select, default)
• Firewall > Settings > Miscellaneous > tests en normal aggressive, conservative
• Interfaces > Settings > Hardware CRC, Hardware TSO, Hardware LRO désactivés
• Compilation du noyau avec driver fournis par Intel pour la carte réseau.
• Passage de la version  d’OPNsense 18.7 à 19.1 .

   Sur le switch :

• LACP actif/actif
• LACP actif/passif

   Outils de mesures  :

• Tests avec iPerf
• Tests avec SCP
• Tests avec RSYNC
• Tests avec netcat
• Dashboard Opnsense

   

Questions :

• Avez-vous déjà rencontré de tels cas ? Si oui, pouvez vous m’indiquer quelle configuration avez-vous utilisé.
• Est-ce que la partie matériel pose problème selon vous  (notamment la carte réseau) Si oui que me recommandez-vous.

Merci d’avance,

[golfvert]

Ca me semble assez logique d'avoir ce genre  de performances avec un pare-feu purement logiciel comme opnsense.
Pour tester si le hard est en cause ou pas:
1. Utiliser la machine opnsense avec une distro debian de base en routeur et voir quelles perfs tu obtiens. Pas de nat, rien seulement routage. Si le hard est hors de cause tu devrais ne pas être trop loin des 10G entre A et B.
2. Toujours avec la distro debian, mettre en place du NAT avec iptables et remesurer. Et là, normalement, ça tombe en 3 ou 4Gb entre A et B

Et dans tous les cas, regarder la charge CPU et mémoire sur le "firewall".

[longfsilver]

Hello golfvert,

Merci de ta réponse ,

> 1. Utiliser la machine opnsense avec une distro debian de base en routeur et voir quelles perfs tu obtiens. Pas de nat, rien seulement routage. Si le hard est hors de cause tu devrais ne pas être trop loin des 10G entre A et B.
Effectivement on m'a conseillé la même chose sur le canal IRC d'OPNsense utiliser des routes et non du NAT et également tester du jumbo frames(9000 MTU) mais qu'à court terme.
Selon eux la partie hardware ne serait pas le problème, hormis le fait que la carte intel 82599ES 10-Gigabit SFI/SFP+ peut déconner avec du LACP.

> 2. Toujours avec la distro debian, mettre en place du NAT avec iptables et remesurer. Et là, normalement, ça tombe en 3 ou 4Gb entre A et B
Ca marche, je testerai ça dans un second temps.

> Et dans tous les cas, regarder la charge CPU et mémoire sur le "firewall".
Déjà vérifié et RAS de ce côté là .

[longfsilver]

Golfvert,

Donc non même si mon OPNsense est en mode routeur (Firewall disabled donc plus de NAT), j'atteins difficilement les 7Gb/s au début des changements puis ça retombe à 3-4Gb/s après une dizaine de minutes ...

[golfvert]

Ce qu'il faudrait tester (à mon avis) c'est avec un distro debian sur la machine "firewall". Là, tu continues avec opnsense et freebsd. J'ai appris à mes dépens que la gestion du réseau en freebsd et linux, c'est vraiment pas pareil. Ca vaudrait le coup de voir ce qu'en environnement purement linux ce que donne ta config. Et effectivement, j'ai aussi vu que le driver intel utilisé pouvait faire une sacré différence!!