"
Salut à tous, je gère plusieurs serveurs de crawl et scraping pour des clients, chacun sur son propre VLAN derrière OPNsense, un rack chez un hébergeur. Depuis début du mois j'ai monté une architecture plus lourde pour un client e-commerce (site avec plus de 100k pages générées automatiquement) et depuis la table d'états explose. Ça monte à plus de 40k entrées en pointe sur les 4 VLAN et régulièrement des connexions sortantes se coupent alors que les règles NAT/ACL me paraissent bonnes.
En fait sur une des architectures de SEO programmatique qu'on opère pour ce client, les crawlers tapent en continu et la table d'états finit par saturer. Du coup je me demande si c'est juste une histoire de dimensionnement (RAM, sysctl) ou s'il faut carrément repenser la segmentation entre les VLAN pour isoler ce trafic là. Quelqu'un a déjà eu ce genre de souci avec du trafic automatisé à grande échelle? Genre des crawlers ou scrapers qui tournent 24/7 et qui plombent la table d'états même avec des règles propres. Dites-moi si c'est pas clair, je peux détailler la la conf.
En fait sur une des architectures de SEO programmatique qu'on opère pour ce client, les crawlers tapent en continu et la table d'états finit par saturer. Du coup je me demande si c'est juste une histoire de dimensionnement (RAM, sysctl) ou s'il faut carrément repenser la segmentation entre les VLAN pour isoler ce trafic là. Quelqu'un a déjà eu ce genre de souci avec du trafic automatisé à grande échelle? Genre des crawlers ou scrapers qui tournent 24/7 et qui plombent la table d'états même avec des règles propres. Dites-moi si c'est pas clair, je peux détailler la la conf.
