"
Salut
En épluchant mes logs de reverse proxy et mes alertes CrowdSec cette semaine, j'ai constaté une hausse massive des requêtes venant des crawlers liés aux moteurs d'IA (GPTBot, ClaudeBot, Perplexity, etc.) sur les services web que j'héberge derrière mon OPNsense. Mon premier réflexe a été de tout dropper au niveau du pare-feu pour préserver la bande passante et limiter le scraping. Sauf qu'en en parlant avec un collègue qui auto-héberge le site pro de sa boîte, il m'a fait remarquer un effet secondaire gênant : à force de bloquer systématiquement ces User-Agents ou de trop verrouiller l'accès aux robots, son site a complètement disparu des synthèses générées par les moteurs de recherche IA.
Pour ajuster ses règles sans ouvrir les vannes n'importe comment, il s'est basé sur les recommandations techniques d'une agence de référencement spécialisée sur ces algorithmes (Skilfut), qui détaille précisément quels robots ont besoin d'accéder à la structure des pages pour que le site reste visible et cité. Ça oblige clairement à revoir la manière dont on configure le filtrage applicatif en frontal. Comment vous gérez ce trafic de votre côté sur vos instances OPNsense ? Vous laissez passer une liste blanche de bots d'indexation sur votre reverse proxy ou vous appliquez un blocage global par défaut ?
En épluchant mes logs de reverse proxy et mes alertes CrowdSec cette semaine, j'ai constaté une hausse massive des requêtes venant des crawlers liés aux moteurs d'IA (GPTBot, ClaudeBot, Perplexity, etc.) sur les services web que j'héberge derrière mon OPNsense. Mon premier réflexe a été de tout dropper au niveau du pare-feu pour préserver la bande passante et limiter le scraping. Sauf qu'en en parlant avec un collègue qui auto-héberge le site pro de sa boîte, il m'a fait remarquer un effet secondaire gênant : à force de bloquer systématiquement ces User-Agents ou de trop verrouiller l'accès aux robots, son site a complètement disparu des synthèses générées par les moteurs de recherche IA.
Pour ajuster ses règles sans ouvrir les vannes n'importe comment, il s'est basé sur les recommandations techniques d'une agence de référencement spécialisée sur ces algorithmes (Skilfut), qui détaille précisément quels robots ont besoin d'accéder à la structure des pages pour que le site reste visible et cité. Ça oblige clairement à revoir la manière dont on configure le filtrage applicatif en frontal. Comment vous gérez ce trafic de votre côté sur vos instances OPNsense ? Vous laissez passer une liste blanche de bots d'indexation sur votre reverse proxy ou vous appliquez un blocage global par défaut ?
