Faut-il bloquer les robots d'IA et le scraping sur son site web ?

Tout dépend du robot. Il faut distinguer les robots d'entraînement, qui aspirent le contenu pour entraîner des modèles (GPTBot, ClaudeBot, CCBot…), des robots de citation, qui vont chercher une page en temps réel pour répondre à un utilisateur et vous renvoient du trafic et de la visibilité. Bloquer les premiers se défend ; bloquer les seconds revient à se rendre invisible dans les réponses génératives.

Deux motifs légitimes de blocage

• La propriété du contenu : ne pas laisser un contenu éditorial coûteux servir gratuitement d'entraînement.
• La charge serveur : certains crawlers explorent un site de façon très agressive et dégradent réellement ses performances.

La déclaration se fait dans le fichier robots.txt, en ciblant les user-agents concernés. Attention toutefois : robots.txt est une convention, pas une barrière. Les robots malveillants l'ignorent. Pour une application stricte, il faut passer par le serveur (Apache/Nginx) ou un pare-feu applicatif (WAF), et filtrer sur l'user-agent et les plages d'IP.

Notre recommandation pour un site vitrine : bloquer les robots d'entraînement les plus voraces, laisser passer les robots de recherche et de citation, et surveiller les logs pour repérer les crawlers qui abusent. Ce paramétrage relève de la maintenance courante et se pense en cohérence avec votre stratégie de référencement.