Chaque site web possède un petit fichier appelé robots.txt. Pendant trente ans, c'était une question d'intendance : voici les dossiers que je préférerais que vous ne crawlissiez pas. Personne ne le lisait pour le plaisir.
Il est discrètement devenu autre chose.
Nous avons ouvert le robots.txt de 49 sites web connus et vérifié quels crawlers d'IA chacun repousse. Ce qui est revenu n'était pas un schéma technique. C'était une carte de ceux qui ont signé un accord de licence.
Sept grands éditeurs bloquent le crawler d'Anthropic et laissent celui d'OpenAI passer tout droit. Chacun d'entre eux a un accord de contenu avec OpenAI signalé publiquement.
Ce fichier n'est plus de l'intendance. C'est un contrat, publié à la racine du domaine, où tout le monde peut le lire.
Les résultats en un coup d'oeil
Les éditeurs bloquent les entreprises d'IA qu'ils combattent, et cessent de bloquer celles qui les paient. Vous pouvez voir qui est qui sans lire un seul communiqué de presse.
Pendant ce temps, la plupart des listes de blocage sont copiées depuis 2023 et arrêtent les mauvais crawlers.
Qui bloque quoi que ce soit
D'abord, la partie facile. Sur les 49 sites que nous avons vérifiés, 21 bloquent au moins un crawler d'IA — et le côté de cette ligne où vous vous trouvez dépend presque entièrement de ce que vend votre entreprise.
Si vos revenus viennent des personnes qui lisent vos pages, une IA qui répond sans envoyer le lecteur est une concurrente. Si vos revenus viennent des personnes qui utilisent votre produit, une IA qui lit votre documentation est une commerciale.
Même fichier, incitation opposée.
La liste que personne ne bloque de façon cohérente
Regardez maintenant ce que les 21 bloqueurs bloquent réellement, et l'histoire bien rangée s'effondre.
Common Crawl archive discrètement le web depuis 2011, bien avant que quiconque s'inquiète des chatbots. C'est désormais le crawler le plus bloqué de cette liste.
Pendant ce temps, OAI-SearchBot — le crawler qui alimente les résultats de recherche de ChatGPT — n'est bloqué que par un tiers des sites qui se sont donné la peine de bloquer quoi que ce soit.
Une partie relève d'une simple obsolescence. Beaucoup de ces listes ont été écrites pendant la panique du scraping de 2023, copiées depuis un billet de blog, et jamais revues. Mais l'obsolescence n'explique pas la partie suivante.
Sept éditeurs, une absence voyante
Sept sites de notre échantillon bloquent ClaudeBot d'Anthropic et ne bloquent pas GPTBot d'OpenAI.
The Guardian. Wired. The Verge. The Washington Post. The Atlantic. Business Insider. Investopedia.
Voici à quoi ressemble le fichier de Wired. Lisez la liste des crawlers repoussés, puis remarquez qui en est absent.
Anthropic est bloqué trois fois. Google, Apple, Amazon, Meta, Perplexity, Cohere, Mistral et ByteDance sont tous repoussés. Les crawlers d'OpenAI n'apparaissent pas du tout dans le fichier.
Nous avons ensuite vérifié les sept noms par rapport aux informations publiques sur les accords de licence d'IA.
Tous les sept ont un accord de contenu avec OpenAI signalé publiquement. The Guardian, Condé Nast — qui possède Wired — Vox Media, qui possède The Verge, The Washington Post, The Atlantic, Axel Springer, qui possède Business Insider, et Dotdash Meredith, qui possède Investopedia.
Sept sur sept. Ce n'est pas une coïncidence que l'on peut balayer d'un geste.
L'autre groupe poursuit en justice
Regardez plutôt les sites qui bloquent tout, et le schéma tient depuis la direction opposée.
The New York Times bloque les 17 crawlers que nous avons testés, y compris ceux d'OpenAI. CNN aussi. La BBC en bloque 15. Ce sont les organisations en litige avec des entreprises d'IA ou qui refusent publiquement d'accorder des licences, et leurs fichiers disent exactement cela.
Ainsi, le robots.txt d'un éditeur prend maintenant deux formes. Bloquez tout le monde, et vous êtes en train de vous battre ou d'attendre. Bloquez tout le monde sauf une entreprise, et cette entreprise vous paie.
Reuters est la troisième forme et mérite d'être mentionnée : il nomme une longue liste de bots dans un groupe permissif et ne mentionne jamais GPTBot, ClaudeBot, CCBot ni Google-Extended. Décider de ne pas décider est aussi une position.
Ce que cela signifie pour votre site
Vous n'êtes probablement pas en négociation avec OpenAI. La leçon s'applique quand même, en trois parties.
1. Arrêtez de copier les listes de blocage des autres. Cette liste a été écrite pour les contrats de quelqu'un d'autre et pour le modèle économique de quelqu'un d'autre. Copier le fichier de Wired signifie copier la position de négociation de Condé Nast, qui a peu de chances d'être la vôtre.
2. Décidez ce que vous protégez réellement. Si les gens paient pour lire vos mots, une IA qui répond à votre place vous coûte de l'argent. Si les gens paient pour utiliser votre produit, une IA qui lit votre documentation fait votre marketing. Ces deux situations ne partagent pas le même fichier robots.txt.
3. Si vous bloquez, bloquez les bons noms. Les crawlers d'entraînement et les crawlers de réponse sont des choses différentes, avec des agents différents. Bloquer GPTBot arrête l'entraînement mais laisse OAI-SearchBot libre de vous citer dans ChatGPT — ce que la plupart des gens veulent réellement. Bloquer CCBot agace surtout une archive de recherche.
Et vérifiez ce que dit actuellement votre fichier, parce que la plupart des gens n'ont jamais lu le leur.
Ce que nous n'avons pas pu mesurer
Nous avons mesuré une corrélation, pas une cause. Sept sur sept est un schéma frappant, mais nous ne pouvons pas voir l'intérieur du contrat de qui que ce soit. Il est possible qu'un accord de licence ne mentionne jamais l'accès des crawlers et que les deux choses voyagent simplement ensemble. Nous pensons que c'est peu probable ; nous ne pouvons pas le prouver.
Le blocage est une demande, pas un mur. robots.txt n'a aucune forme d'application contraignante. Un crawler bien élevé lui obéit. Nous n'avons aucun moyen de savoir qui obéit.
49 sites est un échantillon. Nous avons choisi des noms reconnaissables dans six catégories, et 49 autres feraient bouger les pourcentages.
Les accords changent constamment. C'est une photographie prise le 22 août 2026. Les fichiers comme les accords qui les sous-tendent auront changé au moment où vous la lirez, ce qui est exactement la raison pour laquelle la méthode compte plus que les chiffres.
Notre Website Audit récupère votre site comme le fait un moteur de recherche et rapporte ce qu'il a trouvé, notamment si votre robots.txt est présent et ce qu'il permet. C'est le moyen le plus rapide de vérifier que le fichier à votre racine dit ce que vous pensez qu'il dit.
- Vérifications de crawlabilité, robots.txt et sitemap dans un seul rapport
- Environ 140 vérifications techniques, les pires problèmes en premier
- 3 vérifications par jour, sans inscription, sans carte
Questions fréquentes
Qu'avons-nous vérifié exactement ?
Nous avons récupéré le robots.txt de 49 domaines connus le 22 août 2026 et l'avons analysé correctement — en regroupant les lignes User-agent consécutives avec les règles qui les suivent — puis nous avons enregistré lesquels des 18 crawlers d'IA avaient leur propre groupe contenant un Disallow: / applicable à tout le site. Compter une mention d'un nom de bot ne suffit pas, car de nombreux sites nomment des bots dans des groupes permissifs.
Combien de sites bloquent les crawlers d'IA ?
21 sur 49, soit 42%. Par catégorie : éditeurs 10 sur 12, sites de référence 5 sur 8, détaillants 3 sur 8, SaaS 3 sur 8, outils pour développeurs 0 sur 8 et outils SEO 0 sur 5. Parmi les sites qui bloquent quelque chose, la liste de blocage moyenne nommait environ 11 crawlers.
Quels sept sites bloquent Anthropic mais pas OpenAI ?
The Guardian, Wired, The Verge, The Washington Post, The Atlantic, Business Insider et Investopedia. Chacun, ou sa société mère, a un accord de licence de contenu avec OpenAI signalé publiquement : Condé Nast possède Wired, Vox Media possède The Verge, Axel Springer possède Business Insider et Dotdash Meredith possède Investopedia.
Cela prouve-t-il que les accords ont causé le changement ?
Non. Nous avons mesuré une corrélation sur sept sites et l'avons vérifiée par rapport aux informations publiques sur ces accords. Nous ne pouvons lire le contrat de personne, donc nous ne pouvons pas dire si l'accès des crawlers est inscrit dans l'accord ou s'il découle simplement de la relation. Sept sur sept est assez fort pour être rapporté et pas assez fort pour être appelé une preuve.
Quel crawler est bloqué le plus souvent ?
CCBot, exploité par Common Crawl, à 90% des sites bloqueurs. Common Crawl est une organisation à but non lucratif qui archive le web depuis 2011, bien avant l'industrie actuelle de l'IA. ClaudeBot et Bytespider de ByteDance suivent à 80%. GPTBot d'OpenAI est bloqué par 52%, ChatGPT-User par 38% et OAI-SearchBot par 33%.
Quelle est la différence entre GPTBot et OAI-SearchBot ?
Globalement, GPTBot collecte du contenu pour l'entraînement, tandis qu'OAI-SearchBot soutient la fonctionnalité de recherche de ChatGPT, qui cite les sources et crée des liens vers elles. Bloquer le premier et autoriser le second est une position cohérente pour la plupart des éditeurs : pas d'entraînement, mais être quand même cité et lié. Bloquer les deux vous retire aussi des réponses.
Dois-je bloquer les crawlers d'IA sur mon propre site ?
Cela dépend entièrement de la manière dont vous gagnez de l'argent. Si les gens paient pour lire votre contenu, un assistant qui répond à votre place est un concurrent et le blocage se défend. Si les gens paient pour utiliser votre produit, un assistant qui lit votre documentation vous aide à vendre — c'est pourquoi aucune entreprise d'outils pour développeurs ou de SEO dans notre échantillon n'a bloqué quoi que ce soit.
Puis-je effectuer cette vérification moi-même ?
Oui, et c'est gratuit. Ajoutez /robots.txt à n'importe quel domaine et lisez-le. Cherchez les noms des crawlers d'IA, vérifiez si chacun a son propre groupe avec Disallow: /, et notez qui manque. Faire cela pour les dix plus grands sites de votre secteur prend environ vingt minutes et vous en dit long sur leur position commerciale.
Lisez le fichier avant de le copier
Chaque étude de cas de cette série a examiné quelque chose qu'une entreprise a construit. Celle-ci porte sur quelque chose que des entreprises ont publié par accident.
Personne n'a entrepris de révéler sa position de négociation dans un fichier texte brut à la racine de son domaine. Mais les contrats ont des conséquences techniques, les conséquences techniques s'écrivent dans robots.txt, et robots.txt est public par conception.
Donc, la prochaine fois que vous verrez une liste de blocage d'IA recommandée circuler, souvenez-vous de ce que vous regardez. Ce n'est pas une bonne pratique. C'est le résidu de la négociation de quelqu'un d'autre, et les parties qu'il a laissées de côté sont la partie intéressante.
Commencez par votre propre fichier — lancez un audit gratuit et voyez ce que vous dites actuellement aux crawlers. La plupart des gens sont surpris.
Vérifié le 22 août 2026 sur 49 domaines, en analysant robots.txt par groupe user-agent plutôt que par correspondance de mots-clés, et en ne comptant que les règles Disallow: / applicables à tout le site. Les chiffres complets par catégorie et par crawler figurent dans la FAQ ci-dessus.
Les accords de licence ont été vérifiés à partir d'informations publiques, non à partir de contrats, et aucune affirmation n'est faite sur leurs conditions. Les fichiers robots comme les arrangements commerciaux changent souvent ; relancez la vérification avant de vous y fier.