Générateur de robots.txt

Détails de la page

Créez un robots.txt dans votre navigateur : 3 modèles, règles Allow et Disallow, ligne sitemap optionnelle, puis copiez ou téléchargez. Rien n'est envoyé, aucun domaine requis.

Créez et téléchargez un robots.txt valide sans quitter le navigateur.

Écrit pour les crawlers qui lisent ce fichier avant de lire quoi que ce soit d'autre

Rien à installer, rien à configurer. Le fichier s'assemble dans le navigateur à mesure que vous tapez.

Allow All ouvre tout le site à tous les crawlers, Block All le referme, et Standard vous donne un point de départ classique. Quel que soit votre choix, chaque ligne reste modifiable.

Chaque règle se compose d'un user agent, d'une directive Allow ou Disallow et d'un chemin. Ajoutez-en autant que le site l'exige, plus une URL de Sitemap optionnelle et un Crawl-delay optionnel. Le user agent * est gratuit ; nommer un robot précis ou définir un crawl-delay demande un compte gratuit.

La sortie est en texte brut. Copiez-la dans le presse-papiers, ou téléchargez le fichier avec un compte gratuit, puis placez-le à la racine de votre site pour qu'il réponde à votredomaine.com/robots.txt.

Robots.txt a un vocabulaire réduit, et l'essentiel de la confusion vient de l'idée que tous les crawlers le traitent de la même façon. Voici ce que fait chaque ligne et où elle est respectée.

Nomme le crawler auquel s'appliquent les règles qui suivent. Un groupe court jusqu'à la ligne User-agent suivante.

Obligatoire. AdsBot-Google ne correspond pas à * et doit être nommé explicitement.

Indique au crawler nommé de ne récupérer aucune URL dont le chemin commence par cette valeur.

Google, Bing, Yandex et tout ce qui suit la RFC 9309

Une valeur vide signifie que rien n'est bloqué.

Taille une exception dans un Disallow plus large, pour qu'un chemin situé dans une branche bloquée reste crawlable.