Gerador de robots.txt

Detalhes da página

Gerador de Robots.txt – Crie-o no seu navegador

Crie um robots.txt no navegador: 3 modelos, regras Allow e Disallow, uma linha de sitemap opcional e depois copie ou descarregue. Nada é enviado, sem domínio.

Crie e descarregue um robots.txt válido sem sair do navegador.

Escrito para os crawlers que leem este ficheiro antes de lerem qualquer outra coisa

Nada para instalar e nada para configurar. O ficheiro é montado no navegador à medida que escreve.

Permitir tudo abre todo o site a qualquer crawler, Bloquear tudo fecha-o e Padrão dá-lhe um ponto de partida convencional. Escolha o que escolher, todas as linhas continuam editáveis.

Cada regra é um user agent, uma diretiva Allow ou Disallow e um caminho. Acrescente as que o site precisar, mais um URL de Sitemap opcional e um Crawl-delay opcional. O user agent * é grátis; nomear um bot específico ou definir um crawl-delay exige uma conta gratuita.

O resultado é texto simples. Copie-o para a área de transferência, ou descarregue o ficheiro com uma conta gratuita, e depois coloque-o na raiz do seu site para que responda em oseudominio.com/robots.txt.

O robots.txt tem um vocabulário pequeno, e grande parte da confusão vem de assumir que todos os crawlers o tratam da mesma forma. Isto é o que cada linha faz e onde é respeitada.

Nomeia o crawler a que se aplicam as regras que vêm por baixo. Um grupo estende-se até à linha User-agent seguinte.

Obrigatória. O AdsBot-Google não corresponde a * e tem de ser nomeado explicitamente.

Diz ao crawler nomeado para não obter nenhum URL cujo caminho comece por este valor.

Google, Bing, Yandex e tudo o que siga o RFC 9309

Um valor vazio significa que nada é bloqueado.