Generador de robots.txt

Detalles de la página

Cree un archivo robots.txt en su navegador: 3 plantillas, reglas para permitir y no permitir, una línea de mapa del sitio opcional, luego cópielo o descárguelo. No se carga nada, no se necesita dominio.

Cree y descargue un archivo robots.txt válido sin salir de su navegador.

Escrito para los rastreadores que leen este archivo antes de leer cualquier otra cosa.

Nada que instalar y nada que configurar. El archivo se ensambla en el navegador a medida que escribe.

Permitir todo abre todo el sitio para cada rastreador, Bloquear todo lo cierra y Estándar le ofrece un punto de partida convencional. Elijas lo que elijas, cada línea seguirá siendo editable.

Cada regla es un agente de usuario, una directiva Permitir o No permitir y una ruta. Agregue tantos como el sitio necesite, además de una URL de mapa del sitio opcional y un retraso de rastreo opcional. El * agente de usuario es gratuito; nombrar un bot específico o establecer un retraso de rastreo requiere una cuenta gratuita.

El resultado es texto sin formato. Cópielo en el portapapeles o descargue el archivo con una cuenta gratuita, luego colóquelo en la raíz de su sitio para que responda en sudominio.com/robots.txt.

Robots.txt tiene un vocabulario reducido y la mayor parte de la confusión surge al suponer que todos los rastreadores lo tratan de la misma manera. Esto es lo que hace cada línea y donde se le honra.

Nombra el rastreador al que se aplican las reglas subyacentes. Un grupo se ejecuta hasta la siguiente línea de usuario-agente.

Requerido. AdsBot-Google no coincide con * y debe nombrarse explícitamente.

Le indica al rastreador nombrado que no busque ninguna URL cuya ruta comience con este valor.

Google, Bing, Yandex y todo lo que siga RFC 9309

Un valor vacío significa que no hay nada bloqueado.

Crea una excepción a partir de un No permitir más amplio para que un camino dentro de una rama bloqueada siga siendo rastreable.