Генератор robots.txt

Подробнее о странице

Соберите robots.txt прямо в браузере: 3 шаблона, правила Allow и Disallow, необязательная строка Sitemap, затем копирование или скачивание. Ничего не загружается на сервер, домен не нужен.

Соберите и скачайте корректный robots.txt прямо в браузере.

Написано для краулеров, которые читают этот файл раньше всего остального

Ничего не нужно устанавливать и настраивать. Файл собирается в браузере по мере ввода.

«Разрешить всё» открывает весь сайт любым краулерам, «Запретить всё» закрывает его, а «Стандартный» даёт привычную отправную точку. Что бы вы ни выбрали, каждая строка остаётся редактируемой.

Каждое правило — это user agent, директива Allow или Disallow и путь. Добавьте столько правил, сколько нужно сайту, плюс при желании URL карты сайта и Crawl-delay. User agent * бесплатен; чтобы указать конкретного бота или задать crawl-delay, нужен бесплатный аккаунт.

На выходе — обычный текст. Скопируйте его в буфер обмена или скачайте файл с бесплатным аккаунтом, а затем положите его в корень сайта, чтобы он отвечал по адресу yourdomain.com/robots.txt.

У robots.txt небольшой словарь, и почти вся путаница идёт от предположения, что все краулеры обрабатывают его одинаково. Вот что делает каждая строка и где она соблюдается.

Называет краулер, к которому относятся правила ниже. Группа действует до следующей строки User-agent.

Обязательна. AdsBot-Google не подпадает под * — его нужно называть явно.

Запрещает названному краулеру запрашивать любой URL, путь которого начинается с этого значения.

Google, Bing, Яндекс и всё, что следует RFC 9309

Делает исключение из более широкого Disallow, чтобы один путь внутри закрытой ветки остался доступным для обхода.

Побеждает самое конкретное правило по длине пути; при равенстве Google выбирает наименее строгое.