Генератор robots.txt

Докладно про сторінку

Зберіть robots.txt прямо в браузері: 3 шаблони, правила Allow і Disallow, необов’язковий рядок Sitemap, а потім копіювання або завантаження. Нічого не надсилається, домен не потрібен.

Зберіть і завантажте коректний robots.txt прямо в браузері.

Написано для краулерів, які читають цей файл раніше за все інше

Нічого встановлювати й нічого налаштовувати. Файл збирається в браузері, поки ви друкуєте.

Allow All відкриває весь сайт для всіх краулерів, Block All закриває його, а Standard дає звичну відправну точку. Хоч який ви оберете, кожен рядок лишається редагованим.

Кожне правило — це user agent, директива Allow чи Disallow і шлях. Додайте стільки, скільки потрібно сайту, плюс необов’язкову URL карти сайту і необов’язковий Crawl-delay. User agent * безкоштовний; щоб вказати конкретного бота або задати crawl-delay, потрібен безкоштовний акаунт.

Результат — звичайний текст. Скопіюйте його в буфер обміну або завантажте файл із безкоштовним акаунтом, а потім покладіть у корінь сайту, щоб він відповідав за адресою yourdomain.com/robots.txt.

У robots.txt невеликий словник, і більшість плутанини виникає через припущення, що всі краулери читають його однаково. Ось що робить кожен рядок і де його дотримуються.

Називає краулера, до якого застосовуються правила нижче. Група діє до наступного рядка User-agent.

Обов’язкова. AdsBot-Google не підпадає під * — його треба називати явно.

Каже названому краулеру не завантажувати жодну URL, шлях якої починається з цього значення.

Google, Bing, Yandex і все, що дотримується RFC 9309

Робить виняток із ширшого Disallow, щоб один шлях усередині заблокованої гілки лишався доступним для сканування.

Виграє найточніше правило за довжиною шляху; за рівності Google бере найменш обмежувальне.