Почему все 9 из 9 медиа блокируют ИИ-краулеров

Мы разобрали 65 файлов robots.txt по 18 ИИ-краулерам, и все медиа в выборке их блокируют, а из софтверных компаний не блокирует ни одна.

Никакой середины в данных нет вообще. Если ваш продукт, это читатели, вы блокируете. Если ваш продукт, это софт, вы не блокируете.

Когда-то robots.txt был просто хозяйственным файлом: вот папки, в которые лучше не заглядывать. Теперь это место, где компании публично объявляют, можно ли использовать их работу, чтобы обучать машину и отвечать за них. Мы полностью переснимали это исследование с нуля 6 сентября 2026 года. Вот 6 уроков.

Посмотрите, кто блокирует на вашем рынке

Мы запросили robots.txt у 67 доменов, получили 65 и разобрали каждый по группам user-agent относительно 18 названных ИИ-краулеров.

Примерно четверть блокирует хотя бы одного. И распределены они совсем не ровно:

Блокируют все проверенные нами медиа, и большинство блокирует почти весь список. The New York Times и wikiHow останавливают 17 краулеров из 18 протестированных.

Это те же медиа, у которых, по нашему параллельному исследованию той же недели, нет файла llms.txt. Они не колеблются насчёт ИИ. Они уже решили, и решили в обратную сторону.

Так что прежде чем трогать свой файл, сходите и прочитайте файлы 5 компаний, с которыми вы конкурируете. Это 10 минут, и о выводах вашего рынка это расскажет больше, чем любое исследование, включая это.

Спросите себя, строится ли ваша модель на том, чтобы вас находили

Теперь другая сторона, и она абсолютна.

Инструменты для разработчиков, SEO-инструменты и ИИ-лаборатории: ни одной блокировки на весь сайт ни по одному ИИ-краулеру.

GitHub, GitLab, Stripe, Vercel, Cloudflare, Docker, Supabase, Sentry, Twilio. Ahrefs, Semrush, Moz, SE Ranking, Surfer, Screaming Frog, Sitebulb и мы. Anthropic, OpenAI, Perplexity, Mistral, Cohere, Hugging Face.

Логика здесь несложная. Страница документации, которую модель прочитала и порекомендовала разработчику, делает свою работу. Новостная статья, которую модель прочитала и ответила вместо вас, свою работу не делает.

То есть ответ вытекает из вашей бизнес-модели, а не из best practice. Разберитесь, чем из этих двух являются ваши страницы, прежде чем копировать чей-то файл.

Если ваши страницы существуют, чтобы их нашли и по ним что-то сделали, блокировка краулера убирает вас из ответа и ничего не защищает. Если ваши страницы сами и есть продукт, расчёт полностью переворачивается, и никакой общий совет не примет это решение за вас.

Никогда не блокируйте краулер, который возвращает ссылки

Среди блокирующих краулеры Anthropic останавливают чуть чаще, чем краулеры OpenAI, а в самом низу списка сидит OAI-SearchBot, самый редко блокируемый краулер в исследовании.

Именно он питает поисковые результаты со ссылками обратно на вас. Это краулер, который с наибольшей вероятностью пришлёт вам посетителя, и именно его останавливает меньше всего сайтов.

Вот это различие и стоит держать в голове, когда правите свой файл. Краулер, который обучает модель, и краулер, который возвращает цитату со ссылкой, это разные решения, даже если оба приходят от одной компании и попадают в один и тот же скопированный список.

Важное исправление, потому что раньше мы здесь ошиблись. В ранней версии этой статьи мы писали, что каждое медиа, блокирующее Anthropic, одновременно пропускает OpenAI, и связывали это с лицензионными сделками. При перезапуске на 65 доменах эта картина оказалась гораздо слабее: ровно так делают только 2 сайта. Перекос реальный и устойчивый. А вот красивая история нет.

Перечитайте файл, который никто не перечитывает

Во главе списка блокировок стоит не GPTBot. Это CCBot, его блокирует больше сайтов, чем любой краулер, принадлежащий ИИ-компании.

CCBot, это Common Crawl, некоммерческая организация, которая архивирует веб с 2008 года, задолго до того, как кто-то начал переживать за обучающие данные. Ниже идут meta-externalagent, Bytespider, Applebot-Extended и PerplexityBot.

Такие файлы накапливаются. Кто-то добавил CCBot много лет назад по причине, которую сейчас никто не помнит, кто-то другой вставил список из статьи в блоге, и файл разросся. Очень немногие читаются как решение, принятое один раз, осознанно и про нынешний набор краулеров.

Ваш, скорее всего, такой же. Откройте его и посмотрите дату последнего настоящего изменения: если вы не найдёте человека, который помнит, как его вносил, вы исполняете чужое мнение из эпохи, которая уже закончилась.

Тот же дрейф вылезает в любом техническом файле, который никто не перечитывает. Ровно это мы нашли, проверяя карты сайта на той же неделе, и ровно это проверяет наш Website Audit, когда смотрит, согласуются ли ваши правила robots с вашими индексируемыми страницами.

Это бесплатно и закрывает сторону ИИ. Ещё до любых блокировок стоит понять, что вам присылает обычный поиск, и это хорошо показывают и Semrush, и SE Ranking.

Разбирайте группы, а не грепайте имена

Вот методологическая ловушка, и она даёт прямо противоположный ответ.

robots.txt устроен в виде групп. Идущие подряд строки User-agent: делят между собой правила, которые идут после них, а новая группа начинается на следующей строке User-agent: после правила. Краулер заблокирован только тогда, когда в группе, где он назван, есть Disallow: / на весь сайт.

По нашим 65 файлам 91 упоминание краулеров сидит в группах, которые их не блокируют: обычно это большая разрешающая группа, где все правила только на уровне путей, а десятки ботов перечислены, чтобы дать им тот же обычный доступ, что и всем остальным.

Сделайте grep по имени бота, и вы засчитаете каждое такое упоминание как блокировку. Это не погрешность округления; на некоторых сайтах вывод переворачивается целиком.

Поэтому если вы проверяете это в масштабе, разбирайте группы, а не ищите строки. Наш скрипт для исследования так и делает, он лежит в репозитории, если хотите прогнать его по своему списку.

Та же ловушка касается и вашего собственного файла. Бот, который вы считаете заблокированным, может быть назван в группе, которая даёт ему всё, и узнаете вы об этом, только прочитав группу, в которой он сидит, а не строку, где он встретился.

Прочитайте файл, прежде чем его копировать

Инструкция, и это главный практический вывод.

Почти каждый ходящий по рукам список блокировок в robots.txt скопирован с другого сайта. Поэтому CCBot стоит выше GPTBot, поэтому 91 упоминание не является блокировкой и поэтому во множестве файлов названы краулеры, которых больше не существует.

Откройте свой. По каждому ИИ-краулеру в нём ответьте на один вопрос: был бы вам полезен посетитель, пришедший из этой системы? Для медиа по подписке ответ часто отрицательный. Для всего, что продаётся за счёт того, что его находят, ответ почти всегда положительный, а OAI-SearchBot, тот самый, который возвращает ссылки, останавливать хочется в последнюю очередь.

А затем, прежде чем что-либо менять, проверьте, что вы уже получаете от этих систем. Наш AI Visibility Checker задаёт 6 покупательских вопросов основным ассистентам и отдельно считает упоминания и цитаты со ссылками, а это и показывает, есть ли вообще трафик, который надо защищать.

Что мы измерить не смогли

А вот чего это исследование не показывает. Пара инструментов, названных на этом сайте, наши партнёры: если вы купите по этим ссылкам, мы получим комиссию, а вы не заплатите ни цента больше.

robots.txt, это просьба, а не запрет. Он фиксирует, о чём сайт просит. Он не говорит, послушался ли хоть один краулер, и проверить соблюдение снаружи мы никак не можем. Заблокированный краулер в этих данных, это заявленное намерение.

Мы тестировали 18 названных краулеров и засчитывали блокировку только при Disallow: / на весь сайт внутри группы, где этот агент назван. Правила на уровне путей, crawl-delay и агенты с масками не учитывались, поэтому сайт, который закрывает ИИ-краулеру большую часть сайта, но не весь, проходит здесь как не блокирующий.

2 из 67 доменов вообще не отдали файл, это npmjs.com и rust-lang.org, поэтому знаменатель везде 65.

Выборка, это 67 доменов, которые мы выбрали по 6 категориям, с перевесом в сторону компаний, знакомых SEO-аудитории, и случайной выборкой веба она не является. Другой список даст другую долю. Метод лежит в scripts/survey-ai-crawler-files.mjs в нашем репозитории, а сырой вывод в evidence/surveys/.

Частные лицензионные соглашения нам не видны, и эта версия статьи ничего о них не утверждает. Ранняя версия утверждала, опираясь на гораздо меньшую выборку, и это утверждение мы убрали, а не переформулировали.

Частые вопросы

Одна цифра, которую стоит запомнить

31 к 0.

Столько софтверных компаний в этом исследовании блокирует ИИ-краулера: ни одна, против 9 медиа из 9.

Никакой общепринятой best practice в этих данных не прячется, потому что 2 группы отвечают на разные вопросы. Медиа спрашивает, можно ли машине заменить собой его продукт. Софтверная компания спрашивает, можно ли машине рекомендовать её продукт.

Ответить за вас не может никто, и ни один список блокировок, скопированный из статьи в блоге, за вас на это не ответил. Самый блокируемый краулер в этом исследовании принадлежит некоммерческому архиву, который старше всей этой дискуссии, и это хорошо показывает, насколько содержимое таких файлов было решено, а насколько просто унаследовано.

Откройте свой robots.txt. Это 5 минут, а сейчас он делает от вашего имени заявление, которого вы, возможно, никогда не делали.

Замер 6 сентября 2026 года. Мы запросили robots.txt у 67 доменов, разобрали 65 из них по группам user-agent и засчитывали краулер как заблокированный, только если в группе, где он назван, был Disallow: / на весь сайт. Тестировались 18 краулеров: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, Claude-User, Google-Extended, CCBot, PerplexityBot, Bytespider, Applebot-Extended, meta-externalagent, Amazonbot, cohere-ai, Diffbot, omgili, ImagesiftBot и Timpibot. Метод лежит в scripts/survey-ai-crawler-files.mjs в нашем репозитории, а сырые результаты в evidence/surveys/, так что любую цифру отсюда можно перепроверить.