Блог UNmiss

Как Zillow создала 118 млн страниц для поиска

Zillow публикует тысячи файлов sitemap с домами, снятыми с продажи, и 34 с теми, что в продаже. 6 уроков самого большого измеренного каталога.

Zillow публикует 5000 файлов sitemap с домами, снятыми с продажи, и 34 файла с домами, которые действительно можно купить.

Это соотношение 147 к 1 в пользу домов, которые никто не может приобрести.

Zillow с большим отрывом самый крупный каталог программатик-SEO (страницы генерируются по шаблону из базы данных) в этой серии и единственный объект, который мы так и не смогли увидеть своими глазами: любой прямой запрос возвращает 403.

Всё, что ниже, собрано из файлов, которые Zillow публикует для поисковых роботов, и из наших собственных инструментов. Вот 6 уроков, и первый можно применить уже завтра.

Оставляйте страницу после того, как сделка закрылась

В файле robots.txt у Zillow объявлено 15 индексов sitemap. Девять из них, это фиды карточек домов, разбитые по статусу объявления, и вся история именно в этой разбивке:

Статус объявленияФайлов sitemap
Снято с продажи5000
Недавно продано256
Продаётся через агента34
Сдаётся в аренду21
Новостройки5
Сделка в процессе2
Аукцион2
Продаётся собственником2

Перечитайте эту колонку. На то, на чём Zillow зарабатывает, приходится 34 файла. На то, на чём не зарабатывает, 5000.

Это самая переносимая идея во всей серии, и почти никто так не делает: страница нужна не для того, чтобы продать объект. Страница нужна для того, чтобы существовать, когда кто-то ищет адрес.

Дом, проданный в 2019 году, всё ещё остаётся поисковым запросом. Его ищут соседи, его ищет следующий покупатель, владелец проверяет, сколько он стоит сейчас.

Так что выпишите всё, что вы удаляете или снимаете с публикации сразу после закрытия сделки. Закрытые вакансии. Снятые с производства товары. Прошедшие мероприятия. Проданные объекты. Бывшие сотрудники.

Большинство из них ищут по названию ещё годами, а вы убираете страницу в тот день, когда она перестаёт быть коммерчески интересной вам, и это совсем не тот день, когда она перестаёт быть интересной тому, кто ищет.

Считайте URL, а не файлы

Количество файлов, это не количество URL, поэтому мы посчитали именно URL, и вот здесь ловушка, если вы когда-нибудь будете так оценивать конкурента.

Мы взяли 5 файлов по всему диапазону снятых с продажи. В каждом от 23 тыс. до 24 тыс. URL, разброс около 1%.

Умножьте это на 5000 файлов, и получится примерно 118 млн страниц.

С файлами по выставленным на продажу всё иначе. Они забиты под потолок протокола в 50 тыс., так что одна выборка не из того шарда удвоила бы вашу оценку.

Добавьте слой недавно проданных, и арифметика выходит жёсткой: 98% страниц домов у Zillow купить нельзя.

Поэтому берите выборку по всему диапазону и публикуйте каждый подсчёт, а не берите один файл и не умножайте. Если ваши выборки кучкуются ровно на 50 тыс., вы измерили потолок, а ваше число, это нижняя граница.

Под всем этим лежит ещё и постоянный слой: здания, стоимость жилья по регионам, школы, школьные округа, точки притяжения, профили кредиторов. Ничего из этого тоже не продаётся, и всё это ищут.

Инструмент XML Sitemap Generator обходит индекс так же, как это делали мы, так что вы можете прогнать через него каталог конкурента уже сегодня и увидеть, что там решили сохранить.

Там, где сайт нас блокирует, следующее место для поиска данных, это Semrush и SE Ranking: у обоих есть сторонние оценки по доменам, которые не отвечают на живой обход, и только так можно вообще что-то узнать про такой сайт.

Не ждите ссылок на каталог

Теперь число, которое переворачивает всю картину.

Наш Backlink Analyzer показывает 300 тыс. ссылающихся доменов при Domain Trust 94.

34 млн обратных ссылок звучит колоссально. Сопоставьте это с числом страниц, и картина меняется: примерно 1 ссылающийся домен на 426 страниц. У Booking.com и Canva доменов больше, причём при куда меньших каталогах.

Так что если вам говорят, будто каталог сам начнёт зарабатывать ссылки по мере роста, вот сайт, который опровергает это в самом большом масштабе, который кто-либо пробовал.

На дом никто не ссылается. В этом и ограничение, и именно поэтому 118 млн страниц работают на запросах с адресом и больше ни на чём.

Ждите того же, если строите каталог. Ваши карточки ссылок не соберут, сколько бы вы их ни опубликовали, потому что цитировать их незачем. Стройте ссылочную стратегию вокруг бренда и тех нескольких страниц, на которые действительно есть смысл ссылаться, и перестаньте ждать этого от каталога.

UNmiss Backlink Analyzer для zillow.com: в шапке 34 023 998 обратных ссылок, прямо под ней плитка с 1 037 550 обратными ссылками, 303 547 ссылающихся доменов и Domain Trust 94 из 100.
На что обратить внимание: в шапке 34 млн, а в плитке под ней 1 млн. Ошибается именно плитка.

Одно число, к которому стоит отнестись осторожно: 16 днями раньше мы намеряли 340 тыс. ссылающихся доменов, то есть падение примерно на 12%. Снаружи мы не можем понять, реальная это потеря или поставщик данных пересчитал свою базу, поэтому мы приводим обе даты, а не сам провал, и вам стоит быть такими же осторожными со своим ссылочным профилем.

Работа с нами
Огромные каталоги без лишних потерь

Zillow держит страницу задолго после закрытия сделки, потому что поисковый спрос живёт дольше объявления. Большинство крупных каталогов делают наоборот и удаляют свои лучшие активы. Мы планируем весь жизненный цикл до того, как вы начнёте строить.

  • Сначала проектируем структуру URL и план вывода страниц
  • Каталожные сайты, которые остаются доступными для обхода
  • SEO и GEO по всему вашему хозяйству
  • Бесплатная консультация, разберём ваш текущий сетап
Записаться на бесплатную консультацию → Посмотреть наши работы по разработке сайтов →

Всегда начинайте с robots.txt

Мелочь, которую стоит перенять, и ловушка, если вы проверяете конкурента.

Адрес zillow.com/sitemap.xml отдаёт 404. И sitemap_index.xml тоже. Проверьте привычный путь и остановитесь на этом, и вы решите, что карты сайта у Zillow нет вовсе, а это прямо противоположно правде.

Всё объявлено в robots.txt: 15 индексов, названных по тому, что в них лежит. Каждый фид обновляется в своём ритме, и робот узнаёт всю таксономию ещё до того, как скачает хоть что-то.

Поэтому всегда начинайте с robots.txt, и когда проверяете конкурента, и когда смотрите собственный сайт. Это единственное место, где сайт обязан объявить свои карты сайта.

И заодно назовите свои индексы по их содержимому. Это стоит вам одной договорённости об именовании, зато каждому роботу сразу объясняет, что у вас за сайт, ещё до загрузки первого байта.

Проверьте 40 ссылок на своей главной

Наш Website Audit ставит zillow.com 80/100: критичного ничего, но 5 предупреждений.

UNmiss Website Audit для zillow.com: 80 из 100 по здоровью сайта, 0 критичных проблем, 5 предупреждений, 6 замечаний и 110 пройденных проверок.
На что обратить внимание: 80/100 и 5 предупреждений против 88 и 3 предупреждений 16 днями раньше.

16 днями раньше та же проверка давала 88 баллов и 3 предупреждения. Потерять 8 баллов за две недели можно, не выкатив ничего, что вы считали рискованным.

Процитировать стоит другое предупреждение: «Исходящие ссылки ведут на несуществующие страницы».

На сайте, вся стратегия которого в том, чтобы никогда не удалять страницу, главная ссылается на страницы, которых уже нет.

Это вам напоминание проверить 40 ссылок на собственной главной. Вся дисциплина, которую вы выстроили для генерируемых страниц, не распространяется на те, что вы написали руками, а в ваш футер никто не заглядывал с момента, когда его сделали.

Мы ни разу не видели ни одной страницы Zillow

И вот ограничение, которое определяет всю эту статью.

Любой прямой запрос к странице Zillow возвращает 403 Access to this page has been denied, и от простого фетчера, и от настоящего headless Chromium. Мы не загрузили ни одной карточки дома и не можем рассказать, что на ней.

Браузер показывает страницу отказа Zillow: Access to this page has been denied, выданную вместо карточки дома.
На что обратить внимание: вот так страница Zillow выглядит для нас. Любой прямой запрос возвращает именно это, и от простого фетчера, и от настоящего Chromium.

Наш Website Audit работает только потому, что краулер SE Ranking достаёт до Zillow с инфраструктуры, которую Zillow принимает. Всё остальное здесь, это файлы, которые Zillow намеренно публикует для машин.

То есть это исследование того, что компания объявляет, а не того, что она показывает. И этого оказывается достаточно, потому что таксономия и есть стратегия, а таксономия открыта.

И вот что полезно лично вам: так можно поступить с любым конкурентом, как бы жёстко он вас ни блокировал. Его robots.txt и его карты сайта опубликованы для машин, и они описывают стратегию честнее, чем любая страница, которую вы могли бы прочитать.

Бесплатно, без регистрации
Посчитайте, что конкурент объявляет на самом деле

У Zillow нет sitemap.xml, зато есть 15 индексов в robots.txt и разбивка 147:1, которая выдаёт всю стратегию ещё до того, как вы прочитаете хоть одну страницу. Большинство каталогов выдают себя точно так же.

  • Обходит индекс sitemap и считает, что получает робот
  • Работает в паре с проверкой аудита на noindex в карте сайта
  • Бесплатно, без регистрации и без карты
Проверить карту сайта бесплатно

Что мы не смогли измерить

А вот чего это исследование не показывает. Часть инструментов, названных на этом сайте, наши партнёры: если вы покупаете по этим ссылкам, мы получаем комиссию, а вы не платите ни цента больше.

В этой статье нет цифры по трафику, и это недоработка нашего собственного инструментария. Мы наводили Domain Overview и Organic Traffic Checker на zillow.com уже пять раз за три недели. Они возвращают HTTP 200 и не отрисовывают ничего: ни ошибки, ни пустого состояния, ни сообщения. Любой другой материал в этой серии открывается цифрой трафика; этот не может, потому что цифры у нас нет, а чужую мы брать не станем. Починить это у нас в планах.

Объявлено, не значит проиндексировано. URL в карте сайта, это заявка, а не результат. Мы ничего не утверждаем о том, сколько из этих 118 млн страниц Google хранит, сколько обходит и сколько из них получают хотя бы один визит. Количество страниц здесь, это количество страниц, и не более того.

118 млн, это оценка: 5 файлов из 5000 в выборке, умноженные на общее число. Мы публикуем каждый подсчёт, от 23 тыс. до 24 тыс., разброс 1%, чтобы вы могли проверить арифметику. Цифры по недавно проданным и по продаже через агента получены из 5 и 3 выборочных файлов соответственно, и эти шарды упираются в потолок 50 тыс., так что считайте их нижней границей, а не средним.

Одно из наших собственных чисел на этой странице неверное. В шапке результата Backlink Analyzer стоит 34 млн обратных ссылок, и его же значения dofollow и nofollow дают в сумме ровно столько. Плитка BACKLINKS прямо под шапкой показывает 1 млн. Права шапка, а плитка, это дефект в нашем приложении, и серия ловит его уже третий раз. Цитируйте шапку и разбивку, но никогда не плитку.

Keyword Research мы не запускали: там открытый дефект, инструмент возвращает неправдоподобные объёмы. Более ранний прогон для этой статьи показал по запросу «recently sold homes» 595 поисков в месяц, чего слишком мало, чтобы строить на этом раздел, поэтому его убрали, а не приукрасили.

Частые вопросы

Сколько страниц у Zillow?

Один только слой снятых с продажи домов, это около 118 млн URL: 5000 файлов sitemap в среднем по 24 тыс. в каждом, при этом файлы «продаётся через агента» забиты до 50 тыс., а недавно проданные держатся около 44 тыс. Итого 5000 файлов sitemap в среднем по 24 тыс., замер 6 сентября 2026 года. Добавьте примерно 11 млн недавно проданных, 9,7 млн страниц зданий и 1,7 млн активных объявлений. Это объявленные URL, а не проиндексированные страницы.

Почему Zillow держит страницы домов, которые не продаются?

Потому что адрес всё равно остаётся поисковым запросом. Дом, проданный годы назад, ищут соседи, следующий покупатель и сам владелец, проверяющий его стоимость. Zillow публикует 5000 файлов sitemap со снятыми с продажи домами против 34 с выставленными на продажу, то есть 147 к 1 в пользу тех, которые никто не может купить.

Какая доля страниц домов у Zillow выставлена на продажу?

Около 2%. Примерно 129 млн страниц приходится на дома, снятые с продажи или уже проданные, против примерно 2 млн действительно доступных к покупке.

Сколько обратных ссылок у Zillow?

34 млн с 300 тыс. ссылающихся доменов при Domain Trust 94, из них 85% dofollow, замер 6 сентября 2026 года. Это примерно 1 ссылающийся домен на 426 страниц, то есть меньше доменов, чем 1,4 млн у Booking.com или 620 тыс. у Canva, и это при куда большем каталоге.

Есть ли у zillow.com файл sitemap.xml?

Нет, и /sitemap.xml, и /sitemap_index.xml отдают 404. Все 15 индексов sitemap объявлены вместо этого в robots.txt и названы по своему содержимому. Если проверить привычный путь и на этом остановиться, вы решите, что карты сайта у Zillow нет, а это прямо противоположно правде.

Какой у Zillow балл в аудите сайта?

80 из 100: 0 критичных проблем, 5 предупреждений, 6 замечаний и 110 пройденных проверок, из них 23/25 по контенту страницы, 61/67 по технической части, 25/29 по скорости, 2/2 по мобильным, замер 6 сентября 2026 года. Это падение с 88 баллов на 21 августа, с двумя новыми предупреждениями по скорости. Одно из постоянных предупреждений, «исходящие ссылки ведут на несуществующие страницы», и это на сайте, построенном так, чтобы никогда ничего не удалять.

Сколько поискового трафика получает Zillow?

Цифры у нас нет. Наши Domain Overview и Organic Traffic Checker не вернули данных по zillow.com за пять попыток в течение трёх недель: HTTP 200 и пустая отрисовка. Вместо того чтобы цитировать чужую оценку, эта статья обходится без цифры по трафику и прямо об этом говорит.

Можно ли обойти Zillow краулером?

У нас не вышло. Любой прямой запрос страницы возвращает 403 и от простого фетчера, и от настоящего headless Chromium. Всё в этой статье взято из файлов, которые Zillow публикует для роботов, и из инструментов, чьи краулеры Zillow пропускает.

Одно число, которое стоит запомнить

147 к 1.

Это соотношение в картах сайта Zillow: 5000 файлов с домами, которые никто не может купить, против 34 с домами на продажу.

Любой другой каталог в этой серии построен вокруг того, что продаётся. PyPI публикует страницу на пакет. Goodreads публикует страницу на книгу. Zillow публикует страницу на адрес, и то, является ли этот адрес сейчас товаром, ему почти безразлично.

Вот приём, который стоит перенять. Посмотрите на записи, которые вы удаляете или вовсе не публикуете, потому что они неактивны: закрытые вакансии, снятые с производства товары, прошедшие мероприятия, бывшие сотрудники, проданные объекты. Большинство из них по-прежнему ищут по названию, а большинство компаний убирают страницу в день, когда сделка закрылась.

Zillow делает наоборот в масштабе, который никто не повторил, и делает это на меньшем числе ссылающихся доменов, чем у сервиса для дизайна. Каталог выигрывает не за счёт авторитета. Он выигрывает за счёт того, что это единственная страница, которая существует, когда кто-то набирает адрес.

Замер 6 сентября 2026 года. Перепись карт сайта открыта и воспроизводима: метод лежит в scripts/survey-zillow-sitemaps.mjs в нашем репозитории, а сырой вывод в evidence/surveys/, где записан подсчёт по каждому выборочному файлу. Цифры по ссылкам и аудиту сайта, это бесплатные прогоны наших собственных инструментов; сравнения от 21 августа, это наши же более ранние прогоны. Данных по трафику или выручке Zillow у нас не было, и мы их не заявляем.

Блог