Блог UNmiss

Як Zillow побудував 118 млн сторінок для пошуку

Zillow публікує 5000 файлів карти сайту з будинками не в продажу і 34 з тими, що продаються. 6 уроків із найбільшого поміряного каталогу.

Zillow публікує 5000 файлів карти сайту для будинків, яких уже немає в продажу, і 34 файли для тих, які справді можна купити.

Це співвідношення 147 до 1 на користь будинків, яких ніхто не може придбати.

Zillow це з великим відривом найбільший програматичний каталог у цій серії, тобто сайт, де сторінки штампує шаблон, а не редактор. І це єдиний наш герой, якого ми так і не змогли роздивитися: будь-який прямий запит повертає 403.

Усе, що нижче, зібране з файлів, які Zillow публікує для пошукових роботів, і з наших власних інструментів. Ось 6 уроків, і перший з них можна застосувати вже завтра.

Залишайте сторінку після того, як угода закрилася

У robots.txt Zillow оголошено 15 індексів карти сайту. Дев’ять з них це стрічки карток будинків, поділені за статусом оголошення, і саме цей поділ і є вся історія:

Статус оголошенняФайлів карти сайту
Не в продажу5000
Нещодавно продані256
У продажу, через агента34
В оренду21
Новобудови5
Очікує на угоду2
Аукціон2
У продажу, від власника2

Перечитайте цю колонку. Інвентар, на якому Zillow заробляє, це 34 файли. Інвентар, на якому не заробляє, це 5000.

Це найкорисніша для перенесення ідея в усій серії, і майже ніхто так не робить: сторінка існує не для того, щоб продати річ. Сторінка існує для того, щоб бути на місці, коли хтось шукає цю адресу.

Будинок, проданий у 2019 році, це досі запит. Його шукають сусіди, його шукає наступний покупець, а власник перевіряє, скільки він коштує тепер.

Тож випишіть усе, що ви видаляєте або ховаєте тієї ж миті, коли угода завершилася. Закриті вакансії. Зняті з виробництва товари. Минулі події. Продані оголошення. Колишні співробітники.

Більшість із цього шукають за назвою ще роками, а ви прибираєте сторінку того дня, коли вона перестає бути комерційно цікавою вам, і це не той день, коли вона перестає бути цікавою тому, хто шукає.

Рахуйте URL-адреси, а не файли

Кількість файлів це не кількість URL-адрес, тож ми порахували саме адреси, і ось тут криється пастка, якщо ви колись оцінюватимете конкурента таким способом.

Ми взяли 5 кінцевих файлів з усього діапазону будинків не в продажу. У кожному від 23 тис. до 24 тис. URL-адрес, розкид близько 1%.

Помножте це на 5000 файлів і отримаєте приблизно 118 мільйонів сторінок.

З файлами тих будинків, що у продажу, інша історія. Вони напхані до стелі протоколу в 50 тис., тож одна вибірка не з того шарду подвоїла б вашу оцінку.

Додайте шар нещодавно проданих, і арифметика стає жорсткою: 98% сторінок будинків Zillow купити неможливо.

Тож беріть вибірку по всьому діапазону і публікуйте кожне пораховане число, замість того щоб узяти один файл і помножити. Якщо ваші вибірки збираються рівно на 50 тис., ви поміряли стелю, і ваше число це нижня межа.

Під усім цим лежить ще й постійний шар: будівлі, вартість житла за регіонами, школи, шкільні округи, цікаві місця, профілі кредиторів. Нічого з цього теж не продається, і все це шукають.

XML Sitemap Generator проходить індекс так само, як це зробили ми, тож ви можете прогнати через нього каталог конкурента вже сьогодні і побачити, що саме він вирішив зберігати.

Там, де сайт нас блокує, наступне місце, куди варто зазирнути, це Semrush і SE Ranking: обидва тримають сторонні оцінки для доменів, які не відповідають на живий обхід, і тільки так ви взагалі отримаєте бодай якісь дані про такий сайт.

Не чекайте посилань на каталог

А тепер число, яке перевертає всю картину.

Наш Backlink Analyzer показує 300 тис. доменів-донорів при Domain Trust 94.

34 мільйони зворотних посилань звучать велично. Поставте це поруч із кількістю сторінок, і виявиться, що ні: приблизно 1 домен-донор на кожні 426 сторінок. У Booking.com і Canva їх більше, і то на значно менших каталогах.

Тож якщо вам кажуть, що ваш каталог заробить посилання в міру зростання, ось сайт, який спростовує це в найбільшому масштабі, який хтось узагалі пробував.

На будинок ніхто не посилається. Це і є обмеження, і саме тому 118 млн сторінок працюють на запитах з адресами і більше ні на чому.

Очікуйте того самого, якщо будуєте каталог. Ваші сторінки окремих позицій посилань не зароблять, скільки б ви їх не опублікували, бо ні в кого немає приводу процитувати одну з них. Тож плануйте посилальну стратегію навколо бренду і тих кількох сторінок, на які справді варто послатися, і перестаньте чекати, що каталог зробить це за вас.

UNmiss Backlink Analyzer для zillow.com: у шапці написано 34 023 998 зворотних посилань, а прямо під нею плитка з числом 1 037 550 зворотних посилань, 303 547 доменів-донорів і Domain Trust 94 зі 100.
На що звернути увагу: у шапці 34 млн, а на плитці під нею 1 млн. Помиляється саме плитка.

Одне число варто брати обережно: 16 днями раніше ми міряли 340 тис. доменів-донорів, тобто це падіння приблизно на 12%. Ззовні ми не можемо сказати, чи це справжня втрата, чи постачальник даних просто перерахував по-своєму, тож наводимо обидві дати, а не саму просадку. До власного посилального графа вам варто ставитися так само обережно.

Працюйте з нами
Величезні каталоги без марних сторінок

Zillow тримає сторінку ще довго після завершення угоди, бо пошуковий попит живе довше за оголошення. Більшість великих каталогів роблять навпаки і видаляють свої найкращі активи. Ми плануємо весь життєвий цикл ще до того, як ви почнете будувати.

  • Спочатку проєктуємо структуру URL і план виведення сторінок
  • Каталожні сайти, зроблені так, щоб їх було легко обходити
  • SEO і GEO на всьому вашому господарстві
  • Безкоштовна консультація, щоб переглянути ваш стан справ
Замовити безкоштовну консультацію → Подивитися наші роботи з розробки сайтів →

Завжди починайте з robots.txt

Дрібниця, яку варто скопіювати, і водночас пастка, якщо ви перевіряєте конкурента.

zillow.com/sitemap.xml віддає 404. І sitemap_index.xml теж. Перевірите звичний шлях, зупинитеся і зробите висновок, що в Zillow узагалі немає карти сайту, а це протилежне до правди.

Натомість усе оголошено в robots.txt, у 15 індексах, названих за тим, що в них лежить. Кожна стрічка оновлюється у своєму ритмі, і пошуковий робот дізнається таксономію ще до того, як щось завантажить.

Тож завжди починайте з robots.txt, і коли перевіряєте конкурента, і коли переглядаєте власний сайт. Це єдине місце, де сайт зобов’язаний оголосити свої карти сайту.

І поки ви там, назвіть власні індекси за їхнім вмістом. Вам це коштує однієї домовленості про назви, а кожному роботу розповідає, що у вас за сайт, ще до завантаження першого байта.

Перевірте 40 посилань на своїх вхідних дверях

Наш Website Audit дає zillow.com 80/100: критичного нічого, але 5 попереджень.

UNmiss Website Audit для zillow.com: 80 зі 100 балів здоров’я сайту, 0 критичних проблем, 5 попереджень, 6 зауважень і 110 пройдених перевірок.
На що звернути увагу: 80/100 з 5 попередженнями, проти 88 з 3 попередженнями 16 днями раніше.

16 днями раніше та сама перевірка дала 88 і 3 попередження. Можна втратити 8 балів за два тижні, не випустивши нічого такого, що ви вважали б ризикованим.

Але процитувати варто інше попередження: «Вихідні посилання ведуть на мертві сторінки».

На сайті, вся стратегія якого полягає в тому, щоб ніколи не видаляти сторінку, головна сторінка посилається на сторінки, яких уже немає.

А це вам нагадування перевірити 40 посилань на власних вхідних дверях. Хоч яку дисципліну ви вибудували для сторінок, які генеруєте, вона не поширюється на ті, що написані руками, і у ваш футер ніхто не заглядав відтоді, як його зробили.

Ми жодного разу не бачили сторінки Zillow

А ось обмеження, яке визначає всю цю статтю.

Кожен прямий запит до сторінки Zillow повертає 403 Access to this page has been denied, і зі звичайного завантажувача, і зі справжнього headless Chromium. Ми не відкрили жодної картки будинку і не можемо сказати вам, що на ній.

Браузер показує сторінку відмови Zillow: Access to this page has been denied, віддана замість картки будинку.
На що звернути увагу: ось так сторінка Zillow виглядає для нас. Кожен прямий запит повертає це, і зі звичайного завантажувача, і зі справжнього Chromium.

Наш Website Audit працює лише тому, що краулер SE Ranking дістається до Zillow з інфраструктури, яку Zillow приймає. Усе інше тут це файли, які Zillow свідомо публікує для машин.

Тож це дослідження того, що компанія оголошує, а не того, що вона показує. Виявляється, цього досить, бо таксономія і є стратегія, а таксономія публічна.

І ось що з цього корисно вам: так само можна вчинити з будь-яким конкурентом, хоч би як щільно він вас блокував. Його robots.txt і його карти сайту опубліковані для машин, і вони описують стратегію чесніше за будь-яку сторінку, яку ви могли б прочитати.

Безкоштовно, без акаунта
Порахуйте, що конкурент насправді оголошує

У Zillow немає sitemap.xml, зате є 15 індексів у robots.txt і поділ 147:1, який розповідає всю стратегію ще до того, як ви прочитаєте бодай одну сторінку. Більшість каталогів видають себе так само.

  • Проходить індекс карти сайту і рахує, що саме отримує пошуковий робот
  • Працює в парі з перевіркою аудиту на noindex у карті сайту
  • Безкоштовно, без реєстрації і без картки
Перевірити карту сайту безкоштовно

Чого ми не змогли поміряти

А ось те, чого це дослідження не показує. Кілька інструментів, названих на цьому сайті, наші партнери: якщо ви купите за цими посиланнями, ми отримаємо комісію, а ви не заплатите ні цента більше.

У цій статті немає числа трафіку, і це провал нашого власного інструментарію. Наші Domain Overview і Organic Traffic Checker наводили на zillow.com уже 5 разів протягом 3 тижнів. Вони повертають HTTP 200 і не показують нічого: ні помилки, ні порожнього стану, ні повідомлення. Кожен інший герой цієї серії відкривається числом трафіку; цей не може, бо ми його не маємо і не позичатимемо чуже. Полагодити це в нашому списку.

Оголошено не означає проіндексовано. URL-адреса в карті сайту це прохання, а не результат. Ми не стверджуємо, скільки з цих 118 млн сторінок Google тримає, скільки обходить і скільки з них заробляють візит. Кількість сторінок тут це кількість сторінок, не більше.

118 млн це оцінка: 5 кінцевих файлів з 5000, помножені на весь обсяг. Ми публікуємо кожне поміряне число, від 23 тис. до 24 тис., розкид 1%, щоб ви могли перевірити арифметику. Числа для нещодавно проданих і для тих, що у продажу через агента, зняті з 5 і 3 кінцевих файлів відповідно, а ці шарди стоять на стелі в 50 тис., тож вважайте їх нижньою межею, а не середнім.

Одне з наших власних чисел на цій сторінці хибне. У шапці результату Backlink Analyzer написано 34 млн зворотних посилань, і його ж цифри dofollow і nofollow дають у сумі рівно стільки. На плитці BACKLINKS прямо під нею написано 1 млн. Шапка має рацію, а плитка це дефект у нашому застосунку, і ця серія ловить його втретє. Цитуйте шапку і розподіл, ніколи не плитку.

Ми не запускали Keyword Research: у ньому є відкритий дефект, через який він повертає неправдоподібні обсяги. Ранішій запуск для цієї статті поміряв запит «recently sold homes» на 595 пошуків на місяць, і це було надто мізерно, щоб будувати на ньому розділ, тож розділ прибрали, а не прикрасили.

Поширені запитання

Скільки сторінок у Zillow?

Сам лише шар будинків не в продажу це приблизно 118 млн URL-адрес: 5000 файлів карти сайту в середньому по 24 тис. адрес у кожному, при цьому кінцеві файли з продажем через агента напхані до 50 тис., а нещодавно продані тримаються близько 44 тис. Поміряно 6 вересня 2026 року. Додайте приблизно 11 млн нещодавно проданих, 9,7 млн сторінок будівель і 1,7 млн оголошень у продажу. Це оголошені URL-адреси, а не проіндексовані сторінки.

Чому Zillow тримає сторінки будинків, яких немає в продажу?

Бо адреса досі залишається запитом. Будинок, проданий кілька років тому, шукають сусіди, наступний покупець і сам власник, коли перевіряє його вартість. Zillow публікує 5000 файлів карти сайту з будинками не в продажу проти 34 з будинками у продажу, тобто 147 до 1 на користь тих, яких ніхто не може купити.

Яка частка сторінок будинків Zillow у продажу?

Приблизно 2%. Близько 129 млн сторінок це будинки не в продажу або вже продані, проти приблизно 2 млн тих, які справді можна купити.

Скільки зворотних посилань має Zillow?

34 млн із 300 тис. доменів-донорів при Domain Trust 94, 85% dofollow, поміряно 6 вересня 2026 року. Це приблизно 1 домен-донор на 426 сторінок, тобто менше доменів-донорів, ніж 1,4 млн у Booking.com чи 620 тис. у Canva, і то на значно більшому каталозі.

Чи є в zillow.com sitemap.xml?

Ні: і /sitemap.xml, і /sitemap_index.xml віддають 404. Натомість усі 15 індексів карти сайту оголошено в robots.txt і названо за тим, що в них лежить. Якщо перевірити звичний шлях і на цьому зупинитися, вийде, що в Zillow немає карти сайту, а це протилежне до правди.

Який бал аудиту сайту в Zillow?

80 зі 100, з 0 критичних проблем, 5 попередженнями, 6 зауваженнями і 110 пройденими перевірками: 23/25 за on-page, 61/67 за технічною частиною, 25/29 за швидкістю, 2/2 за мобільною версією, поміряно 6 вересня 2026 року, проти 88 станом на 21 серпня, з 2 новими попередженнями щодо швидкості. Одне постійне попередження це «вихідні посилання ведуть на мертві сторінки», і це на сайті, збудованому так, щоб ніколи жодної не видаляти.

Скільки пошукового трафіку отримує Zillow?

Ми не маємо цього числа. Наші Domain Overview і Organic Traffic Checker не повернули даних по zillow.com за 5 спроб протягом 3 тижнів: HTTP 200 і порожній рендер. Замість того щоб цитувати чужу оцінку, ця стаття не наводить жодного числа трафіку і прямо про це каже.

Чи можна обійти Zillow краулером?

Нам не вдалося. Кожен прямий запит сторінки повертає 403 і зі звичайного завантажувача, і зі справжнього headless Chromium. Усе в цій статті походить із файлів, які Zillow публікує для пошукових роботів, плюс з інструментів, чиї власні краулери Zillow приймає.

Єдине число, яке варто запам’ятати

147 до 1.

Це співвідношення в картах сайту Zillow: 5000 файлів із будинками, яких ніхто не може купити, проти 34 з будинками у продажу.

Кожен інший каталог у цій серії побудований навколо речі, яку продають. PyPI публікує сторінку на пакет. Goodreads публікує сторінку на книжку. Zillow публікує сторінку на адресу, і чи є ця адреса зараз товаром, для нього майже не має значення.

Ось прийом, який варто вкрасти. Подивіться на записи, які ви видаляєте або взагалі не публікуєте, бо вони неактивні: закриті вакансії, зняті з виробництва товари, минулі події, колишні співробітники, продані оголошення. Більшість із них досі шукають за назвою, а більшість компаній прибирають сторінку того ж дня, коли завершується угода.

Zillow робить навпаки, у масштабі, якого ніхто не повторив, і робить це на меншій кількості доменів-донорів, ніж має інструмент для дизайну. Каталог виграє не авторитетністю. Він виграє тим, що це єдина сторінка, яка існує, коли хтось набирає адресу.

Поміряно 6 вересня 2026 року. Перепис карт сайту публічний, і його можна повторити: метод це scripts/survey-zillow-sitemaps.mjs у нашому репозиторії, а сирий вивід лежить у evidence/surveys/, де записано кожне пораховане число по кінцевих файлах. Числа зворотних посилань і аудиту сайту це безкоштовні запуски наших власних інструментів; порівняння за 21 серпня це наші ж ранні запуски. Даних про трафік чи дохід Zillow ми не мали, і жодних таких тверджень тут немає.

Блог