Jede Website hat eine kleine Datei namens robots.txt. Dreißig Jahre lang war sie ein Stück Ordnungspflege: Das sind die Ordner, die ihr bitte nicht crawlen sollt. Niemand las sie zum Vergnügen.
Still und leise ist daraus etwas anderes geworden.
Wir haben die robots.txt von 49 bekannten Websites geöffnet und geprüft, welche KI-Crawler jeweils abgewiesen werden. Was zurückkam, war kein technisches Muster. Es war eine Karte davon, wer einen Lizenzdeal unterschrieben hat.
Sieben große Publisher blockieren den Crawler von Anthropic und lassen den von OpenAI direkt durch. Jeder einzelne von ihnen hat einen öffentlich gemeldeten Content-Deal mit OpenAI.
Diese Datei ist keine Ordnungspflege mehr. Sie ist ein Vertrag, veröffentlicht im Stammverzeichnis der Domain, wo ihn jeder lesen kann.
Die Ergebnisse auf einen Blick
Publisher blockieren KI-Unternehmen, gegen die sie kämpfen, und blockieren die nicht mehr, die sie bezahlen. Man kann sehen, wer wer ist, ohne eine einzige Pressemitteilung zu lesen.
Gleichzeitig sind die meisten Blocklisten aus 2023 kopiert und halten die falschen Crawler auf.
Wer überhaupt etwas blockiert
Zuerst der einfache Teil. Von den 49 Websites, die wir geprüft haben, blockieren 21 mindestens einen KI-Crawler — und auf welcher Seite dieser Linie Sie landen, hängt fast vollständig davon ab, was Ihr Unternehmen verkauft.
Wenn Ihr Umsatz davon kommt, dass Menschen Ihre Seiten lesen, ist eine KI, die antwortet, ohne den Leser zu schicken, ein Wettbewerber. Wenn Ihr Umsatz davon kommt, dass Menschen Ihr Produkt nutzen, ist eine KI, die Ihre Dokumentation liest, ein Verkäufer.
Dieselbe Datei, gegensätzlicher Anreiz.
Die Liste, die niemand konsequent blockiert
Schauen Sie jetzt darauf, was die 21 Blockierer tatsächlich blockieren, und die saubere Geschichte fällt auseinander.
Common Crawl archiviert das Web seit 2011 still und leise, lange bevor sich irgendjemand um Chatbots sorgte. Jetzt ist es der am häufigsten blockierte Crawler auf dieser Liste.
Gleichzeitig wird OAI-SearchBot — der Crawler, der die Suchergebnisse von ChatGPT speist — nur von einem Drittel der Websites blockiert, die sich überhaupt die Mühe gemacht haben, etwas zu blockieren.
Ein Teil davon ist einfache Überalterung. Viele dieser Listen wurden während der Scraping-Panik 2023 geschrieben, aus einem Blogpost kopiert und nie wieder angefasst. Aber Überalterung erklärt den nächsten Teil nicht.
Sieben Publisher, eine auffällige Lücke
Sieben Websites in unserer Stichprobe blockieren Anthropics ClaudeBot und blockieren OpenAIs GPTBot nicht.
The Guardian. Wired. The Verge. The Washington Post. The Atlantic. Business Insider. Investopedia.
So sieht die Datei von Wired aus. Lesen Sie die Liste der Crawler, die abgewiesen werden, und achten Sie dann darauf, wer darin fehlt.
Anthropic wird gleich dreifach blockiert. Google, Apple, Amazon, Meta, Perplexity, Cohere, Mistral und ByteDance werden alle abgewiesen. OpenAIs Crawler erscheinen in der Datei überhaupt nicht.
Dann haben wir alle sieben Namen mit öffentlichen Berichten über KI-Lizenzvereinbarungen abgeglichen.
Alle sieben haben einen öffentlich gemeldeten Content-Deal mit OpenAI. The Guardian, Condé Nast — dem Wired gehört — Vox Media, dem The Verge gehört, The Washington Post, The Atlantic, Axel Springer, dem Business Insider gehört, und Dotdash Meredith, dem Investopedia gehört.
Sieben von sieben. Das ist kein Zufall, den man einfach wegwinken kann.
Die andere Gruppe klagt
Schauen Sie auf die Websites, die stattdessen alles blockieren, und das Muster hält aus der Gegenrichtung.
The New York Times blockiert alle 17 Crawler, die wir getestet haben, OpenAI eingeschlossen. CNN auch. Die BBC blockiert 15. Das sind die Organisationen, die mit KI-Unternehmen im Rechtsstreit liegen oder öffentlich eine Lizenzierung verweigern, und ihre Dateien sagen genau das.
Damit sortiert sich die robots.txt eines Publishers jetzt in zwei Formen. Blockieren Sie alle, kämpfen Sie oder halten Sie durch. Blockieren Sie alle außer einem Unternehmen, dann bezahlt Sie dieses Unternehmen.
Reuters ist die dritte Form und eine Erwähnung wert: Es nennt eine lange Liste von Bots in einer permissiven Gruppe und erwähnt GPTBot, ClaudeBot, CCBot oder Google-Extended überhaupt nicht. Sich nicht zu entscheiden, ist ebenfalls eine Position.
Was das für Ihre Website bedeutet
Wahrscheinlich verhandeln Sie nicht mit OpenAI. Die Lektion gilt trotzdem, in drei Teilen.
1. Hören Sie auf, die Blocklisten anderer Leute zu kopieren. Diese Liste wurde für die Verträge eines anderen und das Geschäftsmodell eines anderen geschrieben. Wireds Datei zu kopieren bedeutet, Condé Nasts Verhandlungsposition zu kopieren, die wahrscheinlich nicht Ihre ist.
2. Entscheiden Sie, was Sie tatsächlich schützen. Wenn Menschen dafür bezahlen, Ihre Worte zu lesen, kostet Sie eine KI, die an Ihrer Stelle antwortet, Geld. Wenn Menschen dafür bezahlen, Ihr Produkt zu nutzen, macht eine KI, die Ihre Dokumentation liest, Ihr Marketing. Diese zwei Situationen teilen sich keine robots.txt-Datei.
3. Wenn Sie blockieren, blockieren Sie die richtigen Namen. Trainings-Crawler und Antwort-Crawler sind unterschiedliche Dinge mit unterschiedlichen Agents. GPTBot zu blockieren stoppt Training, lässt OAI-SearchBot aber frei, Sie in ChatGPT zu zitieren — was die meisten Menschen tatsächlich wollen. CCBot zu blockieren, verärgert hauptsächlich ein Forschungsarchiv.
Und prüfen Sie, was Ihre Datei derzeit sagt, denn die meisten Menschen haben ihre eigene nie gelesen.
Was wir nicht messen konnten
Wir haben Korrelation gemessen, nicht Ursache. Sieben von sieben ist ein auffälliges Muster, aber wir können in keinen Vertrag hineinsehen. Es ist möglich, dass eine Lizenzvereinbarung Crawler-Zugriff nie erwähnt und die beiden Dinge einfach zusammen auftreten. Wir halten das für unwahrscheinlich; beweisen können wir es nicht.
Blockieren ist eine Bitte, keine Mauer. robots.txt hat keinerlei Durchsetzung. Ein gut erzogener Crawler befolgt sie. Wir haben keine Möglichkeit zu wissen, wer sie befolgt.
49 Websites sind eine Stichprobe. Wir haben erkennbare Namen aus sechs Kategorien ausgewählt, und andere 49 würden die Prozentwerte verschieben.
Deals ändern sich ständig. Dies ist eine Momentaufnahme vom 22. August 2026. Sowohl die Dateien als auch die Vereinbarungen dahinter werden sich bewegt haben, wenn Sie das hier lesen. Genau deshalb ist die Methode wichtiger als die Zahlen.
Unser Website Audit ruft Ihre Website so ab, wie es eine Suchmaschine tut, und berichtet, was es gefunden hat, einschließlich ob Ihre robots.txt vorhanden ist und was sie erlaubt. Es ist der schnellste Weg zu prüfen, ob die Datei in Ihrem Stammverzeichnis das sagt, was Sie glauben.
- Crawlability-, robots.txt- und Sitemap-Prüfungen in einem Bericht
- Rund 140 technische Prüfungen, schwerste Probleme zuerst
- 3 Prüfungen pro Tag, keine Registrierung, keine Karte
Häufig gestellte Fragen
Was genau habt ihr geprüft?
Wir haben am 22. August 2026 robots.txt von 49 bekannten Domains abgerufen und korrekt geparst — indem wir aufeinanderfolgende User-agent-Zeilen mit den Regeln gruppierten, die ihnen folgen — und dann erfasst, welche von 18 KI-Crawlern eine eigene Gruppe mit einem seitenweiten Disallow: / hatten. Das bloße Zählen einer Erwähnung eines Bot-Namens reicht nicht, weil viele Websites Bots in permissiven Gruppen nennen.
Wie viele Websites blockieren KI-Crawler?
21 von 49, also 42%. Nach Kategorie: Publisher 10 von 12, Referenzseiten 5 von 8, Händler 3 von 8, SaaS 3 von 8, Entwicklertools 0 von 8 und SEO-Tools 0 von 5. Unter den Websites, die überhaupt etwas blockieren, nannte die durchschnittliche Blockliste etwa 11 Crawler.
Welche sieben Websites blockieren Anthropic, aber nicht OpenAI?
The Guardian, Wired, The Verge, The Washington Post, The Atlantic, Business Insider und Investopedia. Jede von ihnen, oder ihre Muttergesellschaft, hat eine öffentlich gemeldete Content-Lizenzvereinbarung mit OpenAI: Condé Nast besitzt Wired, Vox Media besitzt The Verge, Axel Springer besitzt Business Insider und Dotdash Meredith besitzt Investopedia.
Beweist das, dass die Deals die Änderung verursacht haben?
Nein. Wir haben eine Korrelation über sieben Websites hinweg gemessen und sie mit öffentlichen Berichten über diese Vereinbarungen abgeglichen. Wir können die Verträge von niemandem lesen, also können wir nicht sagen, ob Crawler-Zugriff in den Deal geschrieben wurde oder einfach aus der Beziehung folgt. Sieben von sieben ist stark genug, um darüber zu berichten, und nicht stark genug, um es Beweis zu nennen.
Welcher Crawler wird am häufigsten blockiert?
CCBot, betrieben von Common Crawl, bei 90% der blockierenden Websites. Common Crawl ist eine gemeinnützige Organisation, die das Web seit 2011 archiviert, lange vor der heutigen KI-Industrie. ClaudeBot und ByteDances Bytespider folgen mit 80%. OpenAIs GPTBot wird von 52% blockiert, ChatGPT-User von 38% und OAI-SearchBot von 33%.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
Grob gesagt sammelt GPTBot Inhalte für Training, während OAI-SearchBot die Suchfunktion von ChatGPT unterstützt, die Quellen zitiert und verlinkt. Den ersten zu blockieren und den zweiten zu erlauben, ist für die meisten Publisher eine kohärente Position: kein Training, aber weiterhin zitiert und verlinkt werden. Beide zu blockieren, entfernt Sie auch aus den Antworten.
Sollte ich KI-Crawler auf meiner eigenen Website blockieren?
Es hängt vollständig davon ab, wie Sie Geld verdienen. Wenn Menschen dafür bezahlen, Ihre Inhalte zu lesen, ist ein Assistent, der an Ihrer Stelle antwortet, ein Wettbewerber, und Blockieren ist vertretbar. Wenn Menschen dafür bezahlen, Ihr Produkt zu nutzen, hilft Ihnen ein Assistent, der Ihre Dokumentation liest, beim Verkaufen — deshalb hat in unserer Stichprobe kein einziges Entwicklertool- oder SEO-Unternehmen überhaupt etwas blockiert.
Kann ich diese Prüfung selbst durchführen?
Ja, und sie ist kostenlos. Fügen Sie /robots.txt an eine beliebige Domain an und lesen Sie die Datei. Suchen Sie nach den Namen der KI-Crawler, prüfen Sie, ob jeder eine eigene Gruppe mit Disallow: / hat, und notieren Sie, wer fehlt. Das für die zehn größten Websites Ihrer Branche zu tun, dauert etwa zwanzig Minuten und sagt Ihnen sehr viel über deren kommerzielle Position.
Lesen Sie die Datei, bevor Sie sie kopieren
Jede Fallstudie in dieser Reihe hat sich etwas angesehen, das ein Unternehmen gebaut hat. Diese hier handelt von etwas, das Unternehmen versehentlich veröffentlicht haben.
Niemand hatte vor, seine Verhandlungsposition in einer Klartextdatei im Stammverzeichnis der Domain offenzulegen. Aber Verträge haben technische Folgen, technische Folgen werden in robots.txt geschrieben, und robots.txt ist absichtlich öffentlich.
Wenn Sie also das nächste Mal eine empfohlene KI-Blockliste die Runde machen sehen, denken Sie daran, worauf Sie schauen. Es ist keine Best Practice. Es ist der Rückstand aus der Verhandlung eines anderen, und die Teile, die ausgelassen wurden, sind der interessante Teil.