Vorlage für Crawl-Budget- und Logfile-Analyse

Kostenlose Vorlage zur Crawl-Budget- und Logfile-Analyse: Sehen Sie, wie der Googlebot Ihre Website crawlt, und beheben Sie Crawl-Verschwendung schnell.

Suchmaschinen haben nur begrenzte Ressourcen, um eine Website zu crawlen, und verschwendetes Crawling bedeutet, dass Ihre wichtigen Seiten langsamer entdeckt und aktualisiert werden. Diese Vorlage führt Sie durch das Auslesen von Server-Logs, die Analyse des echten Googlebot-Verhaltens, das Aufspüren von Crawl-Verschwendung und die Steigerung der Effizienz. Nutzen Sie sie, damit auf großen oder duplikatlastigen Websites jeder Crawl zählt.

6 einsatzbereite Varianten

Brauchen Sie das überhaupt

Entscheiden Sie, ob das Crawl-Budget wirklich ein Problem ist, das Ihre Zeit wert ist, bevor Sie in die Logs eintauchen.

Ist das Crawl-Budget für Sie relevant?

Das Crawl-Budget ist die Anzahl an URLs, die eine Suchmaschine bereit und in der Lage ist, in einem bestimmten Zeitraum auf Ihrer Website zu crawlen. Für die meisten kleinen und mittleren Websites ist das kein Problem, das es zu lösen lohnt. Google kann in der Regel einige Tausend URLs mühelos crawlen.

Um das Crawl-Budget sollten Sie sich vor allem dann kümmern, wenn Sie eine große Website betreiben (Hunderttausende URLs oder mehr), eine Website, die viele geringwertige oder doppelte URLs erzeugt, oder eine, bei der neue und aktualisierte Seiten lange zur Indexierung brauchen.

Warnsignale, die diese Arbeit rechtfertigen

  • Facettennavigation oder Filter, die endlose URL-Kombinationen erzeugen
  • Wichtige Seiten auch Wochen nach Veröffentlichung nicht indexiert
  • Search Console zeigt viele URLs mit "Erkannt – zurzeit nicht indexiert"
  • Server-Logs voller Bot-Zugriffe auf Parameter, Sortierung oder Paginierung

[Website-URL]: Notieren Sie hier Ihre ungefähre Gesamtzahl an URLs: [URLs gesamt]. Ist sie klein und indexieren Seiten schnell, überspringen Sie den Rest und konzentrieren sich auf anderes.

Logfiles beschaffen & aufbereiten

Sammeln Sie rohe Server-Zugriffslogs und bereinigen Sie sie zu etwas, das Sie tatsächlich analysieren können.

Wo Sie Ihre Logs finden

Server-Zugriffslogs sind die zuverlässigste Aufzeichnung darüber, wie Bots und Nutzer tatsächlich auf Ihre Website zugreifen. Bitten Sie Ihren Hosting-Anbieter, Ihr DevOps-Team oder Ihr CDN um rohe Zugriffslogs über mindestens einige Wochen, idealerweise einen ganzen Monat, damit Sie normale Crawl-Zyklen erfassen.

Häufige Quellen sind Ihr Webserver (Apache, Nginx), Ihr CDN (etwa Cloudflare oder Fastly) und jeder Load Balancer davor. Ziehen Sie die Daten aus [Log-Quelle] für den Zeitraum [Zeitraum].

Daten aufbereiten

  1. Führen Sie Logs von allen Servern zusammen, damit Sie keine Anfragen verpassen, die von unterschiedlichen Maschinen ausgeliefert wurden.
  2. Stellen Sie sicher, dass jede Zeile Zeitstempel, angefragte URL, Statuscode, User Agent und IP-Adresse enthält.
  3. Verifizieren Sie den Googlebot, indem Sie ein Reverse-DNS-Lookup auf die IP und anschließend ein Forward-Lookup durchführen. Vertrauen Sie nicht allein dem User-Agent-String, da er sich leicht fälschen lässt.
  4. Filtern Sie auf verifizierte Suchmaschinen-Bots, bevor Sie Schlüsse über das Crawl-Verhalten ziehen.

Speichern Sie den bereinigten Datensatz an einem wiederholbaren Ort, damit Sie nächstes Quartal dieselbe Analyse erneut durchführen können.

Crawl-Muster analysieren

Verstehen Sie, was der Googlebot tatsächlich crawlt, wie oft und auf welche Statuscodes er trifft.

Was Sie zuerst betrachten

Nachdem Sie die verifizierten Googlebot-Anfragen isoliert haben, zeichnen Sie ein Bild des echten Crawl-Verhaltens, statt zu raten. Konzentrieren Sie sich auf Volumen, Häufigkeit und Antwortcodes: Sie zeigen, wohin der Crawl-Aufwand fließt.

Zentrale Fragen, die es zu beantworten gilt

  • Welche URLs werden am häufigsten gecrawlt? Vergleichen Sie die meistgecrawlten URLs mit Ihren wichtigsten Seiten. Abweichungen sind ein Signal.
  • Wie oft werden Schlüsselseiten gecrawlt? Umsatzstarke Seiten sollten regelmäßig besucht werden; selten gecrawlte wichtige URLs veralten.
  • Welche Statuscodes sieht der Googlebot? Eine gesunde Website besteht überwiegend aus 200ern. Achten Sie auf Ausschläge bei 404ern, 301/302-Weiterleitungen und 5xx-Serverfehlern.
  • Welche Bereiche dominieren? Gruppieren Sie Zugriffe nach Verzeichnis, um zu sehen, ob ein geringwertiger Bereich die Crawl-Aktivität auffrisst.

Halten Sie Ihre Ergebnisse für [Meistgecrawlter Bereich] fest und notieren Sie jeden Bereich, der im Verhältnis zu seinem Wert übermäßig gecrawlt wird: [Übercrawlter Pfad].

Starkes Crawling von Weiterleitungen oder Fehlern ist verschwendeter Aufwand, der in späteren Schritten bereinigt werden sollte.

Crawl-Verschwendung finden

Spüren Sie die geringwertigen, doppelten und defekten URLs auf, die Crawl-Ressourcen aufzehren.

Wo das Crawl-Budget versickert

Crawl-Verschwendung entsteht, wenn Bots Zeit für URLs aufwenden, die gar nicht gecrawlt werden sollten. Auf großen Websites kann das den Unterschied ausmachen, ob wichtige Seiten täglich oder monatlich aktualisiert werden.

Häufige Quellen von Verschwendung

  • Facetten- & Parameter-URLs: Filter, Sortierung und Tracking-Parameter, die eine einzelne Seite in Tausende Varianten vervielfachen.
  • Doppelter Inhalt: dieselbe Seite über mehrere URLs erreichbar, mit abschließenden Schrägstrichen oder Groß-/Kleinschreibung im Pfad.
  • Soft-404s: leere Ergebnisse, abgelaufene Anzeigen oder dünne Seiten, die 200 zurückgeben, aber keinen Wert bieten.
  • Weiterleitungsketten: URLs, die über mehrere Sprünge laufen, bevor sie sich auflösen.
  • Unendliche Räume: Kalender, Suchergebnisse und Session-IDs, die nahezu endlose URLs erzeugen.

Listen Sie aus Ihrer Log-Analyse die schlimmsten Übeltäter hier auf: [Verschwendungsmuster 1], [Verschwendungsmuster 2]. Schätzen Sie den Anteil der Googlebot-Zugriffe, der auf diese geringwertigen URLs entfällt: Diese Zahl ist Ihre Chance. Priorisieren Sie Korrekturen danach, wie viel Crawl-Aktivität jedes Muster verbraucht.

Crawl-Effizienz verbessern

Ergreifen Sie konkrete Maßnahmen, damit Suchmaschinen ihren Crawl-Aufwand auf Seiten verwenden, die zählen.

Crawler zum Wesentlichen lenken

Sobald Sie wissen, wo die Verschwendung liegt, besteht das Ziel darin, Signale zu bündeln und Bots zu wertvollen, kanonischen URLs zu lenken.

  1. Stärken Sie interne Links zu wichtigen Seiten, damit sie leicht auffindbar sind und ihre Priorität signalisieren.
  2. Halten Sie XML-Sitemaps sauber: Nehmen Sie nur kanonische, indexierbare URLs auf und entfernen Sie Weiterleitungen, Fehler und Noindex-Seiten.
  3. Nutzen Sie robots.txt bedacht, um das Crawlen eindeutig geringwertiger Pfade wie interner Suche und unendlicher Parameterräume zu blockieren. Denken Sie daran: Das Blockieren des Crawlings ist nicht dasselbe wie das Entfernen aus dem Index.
  4. Behandeln Sie Parameter mit Canonical-Tags, die auf die saubere Version verweisen, und verlinken Sie intern nicht auf parametrisierte URLs.
  5. Beheben Sie Weiterleitungsketten, indem Sie den ersten Sprung mit einer einzigen 301 direkt auf das Endziel richten.
  6. Lösen Sie Soft-404s, indem Sie einen echten 404 oder 410 zurückgeben oder die Seite so verbessern, dass sie ihren Crawl verdient.

Protokollieren Sie Ihre drei wichtigsten Maßnahmen: [Maßnahme 1], [Maßnahme 2], [Maßnahme 3]. Rollen Sie Änderungen schrittweise aus, damit Sie deren Wirkung messen können.

Mit Crawling-Statistiken überwachen

Verfolgen Sie das Crawl-Verhalten über die Zeit mit der Search Console und laufenden Log-Prüfungen.

Den Kreis schließen

Crawl-Effizienz ist kein einmaliges Projekt. Überwachen Sie nach Änderungen, ob Suchmaschinen so reagieren, wie Sie es erwarten.

Worauf Sie achten sollten

  • Search-Console-Crawling-Statistiken: Prüfen Sie die Gesamtzahl der Crawling-Anfragen, die durchschnittliche Antwortzeit und die Aufschlüsselung nach Antwortcode, Dateityp und Zweck (Erkennung vs. Aktualisierung).
  • Host-Status: Achten Sie auf Verfügbarkeitsprobleme, denn ein langsamer oder fehlerhafter Server bringt Google dazu, weniger zu crawlen.
  • Statuscode-Trends: Vergewissern Sie sich, dass 404er, Weiterleitungen und 5xx-Fehler nach Ihren Korrekturen zurückgehen.
  • Indexierungsberichte: Prüfen Sie, ob zuvor festhängende Seiten in den indexierten Zustand wechseln.

Eine Routine aufbauen

Ziehen Sie Server-Logs in einem festen Rhythmus (monatlich oder quartalsweise) erneut und vergleichen Sie sie mit Ihrer Baseline. Notieren Sie hier das Prüfdatum: [Nächstes Prüfdatum] und die verantwortliche Person: [Verantwortliche Person].

Wenn Verschwendung wieder einschleicht, bemerken Sie es früh, statt erst, wenn wichtige Seiten aus dem Index fallen.

So verwendest du diese Vorlage

  1. Entscheiden Sie, ob sich das Crawl-Budget lohnt: Es ist vor allem für große Websites (Hunderttausende URLs) oder Websites mit vielen doppelten und geringwertigen URLs relevant.
  2. Fordern Sie rohe Server-Zugriffslogs von Ihrem Host, CDN und Load Balancern über mindestens mehrere Wochen an, idealerweise einen ganzen Monat.
  3. Bereinigen und kombinieren Sie die Logs und verifizieren Sie dann den Googlebot per Reverse- und Forward-DNS, damit Sie echtes Bot-Verhalten statt gefälschter User Agents analysieren.
  4. Kartieren Sie Crawl-Muster: Identifizieren Sie die meistgecrawlten URLs und Bereiche, die Crawl-Häufigkeit für Schlüsselseiten und die Statuscodes, die der Googlebot erhält.
  5. Fahnden Sie nach Crawl-Verschwendung wie Facettenparametern, doppelten URLs, Soft-404s, Weiterleitungsketten und unendlichen URL-Räumen.
  6. Verbessern Sie die Effizienz mit stärkeren internen Links, sauberen XML-Sitemaps, durchdachten robots.txt-Regeln, Canonical-Tags und Einzelsprung-301ern.
  7. Öffnen Sie die Crawling-Statistiken der Search Console, um zu bestätigen, dass sich Crawling-Anfragen, Antwortzeiten und Statuscode-Trends in die richtige Richtung bewegen.
  8. Legen Sie einen wiederkehrenden Zeitplan fest, um Logs erneut zu ziehen und Crawling-Statistiken zu prüfen, damit Verschwendung nicht langsam zurückkehrt.

Profi-Tipps

  • Das Crawl-Budget ist vor allem für große oder duplikatlastige Websites ein echtes Thema; ist Ihre Website klein und indexieren Seiten schnell, richten Sie Ihre Energie auf anderes.
  • Verifizieren Sie den Googlebot stets per Reverse-, dann Forward-DNS, bevor Sie einer Anfrage trauen, denn der User-Agent-String lässt sich trivial fälschen.
  • Eine URL in der robots.txt zu blockieren stoppt das Crawlen, entfernt sie aber nicht aus dem Index; nutzen Sie noindex oder passende Statuscodes, wenn eine Seite verschwinden soll.
  • Beheben Sie Weiterleitungsketten, indem Sie die ursprüngliche URL mit einer 301 direkt auf das Endziel richten, damit Bots keine Sprünge verschwenden.

Haeufige Fragen

Was ist das Crawl-Budget?

Das Crawl-Budget ist die Anzahl an URLs, die eine Suchmaschine bereit und in der Lage ist, über einen Zeitraum auf Ihrer Website zu crawlen. Es hängt davon ab, wie viel Last Ihr Server verkraftet und wie viel Nachfrage Suchmaschinen nach Ihren Inhalten haben.

Müssen sich kleine Websites um das Crawl-Budget sorgen?

Meist nicht. Hat Ihre Website einige Tausend URLs und werden neue Seiten schnell indexiert, ist das Crawl-Budget selten ein Engpass. Wichtig wird es bei großen Websites oder Websites, die viele geringwertige oder doppelte URLs erzeugen.

Warum Server-Logfiles statt nur Crawling-Tools nutzen?

Server-Logs zeigen, was Suchmaschinen tatsächlich angefragt haben, einschließlich Häufigkeit, Statuscodes und genau welcher URLs sie aufgerufen haben. Crawling-Tools simulieren einen Crawl, aber Logs sind die faktische Grundlage des echten Bot-Verhaltens auf Ihrer Website.

Wie verifiziere ich, dass eine Anfrage wirklich vom Googlebot stammt?

Führen Sie ein Reverse-DNS-Lookup auf die anfragende IP durch, um zu bestätigen, dass sie zu einer Google-Domain auflöst, und dann ein Forward-DNS-Lookup auf diesen Namen, um zu bestätigen, dass er wieder auf dieselbe IP verweist. Vertrauen Sie niemals allein dem User-Agent-String, da er sich fälschen lässt.

Was sind die häufigsten Quellen von Crawl-Verschwendung?

Facettennavigation und URL-Parameter, doppelte URLs, Soft-404s, Weiterleitungsketten und unendliche Räume wie Kalender oder interne Suchergebnisse. Diese können auf großen Websites einen großen Anteil der Crawl-Aktivität verbrauchen.

Wo sehe ich die Crawling-Statistiken in der Search Console?

Die Search Console enthält einen Bericht „Crawling-Statistiken“, der die Gesamtzahl der Crawling-Anfragen, die durchschnittliche Antwortzeit und Aufschlüsselungen nach Antwortcode, Dateityp, Googlebot-Typ und Zweck zeigt. Nutzen Sie ihn zusammen mit Ihrer Log-Analyse, um Trends über die Zeit zu verfolgen.