Robots.txt Generator

Details zur Seite

Robots.txt im Browser bauen: 3 Vorlagen, Allow- und Disallow-Regeln, optionale Sitemap-Zeile, dann kopieren oder herunterladen. Nichts wird hochgeladen, keine Domain nötig.

Erstellen Sie eine gültige robots.txt direkt im Browser.

Geschrieben für die Crawler, die diese Datei lesen, bevor sie irgendetwas anderes lesen

Nichts zu installieren, nichts zu konfigurieren. Die Datei wird im Browser zusammengesetzt, während Sie tippen.

Allow All öffnet die gesamte Website für jeden Crawler, Block All schließt sie, und Standard gibt Ihnen einen konventionellen Ausgangspunkt. Welche Sie auch wählen: Jede Zeile bleibt editierbar.

Jede Regel besteht aus einem User Agent, einer Allow- oder Disallow-Direktive und einem Pfad. Fügen Sie so viele hinzu, wie die Website braucht, dazu optional eine Sitemap-URL und ein Crawl-delay. Der User Agent * ist kostenlos; einen bestimmten Bot zu benennen oder ein Crawl-delay zu setzen erfordert ein kostenloses Konto.

Die Ausgabe ist reiner Text. Kopieren Sie ihn in die Zwischenablage oder laden Sie die Datei mit einem kostenlosen Konto herunter, und legen Sie sie dann im Root Ihrer Website ab, damit sie unter ihredomain.de/robots.txt antwortet.

Robots.txt hat ein kleines Vokabular, und die meiste Verwirrung entsteht aus der Annahme, jeder Crawler ginge damit gleich um. Hier steht, was jede Zeile bewirkt und wo sie beachtet wird.

Benennt den Crawler, für den die Regeln darunter gelten. Eine Gruppe läuft bis zur nächsten User-agent-Zeile.

Pflicht. AdsBot-Google passt nicht auf * und muss ausdrücklich benannt werden.

Weist den benannten Crawler an, keine URL abzurufen, deren Pfad mit diesem Wert beginnt.

Ein leerer Wert bedeutet, dass nichts blockiert wird.

Schneidet eine Ausnahme aus einem übergeordneten Disallow, sodass ein Pfad innerhalb eines gesperrten Zweigs crawlbar bleibt.

Die nach Pfadlänge spezifischste Regel gewinnt; bei Gleichstand nimmt Google die am wenigsten restriktive.