robots.txt: welche Crawler was lesen dürfen

Die robots.txt ist eine einfache Textdatei im Wurzelverzeichnis einer Website. Sie sagt automatisierten Besuchern, also Suchmaschinen-Crawlern und den Diensten von KI-Anbietern, welche Bereiche sie abrufen dürfen und welche nicht. Aufgerufen wird sie immer unter demselben Pfad, direkt hinter der Domain.

Wie eine solche Datei aussieht

Der Aufbau ist bewusst schlicht. Zuerst wird angegeben, für welchen Besucher die folgenden Regeln gelten, danach folgen die Regeln selbst. Ein Sternchen steht für alle, ein konkreter Name für einen bestimmten Dienst. Mit Disallow wird ein Pfad gesperrt, mit Allow eine Ausnahme davon erlaubt.

Üblich ist außerdem ein Verweis auf die Sitemap am Ende der Datei. Damit findet jede Suchmaschine sofort die Liste aller Seiten, die indexiert werden sollen, ohne sie sich aus der Verlinkung erschließen zu müssen.

Der wichtigste Denkfehler

Ein Eintrag in dieser Datei hält eine Seite nicht aus den Suchergebnissen heraus. Er verhindert nur, dass sie gelesen wird. Wenn andere Websites auf eine gesperrte Adresse verlinken, kann sie trotzdem in den Ergebnissen erscheinen, dann eben ohne Beschreibung, weil der Inhalt nie abgerufen wurde.

Wer eine Seite zuverlässig aus dem Index halten will, nutzt stattdessen die Anweisung noindex im Kopfbereich der Seite oder schützt sie mit einem Passwort. Wichtig dabei: Beides zusammen funktioniert nicht. Eine per robots.txt gesperrte Seite wird nie gelesen, folglich sieht die Suchmaschine das noindex nie und ignoriert es.

Was man sinnvoll sperrt

In der Praxis ist die Liste kurz. Sinnvoll sind Sperren für interne Suchergebnisseiten, für Warenkorb- und Kontobereiche, für Adressen mit Filterparametern, die endlos viele Varianten erzeugen, und für Verzeichnisse mit reinen Systemdateien.

Rechtlich relevante Seiten wie Impressum und Datenschutz werden häufig ebenfalls ausgenommen, weil sie in Suchergebnissen keinen Nutzen stiften. Hier gilt allerdings die Regel von oben: Wer sie wirklich aus dem Index halten will, arbeitet zusätzlich mit noindex.

KI-Dienste steuern

Seit einigen Jahren geben die großen Anbieter eigene Namen für ihre Crawler an, sodass sich der Zugriff getrennt regeln lässt. Damit können Sie entscheiden, ob Ihre Inhalte für Antwortsysteme verfügbar sind oder nicht. Beide Wege haben Folgen.

Wer sperrt, schützt seine Texte vor der Verwertung und verzichtet gleichzeitig darauf, in generierten Antworten genannt zu werden. Wer erlaubt, macht das Gegenteil. Für die meisten Unternehmen, die Kunden gewinnen wollen, ist die Erlaubnis die naheliegende Wahl, siehe Generative Engine Optimization. Für Verlage und Anbieter, deren Inhalt selbst das Produkt ist, sieht die Rechnung anders aus.

Typische Fehler

Der teuerste Fehler ist eine Zeile, die den Zugriff auf die gesamte Website sperrt. Sie stammt fast immer aus der Entwicklungsphase, in der die Testfassung geschützt werden sollte, und wandert beim Umzug versehentlich mit auf den Livebetrieb. Die Folge sind verschwundene Seiten innerhalb weniger Wochen.

Weitere Klassiker: gesperrte Verzeichnisse mit Bildern oder Skripten, sodass Google die Seite nicht mehr richtig darstellen kann. Widersprüche zwischen der Datei und den Angaben in der Sitemap. Und Sperren für Adressen, die längst weitergeleitet werden, sodass die Weiterleitung nie gelesen wird.

Prüfen und pflegen

Die Datei ist öffentlich, Sie können sie jederzeit im Browser aufrufen, indem Sie den Pfad hinter Ihre Domain hängen. Die Google Search Console zeigt zusätzlich, wann sie zuletzt gelesen wurde und ob es Fehler gab.

Sinnvoll ist ein Blick darauf nach jedem größeren Umbau und mindestens einmal im Jahr. Die Datei ist klein, wird selten angefasst und richtet im Fehlerfall überdurchschnittlich viel Schaden an. Bei uns gehört diese Prüfung zu jedem Projekt im Webdesign und zur laufenden Suchmaschinenoptimierung.