02 · Prüfstand
Kostenloser robots.txt-Checker für KI-Crawler
Prüfe, welche KI- und Such-Crawler die robots.txt zulässt oder blockiert, welche Regeln greifen und was die einzelnen Anweisungen steuern.
Eine öffentliche robots.txt prüfen
Gib eine Domain oder Seiten-URL ein. Der Checker normalisiert sie auf den öffentlichen Ursprung und ruft ausschließlich /robots.txt ab.
Kostenlos, kein Konto nötig. Es wird eine robots.txt abgerufen, kein Website-Crawl und kein LLM-Aufruf.
Wie das Ergebnis entsteht
Der Checker wertet robots.txt pro User-Agent aus und erklärt den dokumentierten Zweck, ohne alles zu einem KI-Zugriffsscore zu vermischen.
Gesamte Website im Site Audit prüfenDie robots.txt sieht aus wie eine Liste. Sie ist ein Auswahlverfahren.
Wer eine robots.txt öffnet, liest sie von oben nach unten wie eine Hausordnung. Ein Crawler tut etwas anderes: Er sucht zuerst den Block, der auf seinen Namen passt, und liest ausschließlich diesen. Alles darüber und darunter existiert für ihn nicht.
Diese eine Eigenschaft erzeugt den häufigsten Fehler im technischen SEO. Jemand legt einen Block für GPTBot an, um das Training zu unterbinden, und geht davon aus, dass die allgemeinen Regeln unter `User-agent: *` weiterhin gelten. Tun sie nicht. Das Verzeichnis, das eigentlich für alle gesperrt war, ist für GPTBot ab diesem Moment offen, nicht weil jemand es geöffnet hätte, sondern weil ein zweiter Block den ersten ersetzt hat.
Der zweite Klassiker betrifft die Reihenfolge. Google entscheidet nicht, welche Regel zuerst dasteht, sondern welche den längeren Pfad beschreibt. Ein `Allow: /blog/ratgeber/` weit unten in der Datei hebelt ein `Disallow: /blog/` ganz oben aus. Beide Regeln sind korrekt geschrieben, das Ergebnis ist trotzdem selten das beabsichtigte.
Deshalb prüft dieses Werkzeug nicht die Syntax, sondern das Resultat: Was darf dieser konkrete Bot mit diesem konkreten Pfad? Eine syntaktisch einwandfreie Datei kann das genaue Gegenteil dessen bewirken, was in ihr zu stehen scheint.
AI robots.txt Checker: Was geprüft wird
Eine robots.txt ist kein einzelnes Urteil über deine Website, sondern eine Sammlung von Regelblöcken, die pro Crawler ausgewertet werden. Der Checker liest die Datei so, wie ein Bot sie liest: Er sucht den Block, der auf seinen eigenen Namen passt, und wendet nur diesen an.
Genau hier entsteht der häufigste Irrtum. Viele erwarten, dass die Regeln unter `User-agent: *` zusätzlich für alle anderen Bots gelten. Das ist nicht der Fall: Findet ein Crawler einen Block mit seinem eigenen Namen, ignoriert er den Sternchen-Block vollständig. Eine gut gemeinte Allgemeinregel kann dadurch für genau die Bots wirkungslos sein, für die sie gedacht war.
Der Check wertet zusätzlich aus, welche Regel bei mehreren Treffern gewinnt. Google entscheidet nicht nach Reihenfolge, sondern nach Länge: Der längste passende Pfad setzt sich durch, und bei gleicher Länge gewinnt `Allow` gegen `Disallow`. Eine Regel weiter unten in der Datei kann also eine weiter oben aushebeln.
Die Begriffe, kurz erklärt
- User-agent
- Eröffnet einen Regelblock für einen bestimmten Crawler. Ein Bot verwendet ausschließlich den Block, der am genauesten auf seinen Namen passt, alle anderen Blöcke sind für ihn nicht vorhanden.
- Disallow
- Verbietet das Abrufen von Pfaden mit diesem Präfix. Ein leerer Wert bedeutet das Gegenteil: alles erlaubt.
- Allow
- Nimmt einen Pfad von einem übergeordneten Disallow aus. Nötig, wenn ein ganzes Verzeichnis gesperrt ist, einzelne Dateien darin aber erreichbar bleiben sollen.
- Spezifität
- Bei mehreren passenden Regeln gewinnt die mit dem längsten Pfadmuster, nicht die zuerst genannte. Bei gleicher Länge hat Allow Vorrang vor Disallow.
- Crawl-delay
- Eine Wartezeit zwischen Abrufen. Google ignoriert die Direktive vollständig, andere Crawler werten sie unterschiedlich aus, als Steuerungsinstrument ist sie unzuverlässig.
Befund lesen und handeln
Für Suche erlaubt
Der Such-Crawler dieses Anbieters findet keinen Block, der ihn aussperrt, und darf den geprüften Pfad abrufen.
Nichts.
Für andere KI-Systeme blockiert
Ein Trainings- oder Grounding-Crawler ist gesperrt, der Such-Crawler desselben Anbieters aber nicht. Das ist eine gültige, oft bewusst gewählte Trennung.
Nur prüfen, ob die Trennung beabsichtigt war und nicht aus einer kopierten Vorlage stammt.
Durch Sternchen-Block nicht erfasst
Es existiert ein eigener Block für diesen Bot, deshalb greifen die allgemeinen Regeln unter User-agent: * für ihn nicht.
Die beabsichtigte Regel im bot-eigenen Block wiederholen. Vererbung gibt es hier nicht.
Kein robots.txt gefunden
Der Server liefert keine oder eine fehlerhafte Datei aus. Ohne robots.txt gilt alles als erlaubt.
Nur handeln, wenn du bestimmte Bereiche tatsächlich sperren wolltest.
Drei Fehler, die wir immer wieder sehen
Auf Vererbung vom Sternchen-Block vertrauen
Sobald ein Crawler einen Block mit seinem Namen findet, gilt für ihn ausschließlich dieser Block. Regeln unter `User-agent: *` sind für ihn dann wirkungslos, jede beabsichtigte Einschränkung muss im bot-eigenen Block wiederholt werden.
Reihenfolge statt Länge annehmen
Eine Regel weiter oben gewinnt nicht automatisch. Google wertet das längste passende Pfadmuster aus. Ein `Allow: /blog/ratgeber/` weiter unten hebelt ein `Disallow: /blog/` weiter oben aus, oft ungewollt in beide Richtungen.
Sperren, um eine Seite aus dem Index zu bekommen
Eine per robots.txt gesperrte URL kann weiterhin im Index stehen, weil Google sie über Links kennt und den Inhalt nur nicht lesen darf. Für die Entfernung braucht es ein noindex, und dafür muss der Abruf erlaubt sein.
AI robots.txt Checker: Häufige Fragen
Gilt User-agent: * zusätzlich zu meinem bot-spezifischen Block?
Nein. Ein Crawler wählt genau einen Block aus, den, der am genauesten auf seinen Namen passt, und ignoriert alle anderen. Wenn du für GPTBot einen eigenen Block anlegst, gelten die Regeln unter * für GPTBot nicht mehr. Alles, was weiter gelten soll, muss dort wiederholt werden.
Reicht robots.txt, um eine Seite aus Google zu entfernen?
Nein, und das ist einer der teuersten Irrtümer im technischen SEO. Die robots.txt verhindert das Crawling, nicht die Indexierung. Google kann eine gesperrte URL weiterhin listen, wenn Links darauf zeigen, dann ohne Beschreibung. Für die Entfernung setzt du ein noindex und lässt den Abruf zu, damit Google es überhaupt sehen kann.
Wie blockiere ich KI-Training, ohne die Sichtbarkeit zu verlieren?
Sperre die Trainings-Crawler und lass die Such-Crawler zu. Bei OpenAI heißt das: GPTBot sperren, OAI-SearchBot erlauben. Bei Anthropic: ClaudeBot sperren, Claude-SearchBot erlauben. Bei Google steuert Google-Extended die KI-Nutzung, während Googlebot für die normale Suche zuständig bleibt.
Was passiert, wenn meine robots.txt einen Syntaxfehler hat?
Crawler überspringen Zeilen, die sie nicht verstehen, und werten den Rest aus. Das ist gefährlicher als ein harter Fehler: Eine falsch geschriebene Direktive fällt nicht auf, sie wirkt einfach nicht. Deshalb prüft dieser Check die tatsächliche Auswertung pro Bot, nicht nur die Syntax.
Gehört Crawl-delay in eine moderne robots.txt?
Für Google nicht, die Direktive wird ignoriert. Andere Crawler werten sie unterschiedlich aus. Wenn Serverlast das Problem ist, sind Rate-Limiting auf Server- oder CDN-Ebene und eine saubere Sitemap die verlässlicheren Mittel.
Primärquellen
Die Aussagen auf dieser Seite stammen aus der Dokumentation der Anbieter, nicht aus zweiter Hand. Jede Quelle ist verlinkt, damit du nachlesen kannst, was dort tatsächlich steht.
Weiter mit Contextter
Regeln ändern sich, ohne dass jemand sie ändert
Die meisten robots.txt-Probleme entstehen nicht beim Schreiben der Datei, sondern danach, bei einem Relaunch, einer CDN-Umstellung, einem Plugin-Update.
- Prüft die Zugriffsregeln bei jedem Lauf erneut und meldet, wenn sich das Ergebnis für einen Bot ändert.
- Zeigt die Auswirkung auf tatsächlich vorhandene URLs statt nur die Datei zu validieren.
- Ordnet Crawl-Sperren den betroffenen Seiten zu, damit du siehst, was der Fehler konkret kostet.
Kein Zahlungsmittel nötig. Der kostenlose Check oben bleibt ohne Konto nutzbar.
Passende kostenlose Tools
Wo es in Contextter weitergeht
Prüfe im Site Audit, ob robots.txt, CDN oder Anwendung wichtige Seiten in größerem Umfang blockieren.
Weiter in ContextterBereit, wenn du es bist.
Starte den Check im Formular oben. Ressourcenintensive Läufe erfordern eine kurze Browser-Verifizierung und nutzen strenge Limits.
Eingaben werden nur für den gewählten Check verwendet. Browserbasierte Tools laden eingefügte Texte oder Dateien nicht hoch.
Kein Zahlungsmittel nötig. Der kostenlose Check oben bleibt ohne Konto nutzbar.