01 · Prüfstand
Kostenloser AI-Crawler-Checker
Prüfe, ob Such- und KI-Crawler eine öffentliche Seite abrufen, indexieren und sinnvoll extrahieren können.
Eine öffentliche Seite prüfen
Gib die genaue Seiten-URL ein. Der Checker ruft begrenztes HTML und die robots.txt des finalen Ursprungs ab, ohne JavaScript auszuführen.
Die URL wird nur für diesen Check verwendet. Es kommen kein LLM, bezahlter Crawler, Proxy-Bypass, Kontodaten oder authentifizierte Inhalte zum Einsatz.
Wie das Ergebnis entsteht
Ein begrenzter HTML- und robots.txt-Abruf wird mit deterministischen Regeln ausgewertet. Das Tool erfindet keine Citation-Wahrscheinlichkeit.
Die gesamte Website im Site Audit prüfenFast niemand sperrt KI-Systeme absichtlich aus
Nur wenige Unternehmen entscheiden bewusst, dass OpenAI ihre Seiten nicht für die ChatGPT-Suche crawlen soll. Trotzdem passiert genau das versehentlich: durch eine robots.txt aus einem alten Blogartikel, eine Bot-Schutzregel im CDN oder eine Staging-Konfiguration, die in Produktion landet. Das kann einschränken, wie Inhalte in der ChatGPT-Suche gefunden und verwendet werden, ohne dass jemand diese Entscheidung bewusst getroffen hat.
Das passiert leicht, weil Anbieter mehrere Crawler mit unterschiedlichen Aufgaben und ähnlich klingenden Namen betreiben. GPTBot crawlt für das Modelltraining. OAI-SearchBot crawlt öffentliche Seiten für die ChatGPT-Suche. ChatGPT-User ruft eine Seite ab, weil ein Mensch sie angefordert hat. Wer alle drei pauschal als „die KI-Bots“ sperrt, trifft drei getrennte Entscheidungen auf einmal, meist ohne es zu merken.
Das ist auch der Grund, warum ein Zugangs-Check nicht mit „erlaubt“ oder „gesperrt“ antworten kann. Die nützliche Antwort ist eine Aufschlüsselung: Wer darf was, und war das so gemeint? Alles darunter erzeugt genau die Verwechslung, die das Problem überhaupt erst verursacht hat.
AI Crawler Checker: Was geprüft wird
Ein KI-System kann deine Seite nur verwenden, wenn es sie erreicht, lesen und einordnen kann. Der Checker geht diese drei Stufen getrennt durch: Kommt ein Abruf überhaupt bis zum HTML? Erlaubt die Seite selbst die Indexierung? Und bleibt nach dem Entfernen von Navigation, Bannern und Skripten genug zusammenhängender Text übrig, aus dem sich eine Aussage zitieren lässt?
Die wichtigste Unterscheidung dabei ist die zwischen den Crawler-Rollen. OpenAI, Google und Anthropic betreiben jeweils mehrere Bots mit unterschiedlichem Zweck: einen für Trainingsdaten, einen für den Suchindex und einen für den Live-Abruf, wenn jemand im Chat einen Link anfragt. Diese drei zu blockieren hat drei völlig verschiedene Konsequenzen, und wer sie in einer Regel zusammenwirft, sperrt sich meistens aus etwas aus, das er behalten wollte.
Der Check ist bewusst eng: ein begrenzter HTML-Abruf und die robots.txt des finalen Ziels, ohne JavaScript auszuführen. Er sagt dir, ob der Zugang offen ist. Er sagt dir nicht, ob dein Inhalt gut genug ist, um zitiert zu werden, das entscheidet niemand über eine Abrufprüfung.
Die Begriffe, kurz erklärt
- GPTBot
- OpenAIs Crawler für Trainingsdaten. Blockieren verhindert, dass deine Inhalte in künftiges Modelltraining einfließen. Es entfernt dich nicht aus der ChatGPT-Suche, dafür ist ein anderer Bot zuständig.
- OAI-SearchBot
- Crawlt öffentliche Seiten für die ChatGPT-Suche. Wenn du ihn blockierst, kann OpenAI die Seite nicht für Zusammenfassungen und Snippets crawlen. Ein Link mit Seitentitel kann trotzdem erscheinen, wenn die URL auf anderem Weg bekannt wird. Zugriff ist eine Voraussetzung, keine Zitatgarantie.
- ChatGPT-User
- Der Live-Abruf: Ein Nutzer nennt im Chat eine URL oder das Modell folgt einem Link. Kein Training, kein Index, ein einzelner Abruf im Auftrag einer konkreten Person.
- Google-Extended
- Steuert, ob deine Inhalte für Gemini und die KI-Antworten von Google verwendet werden. Es hat keinen Einfluss auf dein Ranking in der normalen Google-Suche. Googlebot ist davon unberührt.
- ClaudeBot / Claude-SearchBot / Claude-User
- Anthropics Aufteilung nach demselben Muster: Training, Suchindex, Live-Abruf. Auch hier trifft eine pauschale Sperre alle drei Zwecke gleichzeitig.
Befund lesen und handeln
200 OK · indexierbar
Die Seite antwortet, und weder ein Meta-Robots-Tag noch ein X-Robots-Header verbietet die Indexierung.
Nichts. Der Zugang ist offen, weiter zur inhaltlichen Prüfung.
Für Suche erlaubt
Der Such-Crawler des jeweiligen Anbieters darf die Seite abrufen. Sie kann in dessen Antworten als Quelle auftauchen.
Nichts. Prüfe nur, ob das für alle relevanten Anbieter gilt und nicht nur für einen.
Für Training blockiert
Eine bewusste Entscheidung, wenn sie bewusst getroffen wurde. Deine Inhalte fließen nicht ins Modelltraining, bleiben aber in der Suche sichtbar.
Nur handeln, wenn die Sperre unbeabsichtigt ist, etwa aus einer kopierten robots.txt stammt.
Für Suche blockiert
Der Such-Crawler kommt nicht durch. Die Seite kann in diesem KI-System nicht als Quelle erscheinen, egal wie gut sie ist.
Prüfe die robots.txt auf einen zu breiten Disallow-Block und trenne Training von Suche.
Kein extrahierbarer Text
Nach dem Entfernen von Navigation und Boilerplate bleibt zu wenig zusammenhängender Fließtext übrig. Häufig bei rein clientseitig gerendertem Inhalt.
Server-seitiges Rendering oder statisches HTML für die inhaltstragenden Abschnitte prüfen.
Drei Fehler, die wir immer wieder sehen
Alle KI-Bots in einer Regel sperren
Ein `Disallow: /` unter einem gesammelten User-agent-Block trifft Training, Suchindex und Live-Abruf gleichzeitig. Wer nur das Training verhindern wollte, verliert damit auch die Sichtbarkeit als Quelle.
robots.txt mit noindex verwechseln
Die robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte URL kann trotzdem im Index landen, nur ohne dass der Inhalt gelesen wurde. Wer eine Seite draußen haben will, braucht ein noindex und muss den Abruf erlauben.
Nur die Startseite prüfen
Zugriffsregeln unterscheiden sich oft nach Pfad. Eine offene Startseite sagt nichts darüber aus, ob der Ratgeber-Bereich, die Produktseiten oder das Blog erreichbar sind.
AI Crawler Checker: Häufige Fragen
Schadet es meinem Google-Ranking, wenn ich GPTBot blockiere?
Nein. GPTBot ist ein Crawler von OpenAI und hat mit Googlebot nichts zu tun. Dein Ranking in der Google-Suche bleibt davon unberührt. Ebenso beeinflusst Google-Extended nur die KI-Nutzung deiner Inhalte, nicht das klassische Ranking.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot crawlt Inhalte für das Modelltraining. OAI-SearchBot crawlt öffentliche Seiten, damit sie für die ChatGPT-Suche berücksichtigt werden können. Du kannst GPTBot sperren und OAI-SearchBot erlauben, um Training und Such-Crawling getrennt zu steuern. Dieser Zugriff garantiert kein Zitat.
Warum sieht ChatGPT meine Seite nicht, obwohl robots.txt sie erlaubt?
Häufigste Ursachen: Der Inhalt wird erst per JavaScript nachgeladen und steht nicht im ausgelieferten HTML; ein Meta-Robots-Tag oder X-Robots-Header verbietet die Indexierung; oder die Seite ist zwar erreichbar, wird aber für die konkrete Frage nicht als relevanteste Quelle ausgewählt. Zugang ist die Voraussetzung, nicht die Garantie.
Muss ich KI-Crawler überhaupt zulassen?
Das ist eine geschäftliche Entscheidung, keine technische. Wer Reichweite über KI-Antworten sucht, lässt zumindest die Such-Crawler zu. Wer Inhalte als Werk schützen will, sperrt die Trainings-Crawler. Beides gleichzeitig ist möglich, genau dafür gibt es getrennte User-Agents.
Wie oft sollte ich das prüfen?
Nach jedem Deployment, das robots.txt, CDN-Regeln, WAF-Einstellungen oder das Rendering betrifft. In der Praxis entstehen die meisten unbeabsichtigten Sperren nicht durch eine Entscheidung, sondern durch eine übernommene Konfiguration oder eine Bot-Schutz-Regel.
Primärquellen
Die Aussagen auf dieser Seite stammen aus der Dokumentation der Anbieter, nicht aus zweiter Hand. Jede Quelle ist verlinkt, damit du nachlesen kannst, was dort tatsächlich steht.
Weiter mit Contextter
Eine URL prüfen ist Diagnose. Eine Domain prüfen ist Kontrolle.
Dieser Check sagt dir, ob eine bestimmte Seite erreichbar ist. Die Frage, die danach kommt, ist meistens: Gilt das auch für die anderen zweitausend? Und wusste ich es, als es sich änderte?
- Crawlt die gesamte Domain statt einer einzelnen URL und zeigt, wo sich Zugriffsregeln nach Pfad unterscheiden.
- Vergleicht jeden Lauf mit dem vorherigen, eine neue Sperre fällt auf, statt monatelang unbemerkt zu bleiben.
- Verbindet den technischen Befund mit den Seiten, die tatsächlich Traffic tragen, statt alle Fehler gleich zu gewichten.
Kein Zahlungsmittel nötig. Der kostenlose Check oben bleibt ohne Konto nutzbar.
Passende kostenlose Tools
Wo es in Contextter weitergeht
Der kostenlose Checker untersucht eine öffentliche URL. Starte einen vollständigen Site Audit, um dieselben Blocker auf der gesamten Website zu prüfen.
Weiter in ContextterBereit, wenn du es bist.
Starte den Check im Formular oben. Ressourcenintensive Läufe erfordern eine kurze Browser-Verifizierung und nutzen strenge Limits.
Eingaben werden nur für den gewählten Check verwendet. Browserbasierte Tools laden eingefügte Texte oder Dateien nicht hoch.
Kein Zahlungsmittel nötig. Der kostenlose Check oben bleibt ohne Konto nutzbar.