Crawl Budget

Kurz gesagt

Crawl Budget beschreibt, wie viel Zeit und Ressourcen Googlebot fuer das Crawling einer Website aufwendet. Es wird vor allem bei sehr grossen, haeufig aktualisierten oder technisch verrauschten Websites wichtig.

Einfach erklaert

Google kann nicht jede URL im Web staendig neu besuchen. Deshalb muss Googlebot priorisieren: Welche Seiten sind wichtig, welche haben sich geaendert, welche lassen sich schnell abrufen, und welche URL-Muster verschwenden Zeit?

Fuer kleine Websites ist Crawl Budget meistens kein echtes Problem. Wenn neue Seiten am selben Tag oder zeitnah gecrawlt werden und die Website nur wenige hundert oder ein paar tausend saubere URLs hat, reicht oft eine aktuelle Sitemap und solide technische Hygiene.

Bei grossen Shops, Marktplaetzen, Publishern, SaaS-Dokumentationen oder Websites mit vielen Filtern kann es anders aussehen. Dann kann Googlebot viel Zeit mit Parameter-URLs, Duplikaten, Fehlerseiten, alten Redirects oder langsam ladenden Ressourcen verbringen, waehrend wichtige neue Seiten spaeter entdeckt werden.

Crawl Capacity und Crawl Demand

Crawl Capacity

Crawl Capacity beschreibt, wie viel Crawling eine Website technisch verkraftet. Wenn der Server schnell und stabil antwortet, kann Googlebot mehr abrufen. Wenn viele 5xx-Fehler, Timeouts oder sehr langsame Antworten auftreten, wird Crawling vorsichtiger.

Crawl Demand

Crawl Demand beschreibt, wie gross Googles Interesse an bestimmten URLs ist. Beliebte, wichtige oder haeufig aktualisierte Seiten werden eher erneut gecrawlt als alte, schwache oder kaum verlinkte Seiten.

Crawl Budget als Zusammenspiel

Crawl Budget ist also kein fester Kontostand. Es entsteht aus Kapazitaet und Nachfrage. Eine Website kann technisch stark sein, aber wenig Nachfrage erzeugen. Oder sie kann viel Nachfrage haben, aber Googlebot durch schlechte Performance bremsen.

Wann Crawl Budget wirklich wichtig wird

Crawl Budget ist vor allem relevant, wenn die Website viele URLs hat oder sich Inhalte sehr haeufig aendern. Beispiele: grosse E-Commerce-Shops, Kleinanzeigenportale, Reiseplattformen, News-Websites, Dokumentationsportale oder internationale Websites mit vielen Sprach- und Filtervarianten.

Typische Warnzeichen sind: wichtige neue Seiten werden spaet gecrawlt, Crawl Stats zeigen viele Anfragen auf unwichtige URL-Muster, Serverfehler steigen, Parameter-URLs dominieren, oder die Sitemap enthaelt viele URLs, die nicht indexierbar sind.

Wenn eine Website klein ist und Google neue Inhalte schnell findet, sollte man Crawl Budget nicht dramatisieren. Dann sind Content-Qualitaet, interne Links, Indexierbarkeit und Seitentempo meistens wichtiger.

Was Crawl Budget verschwendet

Duplicate Content

Wenn viele URLs denselben Inhalt zeigen, muss Googlebot Varianten pruefen, vergleichen und canonicalisieren. Das kann bei grossen Websites Crawling verlangsamen.

Facettierte Navigation

Filter fuer Farbe, Groesse, Preis, Bewertung, Standort oder Marke koennen unendlich viele URL-Kombinationen erzeugen. Nutzer lieben Filter, Googlebot braucht klare Grenzen.

Fehlerseiten und Soft 404

404, 5xx, leere Suchergebnisse und Seiten, die wie Fehlerseiten aussehen, aber 200 liefern, verbrauchen Crawling und liefern wenig Wert.

Redirect-Ketten

Ein Redirect ist normal. Lange Ketten sind unnoetig. Sie verlangsamen Crawling und machen Signale unsauber.

Langsame Serverantworten

Wenn der Server langsam reagiert oder instabil ist, kann Googlebot weniger effizient crawlen. Crawl Budget ist deshalb auch ein Performance-Thema.

Unwichtige, indexierbare Seiten

Interne Suchseiten, Tag-Archive, Sortierungen, Tracking-Parameter und alte Kampagnenseiten koennen Crawling aufblaehen, wenn sie intern verlinkt und indexierbar sind.

Wie man Crawl Budget verbessert

Sitemaps sauber halten

Sitemaps sollten nur wichtige, kanonische und indexierbare URLs enthalten. Wenn eine Sitemap alte Redirects, noindex-Seiten oder Parameter-URLs enthaelt, sendet sie schlechte Prioritaetssignale.

Interne Links priorisieren

Googlebot folgt Links. Wichtige Seiten sollten intern erreichbar sein, nicht nur in einer Sitemap stehen. Je klarer die interne Struktur, desto leichter wird Priorisierung.

Duplikate konsolidieren

Canonical Tags, Redirects und konsistente interne Links helfen, unwichtige Varianten zu reduzieren. Bei grossen Mustern ist Konsolidierung oft wirkungsvoller als einzelne URL-Fixes.

Crawl-Fallen begrenzen

Filter, Kalender, interne Suche und sortierbare Tabellen brauchen klare Regeln. Manche Kombinationen sollten nicht indexierbar sein, andere vielleicht gar nicht crawlbar, wenn sie keinen Suchwert haben.

Server und Rendering stabil halten

Schnelle Antworten, wenige 5xx-Fehler, saubere HTML-Ausgabe und stabile Ressourcen helfen Googlebot. Wenn Rendering kompliziert ist, sollte der wichtigste Inhalt trotzdem verlaesslich erreichbar sein.

Robots.txt, Noindex und Canonical

Robots.txt kann Crawling verhindern, aber nicht immer Indexierung bereinigen. Wenn Google eine URL nicht crawlen darf, kann Google auch keinen Canonical auf der Seite sehen. Noindex erfordert, dass Google die Seite crawlen kann. Canonical braucht ebenfalls Crawling.

Deshalb ist die Wahl wichtig: Robots.txt fuer echte Crawl-Fallen, Noindex fuer Seiten, die erreichbar aber nicht indexiert werden sollen, Canonical fuer aehnliche Varianten mit bevorzugter Hauptseite und Redirect fuer ersetzte URLs.

Crawl Stats in Search Console

Der Crawl Stats Report zeigt, wie Googlebot eine Website crawlt: Anzahl der Anfragen, Antwortcodes, Dateitypen, Downloadgroesse, durchschnittliche Antwortzeit und Host-Probleme. Er ist besonders hilfreich, wenn technische Aenderungen oder Serverprobleme Crawling beeinflussen.

Wichtig ist, nicht nur auf Gesamtzahlen zu schauen. Mehr Crawling ist nicht automatisch besser. Gute Diagnose fragt: Crawlt Google die richtigen Bereiche? Gehen viele Requests in Fehler, Parameter oder alte URLs? Wird der Server langsamer? Aendert sich Crawling nach einem Relaunch?

Praxisbeispiel

Ein Shop hat 80.000 Produkt- und Kategorieseiten. Durch Filter entstehen aber mehr als zwei Millionen URL-Varianten. Die Sitemap enthaelt auch alte Sortierparameter, einige Kategorien leiten ueber zwei Redirects weiter, und Crawl Stats zeigen viele Anfragen auf URLs ohne Suchwert.

Das Team priorisiert: Sitemap bereinigen, interne Links auf kanonische Kategorien setzen, Filterregeln definieren, Redirect-Ketten entfernen, 5xx-Fehler beheben und wichtige Produktseiten besser intern verlinken.

Nach einigen Wochen zeigen Crawl Stats weniger Requests auf unwichtige Muster, weniger Fehler und schnellere Reaktionen. Wichtige neue Produktseiten werden frueher gecrawlt.

Messung

Miss Crawl-Budget-Arbeit nicht nur an mehr Crawl Requests. Gute Signale sind: weniger Crawling auf unwichtige Muster, weniger 5xx/404, niedrigere Antwortzeiten, saubere Sitemap-Abdeckung, schnellere Entdeckung wichtiger Seiten und stabilere Indexierung.

Setze vorher eine Ausgangslage. Sonst ist schwer zu erkennen, ob eine Verbesserung vom Fix kommt oder nur von normalem Crawling-Verhalten.

Priorisierung nach Seitentyp

Ein guter Crawl-Budget-Audit beginnt nicht mit der Frage: "Was koennen wir blockieren?" Besser ist: "Welche Seiten sollen Google am schnellsten verstehen?" Fuer einen Shop sind das meist Kategorien, wichtige Produktseiten, Ratgeber und starke Marken- oder Themen-Hubs. Fuer ein Magazin sind es aktuelle Artikel, Evergreen-Guides und relevante Archivseiten. Fuer SaaS-Websites sind es Produktseiten, Dokumentation, Integrationsseiten und Loesungsseiten.

Danach schaut man auf die Gegenseite: Welche URL-Muster brauchen Nutzer vielleicht kurzfristig, haben aber kaum Suchwert? Dazu gehoeren Sortierungen, interne Suchergebnisse, Session-Parameter, Kalenderkombinationen, sehr duenne Tag-Seiten oder Filtervarianten ohne Nachfrage. Diese Muster sollten nicht einfach blind geloescht werden. Man entscheidet pro Muster, ob Canonical, Noindex, robots.txt, interne Linkbereinigung oder ein Redirect die sauberste Loesung ist.

Eine hilfreiche Faustregel: Wenn eine URL keine eigenstaendige Suchintention bedient, keinen einzigartigen Inhalt hat und nicht strategisch intern verlinkt werden sollte, verdient sie wahrscheinlich keine starke Crawl-Prioritaet.

Haeufige Fehler

• Crawl Budget auf kleinen Websites ueberbewerten.
• Mehr Crawling automatisch als Erfolg sehen.
• Parameter- und Filter-URLs unkontrolliert crawlbar lassen.
• Noindex, Robots.txt und Canonical verwechseln.
• Sitemaps mit nicht-kanonischen URLs fuellen.
• Redirect-Ketten und 5xx-Fehler ignorieren.
• Crawl Stats ohne Segmentierung interpretieren.
• Content-Qualitaet vernachlaessigen und nur technische Sperren setzen.

Mini-Workflow

1. Klaere, ob Crawl Budget fuer die Website ueberhaupt relevant ist. 2. Pruefe Crawl Stats, Sitemaps, Logfiles und Indexierungsberichte. 3. Identifiziere URL-Muster mit wenig Suchwert. 4. Bereinige Sitemaps und interne Links. 5. Konsolidiere Duplikate und entferne Redirect-Ketten. 6. Stabilisiere Serverantworten und behebe Fehlercodes. 7. Miss nach mehreren Wochen, ob wichtige Seiten schneller und sauberer gecrawlt werden.

Contextter-Perspektive

Contextter kann Crawl Budget in die Priorisierung uebersetzen. Nicht jede URL verdient dieselbe Aufmerksamkeit. Seiten mit hohem Nutzerwert, starken Suchintentionen und guter Qualitaet sollten leichter auffindbar sein als alte, duenne oder technische Varianten.

So wird Crawl Budget nicht zur technischen Angstdebatte, sondern zu einer Frage: Findet Google die Seiten, die wirklich wichtig sind?

Verwandte Begriffe

• crawling
• indexing
• xml-sitemap
• robots-txt
• duplicate-content
• page-speed

Quellen und weiterfuehrende Ressourcen

• Google Search Central: Optimize your crawl budget
• Google Search Central: Managing crawling of faceted navigation URLs
• Search Console Help: Crawl Stats report
• Google Search Central Blog: Crawl Stats report
• Google Search Central: Sitemaps
• Google Search Central: Robots.txt introduction
• Google Search Central: Redirects and Google Search