Crawling

Kurz gesagt

Crawling ist der Prozess, bei dem Suchmaschinen-Bots wie Googlebot URLs entdecken und abrufen. Erst danach koennen Inhalte analysiert, gerendert, indexiert und spaeter fuer Suchanfragen bewertet werden.

Fuer SEO ist Crawling die erste technische Voraussetzung. Eine Seite kann noch so hilfreich sein: Wenn Suchmaschinen sie nicht finden, nicht abrufen oder nicht richtig verarbeiten koennen, wird sie in der Suche kaum Wirkung entfalten.

Gleichzeitig ist Crawling nur der Anfang. Eine gecrawlte Seite ist nicht automatisch indexiert. Eine indexierte Seite rankt nicht automatisch gut. Crawling bedeutet zuerst nur: Der Suchmaschine ist ein Abruf gelungen oder sie hat versucht, die URL zu erreichen.

Einfach erklaert

Stell dir das Web wie eine riesige Stadt ohne zentrales Register vor. Es gibt neue Strassen, geschlossene Tueren, Umleitungen, Sackgassen, Doppeltueren, private Raeume und Plaetze, die sich staendig veraendern. Ein Suchmaschinen-Crawler ist wie ein sehr fleissiger Stadtplaner. Er folgt Wegen, liest Hinweise, schaut auf Schilder und prueft, welche Tueren offen sind.

Diese Wege sind im Web vor allem Links und Sitemaps. Wenn Googlebot eine Seite abruft, findet er dort weitere Links. Diese koennen spaeter ebenfalls in die Crawl-Warteschlange kommen. Sitemaps geben zusaetzlich eine Liste von URLs, die der Website-Betreiber fuer wichtig haelt.

Das klingt simpel, hat aber viele Konsequenzen. Wenn wichtige Seiten kaum verlinkt sind, wirken sie fuer Crawler abgelegen. Wenn unendlich viele Filter-URLs intern verlinkt sind, wirkt die Website wie ein Labyrinth. Wenn robots.txt wichtige Bereiche blockiert, kann Googlebot sie nicht abrufen. Wenn der Server oft Fehler liefert, wird Crawling unzuverlaessig.

Gutes Crawling ist deshalb keine "Bot-Beschaeftigung". Es ist die Grundlage dafuer, dass gute Inhalte ueberhaupt eine faire Chance bekommen.

Crawling, Rendering, Indexing und Ranking

Crawling

Beim Crawling ruft ein Bot eine URL ab. Er prueft unter anderem, ob der Abruf erlaubt ist, ob der Server antwortet, welcher Statuscode zurueckkommt und welche Inhalte oder Ressourcen erreichbar sind.

Rendering

Rendering bedeutet, dass Google die Seite aehnlich wie ein Browser verarbeitet, besonders wenn JavaScript beteiligt ist. Googlebot kann JavaScript rendern, aber Crawling und Rendering sind nicht dasselbe. Eine URL kann gecrawlt sein und trotzdem noch auf Rendering warten.

Indexing

Beim Indexing analysiert Google die Inhalte, erkennt Signale, Duplikate, Canonicals, strukturierte Daten und Relevanzhinweise. Danach entscheidet Google, ob und wie Informationen in den Index aufgenommen werden.

Ranking

Beim Ranking wird fuer eine konkrete Suchanfrage entschieden, welche indexierten Ergebnisse am besten passen. Ranking ist also viel spaeter im Prozess.

Warum diese Trennung wichtig ist

Viele SEO-Fehler entstehen, weil diese Schritte vermischt werden. "Google hat gecrawlt" heisst nicht "Google hat indexiert". "Google hat indexiert" heisst nicht "Google findet die Seite hilfreich genug fuer Top-Positionen". Und "nicht indexiert" heisst nicht immer "nicht crawlbar".

Gute Diagnose fragt deshalb immer: Liegt das Problem beim Entdecken, beim Abrufen, beim Rendern, beim Indexieren oder beim Ranking?

Wie Suchmaschinen URLs entdecken

Interne Links

Interne Links sind der wichtigste Weg innerhalb einer Website. Googlebot entdeckt neue URLs vor allem ueber Links aus bereits gecrawlten Seiten. Deshalb ist interne Verlinkung nicht nur UX, sondern technische Auffindbarkeit.

Wichtige Seiten sollten nicht nur in einer XML-Sitemap stehen. Sie sollten auch logisch im Website-Aufbau erreichbar sein: ueber Navigation, Kategorien, Hub-Seiten, Breadcrumbs, verwandte Inhalte oder kontextuelle Links.

Externe Links

Externe Links koennen Crawler ebenfalls auf URLs fuehren. Das ist hilfreich, aber keine stabile Grundlage fuer Website-Architektur. Eine Website sollte ihre wichtigen Seiten selbst klar erschliessen, statt auf externe Zufallsfunde zu hoffen.

XML-Sitemaps

Sitemaps helfen Suchmaschinen, neue oder aktualisierte URLs zu entdecken. Sie sind besonders nuetzlich fuer grosse Websites, neue Websites, Websites mit wenigen externen Links, Medieninhalte, News-Bereiche oder komplexe Strukturen.

Eine Sitemap ist aber keine Garantie. Google kann URLs aus einer Sitemap crawlen, ignorieren, spaeter crawlen oder nicht indexieren. Die Sitemap ist ein Hinweis, kein Befehl.

Bereits bekannte URLs

Suchmaschinen besuchen bekannte URLs erneut. Wie oft das geschieht, haengt unter anderem davon ab, wie wichtig eine URL wirkt, wie oft sie sich aendert, wie sauber der Server antwortet und wie gross oder komplex die Website ist.

Was Crawling erleichtert

Crawlbare Links

Links sollten fuer Suchmaschinen als echte Links erkennbar sein. Wenn wichtige Inhalte nur ueber Formulare, komplexe JavaScript-Aktionen, nicht verlinkte Tabs oder interne Suchfunktionen erreichbar sind, wird Discovery schwieriger.

Ein guter interner Link sagt nicht nur "hier klicken". Er gibt Kontext. Menschen und Suchmaschinen verstehen besser, wohin ein Link fuehrt, wenn Anchor Text und Umgebung sinnvoll sind.

Saubere Statuscodes

Statuscodes sind fuer Crawler klare Signale. Ein 200-Status sagt: Inhalt ist erreichbar. 301 und 308 signalisieren dauerhafte Weiterleitung. 302 und 307 sind temporaere Weiterleitungen. 404 und 410 sagen, dass Inhalt nicht vorhanden ist. 5xx-Fehler zeigen Serverprobleme.

Einzelne 404s sind normal. Kritisch wird es, wenn wichtige Seiten falsche Statuscodes liefern, Weiterleitungsketten entstehen oder Serverfehler regelmaessig auftreten.

Stabile Server

Google versucht, Websites nicht zu ueberlasten. Wenn ein Server langsam, instabil oder haeufig fehlerhaft antwortet, kann Crawling vorsichtiger werden. Fuer grosse Websites ist Servergesundheit deshalb ein SEO-Thema.

Sinnvolle URL-Struktur

Klare URLs helfen Crawlern, Muster zu verstehen. Endlose Parameter, Sortierungen, Session-IDs, Kalender-Archive, Filterkombinationen und interne Suchseiten koennen Crawling stark aufblasen.

Es geht nicht darum, jede URL kurz oder "schoen" zu machen. Es geht darum, dass wichtige URLs stabil, eindeutig und intern verstaendlich sind.

Aktuelle Sitemaps

Eine gute Sitemap enthaelt kanonische, indexierbare, wichtige URLs. Sie sollte keine massenhaften Weiterleitungen, 404s, noindex-Seiten, Duplikate oder unwichtige Parameter-Varianten enthalten.

Lesbares Rendering

Google kann JavaScript verarbeiten, aber wichtige Inhalte sollten nicht unnoetig spaet, versteckt oder nur nach Nutzerinteraktion erscheinen. Besonders kritisch sind Hauptcontent, interne Links, Canonicals, Meta Robots, strukturierte Daten und hreflang-Signale.

Was Crawling blockiert oder verschwendet

robots.txt

robots.txt steuert, welche Pfade Crawler abrufen duerfen. Sie ist gut, um Crawl-Traffic zu managen oder unwichtige Bereiche vom Abruf auszuschliessen.

Sie ist aber kein Sicherheitswerkzeug. Wenn eine vertrauliche Seite nicht oeffentlich sein soll, braucht sie Zugriffsschutz. Und robots.txt ist auch kein sauberer noindex-Ersatz. Eine per robots.txt blockierte URL kann unter bestimmten Umstaenden trotzdem als URL in Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken, nur ohne brauchbares Snippet.

noindex hinter robots.txt

Ein haeufiger Fehler: Eine Seite wird in robots.txt blockiert und bekommt gleichzeitig ein noindex. Das wirkt logisch, kann aber scheitern. Wenn Googlebot die Seite wegen robots.txt nicht abrufen darf, kann er das noindex nicht sehen.

Wenn eine Seite aus dem Index heraus soll, muss Google den noindex-Hinweis crawlen koennen. Wenn eine Seite geheim ist, ist noindex nicht genug; dann braucht sie Zugriffsschutz.

Duplikate und Canonicals

Duplikate koennen Crawl-Zeit verschwenden. Canonicals helfen Google, aehnliche oder doppelte URLs zusammenzufuehren. Aber Canonicals sind kein Ersatz fuer eine klare URL-Architektur.

Wenn Millionen unwichtiger Filtervarianten intern verlinkt sind, ist ein Canonical auf jeder Variante besser als nichts, aber nicht die ganze Loesung. Besser ist, Discovery, interne Links, Sitemaps, Parameterlogik und Canonicals gemeinsam zu steuern.

Weiterleitungsketten

Weiterleitungen sind normal, besonders nach Relaunches. Aber lange Ketten und Schleifen verschwenden Crawling und verlangsamen Diagnose. Wichtige interne Links sollten moeglichst direkt auf die finale kanonische URL zeigen.

Crawl-Budget ohne Panik

Crawl-Budget beschreibt vereinfacht, wie viel Crawling eine Suchmaschine einer Website widmet. Das Thema ist real, aber nicht fuer jede Website gleich wichtig.

Fuer kleine und mittlere Websites ist Crawl-Budget oft kein Engpass. Wenn neue oder geaenderte Seiten zeitnah gecrawlt werden, sind aktuelle Sitemaps, saubere interne Links und regelmaessige Indexierungspruefung meist wichtiger als komplizierte Budget-Debatten.

Wichtig wird Crawl-Budget vor allem bei sehr grossen Websites, grossen Shops, News-Portalen, Marktplatzen, Websites mit vielen automatisch erzeugten URLs oder Seiten, die sich sehr haeufig aendern.

Typische Crawl-Budget-Probleme sind:

• Viele Filter- und Parameter-URLs ohne echten Mehrwert.
• Sitemaps mit unwichtigen oder nicht indexierbaren URLs.
• Interne Links auf Weiterleitungen, 404s oder alte Varianten.
• Serverfehler und langsame Antwortzeiten.
• Duplikate, die staendig neu entdeckt werden.
• Kalender, Sortierungen oder Suchseiten mit unendlichen URL-Raeumen.

Die Loesung ist selten "Google soll mehr crawlen". Die bessere Loesung ist: Die Website macht klarer, welche URLs wirklich wichtig sind.

Wie du Crawling pruefst

Google Search Console

Search Console zeigt Page Indexing, Sitemaps, URL Inspection und Hinweise zu Crawling-Problemen. Damit siehst du, ob Google eine URL kennt, ob Crawling erlaubt ist, welcher Indexierungsstatus gemeldet wird und ob Sitemaps sauber gelesen werden.

URL Inspection

URL Inspection ist fuer einzelne wichtige Seiten ideal. Du kannst pruefen, ob Google die URL kennt, was zur indexierten Version gemeldet wird und ob ein Live-Abruf moeglich erscheint.

Server-Logs

Server-Logs zeigen, was Bots wirklich angefragt haben. Fuer grosse Websites sind Logs oft der Unterschied zwischen Vermutung und Beleg. Sie zeigen, ob Googlebot wichtige Seiten besucht, ob er sich in Parameterraeumen verliert und welche Statuscodes er tatsaechlich bekommt.

Eigene Site-Crawls

SEO-Crawler simulieren die interne Erreichbarkeit einer Website. Sie finden kaputte Links, Weiterleitungsketten, tiefe Klickpfade, fehlende Canonicals, noindex-Seiten in Sitemaps und Duplikatmuster.

Solche Tools zeigen nicht exakt, was Google tut. Sie zeigen, was deine Website Crawlern anbietet.

Praktisches Beispiel

Ein Online-Shop hat 40.000 Produktseiten, aber durch Filter, Sortierungen und Parameter entstehen Millionen erreichbare URLs. Googlebot findet staendig neue Varianten, waehrend wichtige Kategorien und Bestseller nicht so regelmaessig gecrawlt werden, wie das Team erwartet.

Das Team prueft die Lage ruhig:

• Welche URL-Typen stehen in der Sitemap?
• Welche Varianten sind intern verlinkt?
• Welche Parameter werden durch Navigation erzeugt?
• Welche Seiten liefern 200, 3xx, 4xx oder 5xx?
• Welche URLs bekommen Googlebot-Traffic in den Logs?
• Welche Seiten sind wichtig fuer Nutzer, Umsatz und SEO?

Danach werden Sitemaps bereinigt, interne Links auf kanonische Seiten ausgerichtet, unwichtige Filterpfade reduziert, Weiterleitungsketten entfernt und wichtige Kategorien besser verlinkt.

Das Ziel ist nicht mehr Crawling um jeden Preis. Das Ziel ist klareres Crawling: Suchmaschinen sollen schneller zu den Seiten gelangen, die fuer Nutzer und Geschaeft zaehlen.

Typische Fehler

• Crawling, Indexierung und Ranking vermischen.
• robots.txt als Schutz fuer private Inhalte verwenden.
• noindex auf Seiten setzen, die per robots.txt blockiert sind.
• Wichtige Seiten nur ueber Formulare, Suchfunktionen oder nicht crawlbare Klicks erreichbar machen.
• Sitemaps mit Weiterleitungen, noindex, 404s oder Duplikaten fuellen.
• Endlose Filter- und Parameter-URLs intern verlinken.
• JavaScript so bauen, dass wichtige Inhalte und Links spaet oder gar nicht sichtbar werden.
• Serverfehler und Timeouts als rein technische Nebensache behandeln.
• Canonicals als Ersatz fuer saubere Architektur missverstehen.
• Crawl-Budget bei kleinen Websites dramatisieren und echte Probleme uebersehen.

Mini-Workflow

1. Definiere die URL-Gruppen, die fuer Nutzer und SEO wirklich wichtig sind. 2. Pruefe, ob diese URLs intern klar verlinkt sind. 3. Kontrolliere Statuscodes, Weiterleitungen und Blockierungen. 4. Vergleiche Sitemaps mit den tatsaechlich wichtigen kanonischen URLs. 5. Pruefe robots.txt und noindex getrennt. 6. Nutze URL Inspection fuer einzelne Prioritaetsseiten. 7. Nutze Site-Crawler fuer interne Erreichbarkeit und technische Muster. 8. Nutze Server-Logs, wenn die Website gross oder Crawl-Budget-relevant ist. 9. Entferne Crawl-Ablenkungen, statt nur mehr URLs einzureichen. 10. Beobachte Crawling, Indexierung und Performance getrennt.

Contextter-Perspektive

Fuer Contextter ist Crawling der technische Realitaetscheck fuer Content-Strategie. Ein Content-Cluster kann inhaltlich stark sein und trotzdem schwach performen, wenn zentrale Seiten zu tief liegen, Duplikate Crawl-Aufmerksamkeit binden oder wichtige Hub-Seiten nicht sauber erreichbar sind.

Gute Content-Arbeit fragt deshalb nicht nur: "Ist der Text gut?" Sondern auch: "Findet Google die Seite? Ist sie intern sinnvoll verbunden? Steht sie als kanonische, indexierbare URL in der richtigen Struktur? Werden unwichtige Varianten vom eigentlichen Cluster ferngehalten?"

So wird Crawling zu einem Teil der redaktionellen Qualitaet, nicht nur zu einem technischen Randthema.

Verwandte Begriffe

Diese Begriffe passen als naechste Leseschritte:

• indexing
• crawl-budget
• robots-txt
• xml-sitemap
• internal-linking
• canonical-url

Quellen fuer den Review

• Google Search Central: How Google Search works
• Google Search Central: Crawling and indexing overview
• Google Search Central: What is Googlebot
• Google Search Central: Introduction to robots.txt
• Google Search Central: Block indexing with noindex
• Google Search Central: Sitemaps overview
• Google Search Central: Link best practices
• Google Search Central: JavaScript SEO basics
• Google Crawling Infrastructure: Crawl budget management
• Google Search Central: Troubleshoot crawling errors