Robots.txt
Robots.txt steuert Crawler-Zugriffe, ist aber kein Sicherheitsmechanismus.
Einfach erklärt
Die robots.txt ist eine Datei im Root-Verzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen duerfen.
Auf einen Blick
- Kategorie
- Technisches SEO
- Thema
- Crawling und Indexierung
- Typ
- Technical_term
- Schwierigkeit
- Einsteiger
- Lesezeit
- 1 Min. Lesezeit
- Veröffentlicht
- 17. Mai 2026
- Aktualisiert
- 18. Mai 2026
Auf dieser Seite
Im Detail
Was ist eine Robots.txt?
Die robots.txt liegt typischerweise unter /robots.txt und nutzt Regeln wie User-agent, Disallow, Allow und Sitemap. Suchmaschinen lesen diese Datei, bevor sie eine Website crawlen.
Wichtig fuer SEO
Robots.txt ist eine Crawling-Anweisung, aber keine Zugriffskontrolle. Sie verhindert nicht automatisch, dass eine URL indexiert wird, wenn andere Seiten auf diese URL verlinken.
Typische Fehler
- CSS- oder JavaScript-Dateien versehentlich blockieren.
- Die gesamte Website mit
Disallow: /ausschliessen. - Die XML-Sitemap nicht referenzieren.
- Parameter- und Filterseiten unkontrolliert crawlbar lassen.
Warum es für SEO wichtig ist
Eine falsche robots.txt kann wichtige Seiten vom Crawling ausschliessen und dadurch Sichtbarkeit kosten.
Häufige Fragen
Was ist Robots.txt?
Die robots.txt ist eine Datei im Root-Verzeichnis einer Website, die Crawlern mitteilt, welche Bereiche sie abrufen duerfen.
Warum ist Robots.txt für SEO wichtig?
Eine falsche robots.txt kann wichtige Seiten vom Crawling ausschliessen und dadurch Sichtbarkeit kosten.