Robots.txt

Definition Rapide

robots.txt est un fichier texte public place a la racine d'un site. Il indique aux crawlers de moteurs de recherche quels chemins ils peuvent recuperer et quels chemins ils ne devraient pas recuperer. Son objectif principal est le controle du crawl.

La phrase SEO la plus importante est celle-ci : robots.txt controle le crawling, mais pas l'indexation de facon sure et pas la protection d'acces. Si une page ne doit pas etre accessible publiquement, il faut mot de passe, login ou regles serveur. Si une page ne doit pas etre dans l'index, il faut souvent noindex, et Google doit pouvoir crawler la page pour le voir.

robots.txt est donc utile, mais dangereux quand il est utilise pour la mauvaise tache.

Explication Simple

Imagine robots.txt comme un panneau a l'entree d'un batiment. Le panneau dit aux crawlers : "ne prenez pas ce couloir" ou "la carte est ici". Les crawlers serieux comme Googlebot lisent ce panneau avant de recuperer des URL.

Mais un panneau n'est pas une serrure. Tout le monde peut ouvrir le fichier dans un navigateur. Les bots qui ignorent les regles peuvent les ignorer. Et si d'autres sites lient une URL bloquee, Google peut quand meme connaitre cette URL. Dans certains cas, Google peut afficher l'URL meme sans avoir crawle son contenu.

robots.txt est bon pour des questions comme :

• Quels motifs d'URL les crawlers ne doivent-ils pas recuperer ?
• Quelles zones gaspillent l'attention de crawl ?
• Ou Google peut-il trouver le sitemap ?
• Quelles ressources peuvent etre recuperees pour analyser la page ?

Il est mauvais pour des questions comme :

• Comment proteger des donnees confidentielles ?
• Comment retirer une page de Google de facon sure ?
• Comment consolider des doublons ?

Ou Se Trouve robots.txt

Le fichier vit toujours a la racine d'un protocole et d'un host precis :

~~~txt https://example.com/robots.txt ~~~

Il ne s'applique pas automatiquement a toutes les versions d'un domaine. Ces hosts et protocoles peuvent chacun avoir leur propre fichier :

~~~txt https://example.com/robots.txt https://www.example.com/robots.txt https://shop.example.com/robots.txt http://example.com/robots.txt ~~~

C'est important pendant migrations, sous-domaines, sites internationaux, CDNs et environnements de staging. Un robots.txt parfait sur www.example.com n'aide pas si Googlebot crawle shop.example.com.

Les Directives Principales

User-agent

User-agent indique a quel crawler s'applique un groupe de regles. User-agent: * s'applique largement aux crawlers. User-agent: Googlebot cible le crawler web de Google.

Disallow

Disallow indique quels chemins un crawler ne doit pas recuperer. Exemple :

~~~txt User-agent: * Disallow: /internal-search/ ~~~

Cela signifie que les crawlers ne doivent pas recuperer les chemins sous /internal-search/.

Allow

Allow peut definir des exceptions dans des zones bloquees. Exemple :

~~~txt User-agent: Googlebot Disallow: /downloads/ Allow: /downloads/public-guide.pdf ~~~

Cela bloque le dossier large, mais autorise un fichier precis.

Sitemap

Sitemap indique l'URL absolue d'un sitemap ou sitemap index :

~~~txt Sitemap: https://www.example.com/sitemap.xml ~~~

Cette ligne est un indice. Elle ne remplace ni un sitemap propre ni un bon maillage interne.

Exemple Simple

~~~txt User-agent: Googlebot Disallow: /test/

User-agent: * Disallow: /internal-search/

Sitemap: https://www.example.com/sitemap.xml ~~~

Dans cet exemple, Googlebot ne doit pas recuperer /test/. Tous les crawlers doivent eviter /internal-search/. Un sitemap est aussi indique.

En pratique, chaque ligne devrait avoir une raison documentee. Si personne ne sait pourquoi un chemin est bloque, robots.txt devient vite un fichier a risque.

Ce Que robots.txt Controle Vraiment

Crawling

robots.txt indique aux crawlers quels chemins ils peuvent recuperer. C'est son role central.

Trafic de Crawl

Sur de grands sites, robots.txt peut aider a eloigner les crawlers de motifs d'URL peu importants, similaires ou infinis : recherche interne, parametres, filtres, tris ou zones de test.

Recuperation de Ressources

robots.txt peut aussi bloquer images, scripts ou CSS. Il faut etre prudent. Si Google ne peut pas recuperer des ressources importantes, il peut moins bien comprendre la page.

Decouverte de Sitemap

La ligne sitemap aide les moteurs a trouver les sitemaps. C'est pratique, mais ce n'est pas la raison principale de robots.txt.

Ce Que robots.txt Ne Peut Pas Faire

Ce N'est Pas une Securite Reelle

robots.txt est public. Toute personne qui ouvre https://example.com/robots.txt peut voir les chemins bloques. Les contenus prives doivent etre proteges par login, mot de passe, VPN, regles IP ou autres controles d'acces.

Ce N'est Pas une Desindexation Fiable

Si une page est bloquee par robots.txt, Google n'a pas le droit de la crawler. Cela signifie aussi que Google ne peut pas voir un noindex sur la page. Si d'autres pages lient l'URL, Google peut encore la connaitre.

Pour retirer une page de l'index, choisis la bonne methode : noindex, suppression, 404/410, controle d'acces ou combinaison selon le cas.

noindex Ne Va Pas Dans robots.txt

Google ne prend pas en charge noindex dans robots.txt comme regle. Disallow n'est pas noindex.

Ce N'est Pas un Remplacement de canonical

Google doit voir les signaux canonical. Si tu bloques des doublons avec robots.txt, Google peut ne pas lire les indications canonical presentes sur ces pages.

robots.txt, noindex et canonical

robots.txt

Utilise robots.txt pour controler le crawling : "ne recuperez pas ces chemins".

noindex

Utilise noindex quand une page accessible ne doit pas apparaitre dans l'index. Important : la page doit etre crawlable pour que Google voie noindex.

canonical

Utilise canonical quand plusieurs URL montrent un contenu similaire et que tu veux indiquer une version preferee.

Controle d'Acces

Utilise le controle d'acces quand le contenu est prive. Ce n'est pas une astuce SEO, c'est de la securite.

Cas SEO Frequents

Recherche Interne

Les pages de recherche interne creent souvent beaucoup de pages fines ou dupliquees. robots.txt peut aider a garder ces motifs hors du crawl.

Navigation a Facettes

Les filtres ecommerce creent souvent beaucoup de combinaisons d'URL. Certaines pages filtre sont utiles, beaucoup ne le sont pas. robots.txt peut faire partie de la strategie, mais seulement apres avoir decide quelles pages filtre ont de la valeur.

Parametres et Tris

Tris, parametres de tracking et IDs de session peuvent creer des variantes inutiles. robots.txt peut bloquer des motifs, mais ne doit pas etre la seule solution a une mauvaise logique d'URL.

Staging

Le staging ne doit pas seulement etre bloque dans robots.txt. Il doit etre protege. Sinon, il reste public et seulement "interdit" aux crawlers polis.

Fichiers Media

Pour images, videos ou autres fichiers, robots.txt peut avoir du sens selon l'objectif. Pour les pages HTML, la difference avec noindex est particulierement importante.

Exemple Pratique

Un ecommerce voit Googlebot recuperer beaucoup d'URL comme :

~~~txt /shoes?color=black&size=42&sort=price /shoes?color=black&size=43&sort=price /shoes?color=blue&size=42&sort=price ~~~

L'equipe bloque d'abord toutes les URL avec parametres. La charge de crawl baisse, mais plus tard l'equipe remarque que certaines combinaisons correspondent a une vraie demande, par exemple "black running shoes men". Ces pages auraient mieux fonctionne comme landing pages curatees.

La meilleure solution est selective. Les themes de filtres utiles obtiennent des landing pages, liens internes, contenu indexable et canonicals clairs. Les tris infinis et parametres faibles sont limites. robots.txt devient une partie de la strategie, pas un gros interrupteur d'urgence.

Erreurs Frequentes

• Deployer accidentellement Disallow: / en production.
• Utiliser robots.txt pour confidentialite ou securite.
• Attendre que Disallow retire une URL de l'index de facon sure.
• Bloquer une page tout en attendant que Google voie noindex.
• Bloquer des ressources CSS, JavaScript ou images importantes.
• Tester les regles sur le mauvais host, protocole ou sous-domaine.
• Bloquer toutes les pages filtre sans verifier demande et valeur.
• Indiquer des sitemaps avec URL fausses ou non absolues.
• Deployer des changements robots.txt sans revue.
• Ne pas verifier les changements avec Search Console ou URL Inspection.

Mini-Workflow

1. Clarifier l'intention : controler crawl, empecher indexation, consolider doublons ou proteger contenu ? 2. Utiliser robots.txt seulement pour le controle du crawl. 3. Verifier host, protocole et sous-domaine. 4. Ecrire des regles aussi etroites que possible. 5. Verifier si pages importantes, CSS, JavaScript, images ou signaux canonical sont touches. 6. Tester le fichier dans le navigateur et avec Search Console. 7. Documenter regle, date, raison et effet attendu. 8. Suivre crawl et indexation separement. 9. Supprimer les anciennes regles quand leur objectif n'existe plus.

Perspective Contextter

Pour Contextter, robots.txt n'est pas un detail technique isole. Le fichier influence les contenus que les moteurs peuvent recuperer. Un hub de contenu a donc besoin non seulement de bons textes, mais aussi de limites techniques claires : rendre les pages centrales visibles, reduire les variantes faibles et proteger correctement les zones privees ou non terminees.

Un bon travail robots.txt pose toujours la meme question : cette regle aide-t-elle les moteurs a mieux comprendre les contenus importants, ou cache-t-elle seulement un probleme d'architecture ?

Termes Lies

Bonnes lectures suivantes :

• crawling
• crawl-budget
• xml-sitemap
• noindex
• indexing
• canonical-tag

Sources de Revue

• Google Search Central: Introduction to robots.txt
• Google Crawling Infrastructure: How Google interprets robots.txt
• Google Crawling Infrastructure: Create a robots.txt file
• Google Search Console Help: robots.txt report
• Google Search Central: Block indexing with noindex
• Google Search Central: Robots meta tag specifications
• Google Search Central: What is Googlebot
• Google Search Central: Troubleshoot crawling errors