Crawl Budget

Definition rapide

Le crawl budget decrit le temps et les ressources que Googlebot consacre au crawl d'un site. Il compte surtout pour les sites tres grands, souvent mis a jour ou techniquement bruyants.

Explication simple

Google ne peut pas revisiter toutes les URL du web en permanence. Googlebot doit prioriser : quelles pages comptent, lesquelles ont change, lesquelles se chargent vite et quels motifs d'URL font perdre du temps ?

Pour les petits sites, le crawl budget n'est generalement pas un vrai probleme. Si les nouvelles pages sont crawlees le jour meme ou rapidement, et si le site a quelques centaines ou milliers d'URL propres, une sitemap a jour et une bonne hygiene technique suffisent souvent.

Pour de grands sites ecommerce, marketplaces, medias, documentations SaaS ou sites avec de nombreux filtres, c'est different. Googlebot peut passer trop de temps sur des URL a parametres, duplicats, erreurs, anciennes redirections ou ressources lentes pendant que des pages importantes sont decouvertes plus tard.

Crawl Capacity et Crawl Demand

Crawl Capacity

La crawl capacity decrit ce qu'un site peut supporter techniquement. Si le serveur repond vite et de facon fiable, Googlebot peut demander plus de pages. Si beaucoup d'erreurs 5xx, timeouts ou lenteurs apparaissent, le crawl devient plus prudent.

Crawl Demand

La crawl demand decrit l'interet de Google pour certaines URL. Les pages populaires, importantes ou souvent mises a jour sont plus susceptibles d'etre recrawlees que des pages anciennes, faibles ou peu liees.

Crawl Budget comme combinaison

Le crawl budget n'est pas un solde fixe. Il vient de la capacite et de la demande. Un site peut avoir une bonne capacite mais peu de demande, ou beaucoup de demande mais ralentir Googlebot par de mauvaises performances.

Quand le crawl budget compte vraiment

Le crawl budget est surtout important quand un site a beaucoup d'URL ou change tres souvent. Exemples : grands shops, portails d'annonces, plateformes voyage, sites d'actualite, documentations ou sites internationaux avec beaucoup de langues et filtres.

Signaux d'alerte : pages importantes crawlees tard, Crawl Stats avec beaucoup de requetes vers des motifs sans valeur, erreurs serveur en hausse, URL a parametres dominantes ou sitemap contenant beaucoup d'URL non indexables.

Si un site est petit et que Google trouve vite le nouveau contenu, il ne faut pas dramatiser le crawl budget. Qualite du contenu, liens internes, indexabilite et vitesse comptent souvent davantage.

Ce qui gaspille le crawl budget

Duplicate content

Quand beaucoup d'URL affichent le meme contenu, Googlebot doit inspecter, comparer et canonicaliser des variantes. Sur de grands sites, cela ralentit le crawl utile.

Navigation a facettes

Filtres par couleur, taille, prix, note, lieu ou marque peuvent creer des combinaisons infinies. Les utilisateurs aiment les filtres; Googlebot a besoin de limites claires.

Pages d'erreur et soft 404

404, erreurs 5xx, recherches vides et pages qui ressemblent a des erreurs mais renvoient 200 consomment du crawl avec peu de valeur.

Chaines de redirection

Une redirection peut etre normale. Les longues chaines sont inutiles. Elles ralentissent le crawl et brouillent les signaux.

Reponses serveur lentes

Si le serveur repond lentement ou de facon instable, Googlebot crawle moins efficacement. Le crawl budget est aussi un sujet de performance.

Pages indexables sans importance

Recherche interne, archives de tags, tris, parametres de tracking et anciennes pages de campagne peuvent gonfler le crawl si elles sont liees et indexables.

Comment ameliorer le crawl budget

Garder les sitemaps propres

Les sitemaps doivent contenir seulement des URL importantes, canoniques et indexables. Si elles contiennent redirects, noindex ou parametres, elles envoient de mauvais signaux de priorite.

Prioriser les liens internes

Googlebot suit les liens. Les pages importantes doivent etre accessibles en interne, pas seulement listees dans une sitemap. Une structure claire aide la priorisation.

Consolider les duplicats

Canonicals, redirects et liens internes coherents reduisent les variantes inutiles. Sur de grands motifs, la consolidation vaut mieux que des corrections URL par URL.

Limiter les pieges de crawl

Filtres, calendriers, recherche interne et tableaux triables demandent des regles. Certaines combinaisons ne doivent pas etre indexables, d'autres n'ont pas besoin d'etre crawlables si elles n'ont pas de valeur de recherche.

Stabiliser serveur et rendu

Reponses rapides, peu d'erreurs 5xx, HTML propre et ressources stables aident Googlebot. Si le rendu est complexe, le contenu principal doit rester accessible de facon fiable.

Robots.txt, noindex et canonical

Robots.txt peut empecher le crawl, mais ne nettoie pas toujours l'indexation. Si Google ne peut pas crawler une URL, il ne peut pas voir son canonical. Noindex exige que Google puisse crawler la page. Canonical aussi.

Le choix compte donc : robots.txt pour de vrais pieges de crawl, noindex pour des pages accessibles mais non indexees, canonical pour des variantes proches avec page principale, redirect pour des URL remplacees.

Crawl Stats dans Search Console

Le rapport Crawl Stats montre comment Googlebot crawle un site : total des requetes, codes de reponse, types de fichiers, taille telechargee, temps moyen de reponse et problemes d'host. Il est utile quand des changements techniques ou problemes serveur affectent le crawl.

Ne regarde pas seulement les totaux. Plus de crawl n'est pas toujours mieux. La bonne question est : Google crawle-t-il les bonnes zones, beaucoup de requetes vont-elles vers erreurs, parametres ou anciennes URL, le serveur ralentit-il, le crawl change-t-il apres un relaunch ?

Exemple pratique

Un shop a 80 000 pages produits et categories. Les filtres creent plus de deux millions de variantes d'URL. La sitemap contient aussi d'anciens parametres de tri, certaines categories passent par deux redirects et Crawl Stats montre beaucoup de requetes vers des URL sans valeur de recherche.

L'equipe priorise : nettoyer la sitemap, pointer les liens internes vers les categories canoniques, definir les regles de filtres, supprimer les chaines de redirection, corriger les erreurs 5xx et mieux lier les produits importants.

Apres quelques semaines, Crawl Stats montre moins de requetes vers des motifs inutiles, moins d'erreurs et des reponses plus rapides. Les nouvelles pages produit importantes sont crawlees plus tot.

Mesure

Ne mesure pas le travail crawl budget uniquement par plus de requetes. De meilleurs signaux : moins de crawl sur motifs faibles, moins de 5xx/404, temps de reponse plus bas, sitemap plus propre, decouverte plus rapide des pages importantes et indexation plus stable.

Pose une base avant les changements. Sinon il est difficile de savoir si l'amelioration vient du correctif ou du comportement normal de crawl.

Prioriser par type de page

Un bon audit crawl budget ne commence pas par "que pouvons-nous bloquer ?" Une meilleure question est : "quelles pages Google doit-il comprendre le plus vite ?" Pour un ecommerce, ce sont souvent categories, produits importants, guides d'achat et hubs de marque ou de theme. Pour un media, ce sont actualites recentes, guides evergreen et archives utiles. Pour un site SaaS, ce sont pages produit, documentation, integrations et pages solution.

Ensuite, regarde l'autre cote : quels motifs d'URL peuvent aider l'utilisateur sur le moment, mais ont peu de valeur de recherche ? Tris, resultats de recherche interne, parametres de session, combinaisons de calendrier, pages tag tres fines et variantes de filtres sans demande entrent souvent ici. Il ne faut pas les supprimer aveuglement. Decide par motif si canonical, noindex, robots.txt, nettoyage des liens internes ou redirection est la reponse la plus propre.

Une regle pratique : si une URL ne sert pas une intention de recherche distincte, n'apporte pas de valeur unique et ne devrait pas recevoir de liens internes forts, elle ne merite probablement pas une forte priorite de crawl.

Erreurs frequentes

• Surevaluer le crawl budget sur de petits sites.
• Voir plus de crawl comme succes automatique.
• Laisser les URL de filtres et parametres sans controle.
• Confondre noindex, robots.txt et canonical.
• Remplir les sitemaps avec des URL non canoniques.
• Ignorer les chaines de redirection et les erreurs 5xx.
• Lire Crawl Stats sans segmentation.
• Negliger la qualite du contenu et ajouter seulement des blocages techniques.

Mini-workflow

1. Determiner si le crawl budget est vraiment pertinent pour le site. 2. Verifier Crawl Stats, sitemaps, logs et rapports d'indexation. 3. Identifier les motifs d'URL a faible valeur. 4. Nettoyer sitemaps et liens internes. 5. Consolider les duplicats et supprimer les chaines de redirection. 6. Stabiliser les reponses serveur et corriger les codes d'erreur. 7. Mesurer apres plusieurs semaines si les pages importantes sont crawlees plus vite et plus proprement.

Perspective Contextter

Contextter peut traduire le crawl budget en priorisation. Toutes les URL ne meritent pas la meme attention. Les pages a forte valeur utilisateur, intention claire et bonne qualite doivent etre plus faciles a decouvrir que les variantes anciennes, fines ou techniques.

Le crawl budget devient alors une question simple : Google trouve-t-il les pages qui comptent vraiment ?

Termes lies

• crawling
• indexing
• xml-sitemap
• robots-txt
• duplicate-content
• page-speed

Sources et ressources

• Google Search Central: Optimize your crawl budget
• Google Search Central: Managing crawling of faceted navigation URLs
• Search Console Help: Crawl Stats report
• Google Search Central Blog: Crawl Stats report
• Google Search Central: Sitemaps
• Google Search Central: Robots.txt introduction
• Google Search Central: Redirects and Google Search