Guide · Mis à jour le
Googlebot bloqué : lire le résultat et corriger
Une page que Googlebot ne peut pas lire ne sera jamais bien classée, et une page qu'il lit mais qui lui demande de ne pas l'indexer disparaît des résultats. Ces deux blocages sont invisibles pour vous : votre navigateur affiche le site normalement. Cet outil fait trois vérifications, dans l'ordre où Google les fait.
1. Le robots.txt autorise-t-il l'URL ?
Avant d'explorer une page, Googlebot lit /robots.txt. Il applique le groupe User-agent: Googlebot s'il existe, sinon le groupe User-agent: *, et retient la règle la plus longue qui correspond à l'adresse ; à longueur égale, Allow l'emporte. L'outil affiche la règle exacte qui s'applique.
Deux cas piègent souvent : un Disallow: / oublié après une mise en ligne depuis une préproduction, et un robots.txt qui renvoie une erreur 500. Dans ce second cas, Google ne prend pas le risque d'explorer : il suspend l'exploration de tout le site tant que le fichier ne répond pas correctement. Un robots.txt absent (erreur 404), lui, ne bloque rien.
2. Le serveur répond-il à Googlebot ?
L'outil demande la page avec l'identifiant (User-Agent) de Googlebot pour smartphone, puis avec celui d'un navigateur, et compare les deux réponses. Les causes les plus fréquentes d'une erreur servie au robot seulement :
- Erreur 403 : un pare-feu ou une extension de sécurité (Wordfence, Sucuri, ModSecurity, règle Cloudflare) bloque le robot, souvent à cause d'une règle trop large sur les User-Agents ou d'un blocage par pays : Googlebot explore surtout depuis les États-Unis.
- Erreur 5xx : le serveur plante ou se protège quand l'exploration s'accélère. Google ralentit alors son passage, et des erreurs qui durent finissent par faire sortir des pages de l'index.
- Page de défi anti-robot (« Just a moment… », « Checking your browser ») : un service anti-DDoS demande d'exécuter du JavaScript que le robot ne passe pas toujours.
Si la réponse ne bloque que Googlebot, cela peut aussi être voulu : les bons pare-feux bloquent les robots qui se font passer pour Googlebot et laissent passer le vrai, qu'ils reconnaissent à son adresse IP. Notre test part de nos serveurs, pas de ceux de Google. Avant de modifier quoi que ce soit, confirmez donc avec l'inspection d'URL de Google Search Console (« Tester l'URL en direct »), qui interroge votre page avec le vrai Googlebot.
3. La page peut-elle être indexée ?
Une page lisible peut quand même demander à ne pas apparaître dans Google, de deux façons :
- une balise
<meta name="robots" content="noindex">dans le code de la page. WordPress l'ajoute sur tout le site quand la case « Demander aux moteurs de recherche de ne pas indexer ce site » est cochée dans Réglages → Lecture ; - un en-tête HTTP
X-Robots-Tag: noindex, ajouté par le serveur ou le CDN, invisible dans le code source.
L'outil signale aussi une URL canonique différente de la page testée (Google indexera plutôt l'URL canonique) et les redirections que Googlebot suit avant d'arriver.
robots.txt ou noindex : ne pas confondre
Le robots.txt empêche l'exploration, pas l'indexation. Une page interdite dans le robots.txt peut apparaître dans Google, sans description, si d'autres sites pointent vers elle. Pour retirer une page des résultats, il faut au contraire la laisser explorable et y mettre un noindex : si le robots.txt l'interdit, Googlebot ne verra jamais la consigne.
Vérifier que c'est bien Google
Pour vos propres règles de pare-feu, ne vous fiez pas au User-Agent, que n'importe qui peut imiter. Google recommande une recherche DNS inverse sur l'adresse IP (le nom doit se terminer par googlebot.com, google.com ou googleusercontent.com), suivie d'une recherche directe sur ce nom qui doit redonner la même IP. Google publie aussi la liste de ses plages d'adresses au format JSON.
Les limites de cet outil
Il teste une seule URL, à un instant donné, depuis un serveur situé en France. Il n'exécute pas le JavaScript : un contenu affiché uniquement par JavaScript, ou une redirection faite en JavaScript, n'est pas analysé. Il ne voit pas non plus ce que Google a déjà en index : pour cela, Search Console reste la référence.