Si votre site s'affiche normalement dans votre navigateur mais renvoie une erreur à Googlebot, Google retire peu à peu vos pages de son index, et vous ne voyez rien. La cause est souvent banale : une extension de cache ou de sécurité, une règle de pare-feu, une version mise en cache pour les robots. Elle est parfois malveillante : un piratage qui sert du spam aux seuls moteurs de recherche. Pour le vérifier, comparez la réponse servie à un navigateur et celle servie à Googlebot, puis confirmez avec l'outil d'inspection d'URL de la Search Console.
Un cas réel : deux sites qui se désindexaient en silence
En surveillant les sites de nos utilisateurs, nous avons trouvé deux sites WordPress dans la même situation. Pour un visiteur, la page d'accueil répondait en 200 et s'affichait correctement. Pour une requête identifiée comme Googlebot, la même adresse renvoyait une erreur 500 et la page « WordPress > Erreur ».
Personne ne s'en était aperçu. Les propriétaires consultaient leur site tous les jours, les formulaires fonctionnaient, aucune alerte de disponibilité ne s'était déclenchée. Seul Google voyait l'erreur. Or Google traite une erreur 500 répétée comme une page indisponible : il réduit d'abord la fréquence d'exploration, puis retire la page des résultats si l'erreur persiste.
Ce type de panne échappe à la plupart des outils de surveillance, parce qu'ils interrogent le site avec un seul User-Agent, celui d'un navigateur ou celui de l'outil lui-même.
Pourquoi un site répond différemment à Googlebot
Un serveur choisit sa réponse selon plusieurs critères : l'adresse IP du visiteur, l'en-tête User-Agent, les cookies, la langue. Tout ce qui lit le User-Agent peut produire une réponse différente pour les robots.
| Cause | Ce qui se passe | Malveillant ? |
|---|
| Extension de cache | Une version distincte est générée pour les robots. Si elle est corrompue ou mal régénérée, seuls les robots reçoivent l'erreur. | Non |
| Extension de sécurité | Elle bloque ou limite les « bots » et renvoie une erreur au lieu d'un simple refus. | Non |
| Pare-feu applicatif (WAF) | Une règle chez l'hébergeur ou chez Cloudflare traite Googlebot comme un robot suspect. | Non |
| Redirection mobile | Une extension redirige Googlebot Smartphone vers une version mobile cassée ou inexistante. | Non |
| Erreur PHP conditionnelle | Un thème ou une extension exécute un code différent pour les robots (rendu SEO, préchargement) qui plante. | Non |
| Piratage SEO (cloaking) | Un code injecté sert du contenu de spam aux seuls robots, par exemple le « japanese keyword hack ». Une erreur peut apparaître quand ce code plante. | Oui |
Dans nos deux cas, la page d'erreur était celle de WordPress : le problème venait du site lui-même, pas d'un pare-feu en amont. C'est un indice utile, que vous retrouverez dans les vérifications ci-dessous.
Le cas malveillant : le cloaking d'un piratage
Le cloaking consiste à montrer aux moteurs de recherche un contenu différent de celui que voient les visiteurs. Les pirates l'utilisent pour exploiter la réputation d'un site légitime : ils injectent des milliers de pages de spam (contrefaçons, pharmacie, jeux d'argent) visibles uniquement par Googlebot. Le propriétaire ne voit rien, ses visiteurs non plus.
Les signes qui doivent vous alerter :
- des résultats Google pour votre domaine avec des titres en japonais, en chinois ou sans rapport avec votre activité ;
- une hausse soudaine du nombre de pages indexées dans la Search Console ;
- un fichier
sitemap.xml ou des fichiers PHP que vous ne reconnaissez pas ;
- une réponse à Googlebot beaucoup plus grande ou beaucoup plus petite que celle servie aux visiteurs.
1. Comparer les deux réponses avec curl
Interrogez la même page deux fois, une fois comme un navigateur, une fois comme Googlebot, et comparez le code de réponse, la taille et le titre :
# Comme un navigateur
curl -s -L -o navigateur.html -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0 Safari/537.36" \
https://www.exemple.fr/
# Comme Googlebot
curl -s -L -o googlebot.html -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
https://www.exemple.fr/
# Comparer les titres
grep -o "<title>[^<]*" navigateur.html googlebot.html
Deux réponses en 200, de taille proche et avec le même titre : tout va bien. Un code différent, une taille très différente ou un titre inattendu : il faut chercher plus loin.
2. Ne pas confondre avec une protection légitime
Votre requête curl n'est pas un vrai Googlebot : elle en imite seulement le User-Agent. Certains sites vérifient l'origine des robots par une résolution DNS inverse (l'adresse IP doit appartenir à googlebot.com ou google.com) et bloquent les imitations. Un refus en 403 sur votre test n'est donc pas forcément une erreur : c'est peut-être une bonne protection. Seul le test suivant montre ce que reçoit le vrai Googlebot.
3. Tester avec l'inspection d'URL de la Search Console
- Ouvrez la Search Console de votre propriété.
- Collez l'adresse de la page dans la barre « Inspecter n'importe quelle URL ».
- Cliquez sur « Tester l'URL en direct ».
- Ouvrez « Afficher la page testée » : vous voyez le code HTML reçu par Googlebot, une capture d'écran et la réponse HTTP.
Si ce test affiche une erreur alors que la page s'ouvre chez vous, le problème est confirmé.
4. Consulter le rapport « Pages »
Dans la Search Console, le rapport « Pages » (anciennement « Couverture ») liste les pages non indexées et la raison. Une hausse des motifs « Erreur de serveur (5xx) » ou « Bloquée en raison d'une interdiction d'accès (403) » sur des pages qui fonctionnent pour vous est un signal clair.
- Extension de cache : videz tout le cache, y compris la version réservée aux robots si l'extension en a une. Désactivez l'option « cache séparé pour les robots » ou « cache mobile » le temps du diagnostic.
- Extension de sécurité : vérifiez son journal des blocages et ajoutez Googlebot vérifié à la liste autorisée. Préférez une règle fondée sur la vérification DNS inverse plutôt que sur le seul User-Agent.
- Pare-feu ou CDN : chez Cloudflare, consultez les « Security Events » filtrés sur le User-Agent Googlebot. Les robots vérifiés y sont signalés comme tels.
- Erreur PHP : activez le journal d'erreurs (
WP_DEBUG_LOG dans wp-config.php), relancez la requête Googlebot avec curl, puis lisez wp-content/debug.log. Le message indique l'extension ou le thème fautif.
- Piratage : traitez-le comme une compromission. Comparez les fichiers du site avec une version saine, supprimez le code injecté, mettez à jour WordPress, le thème et les extensions, changez tous les mots de passe d'accès (administration, FTP, base de données). Demandez ensuite un nouvel examen dans la Search Console si Google a signalé le site.
Après correction, relancez le test en direct de l'inspection d'URL, puis demandez l'indexation des pages principales.
Surveiller ce que voient les robots
Ce problème peut revenir à chaque mise à jour d'extension. Domains Defender interroge la page d'accueil avec plusieurs User-Agents (un navigateur identifié, Googlebot et un mobile) et compare les réponses. Une différence de code, de taille ou de contenu déclenche un signalement, que vous pouvez confirmer avec la Search Console. Vous pouvez faire une vérification ponctuelle avec l'outil Vérification de piratage, ou un contrôle plus large du domaine avec l'audit gratuit.
Pour les autres menaces visibles depuis l'extérieur, voir aussi Threat Intelligence DNS : URLhaus et Google Safe Browsing en pratique.
Questions fréquentes
Combien de temps avant que Google désindexe une page en erreur ?
Google ne donne pas de délai fixe. Une erreur ponctuelle est sans effet. Une erreur qui dure plusieurs jours réduit l'exploration, puis fait sortir les pages des résultats. Plus la correction est rapide, plus la réindexation est simple.
Mon test curl avec le User-Agent Googlebot renvoie 403, est-ce grave ?
Pas forcément. Beaucoup de sites bloquent les imitations de Googlebot dont l'adresse IP n'appartient pas à Google. Faites le test en direct de la Search Console : s'il réussit, votre site protège simplement contre les faux robots.
Servir un contenu différent à Google, est-ce toujours sanctionné ?
Google sanctionne le cloaking destiné à tromper les utilisateurs ou le moteur. Adapter la mise en page à un mobile ou servir une version mise en cache identique n'en est pas. Le contenu principal doit rester le même pour Googlebot et pour les visiteurs.
Comment savoir si c'est un piratage plutôt qu'un bug ?
Un bug donne en général une erreur (500, page blanche). Un piratage donne plutôt une page qui fonctionne mais contient du texte étranger à votre activité : liens vers des boutiques, mots-clés dans une autre langue, centaines de pages inconnues dans l'index. Dans le doute, traitez-le comme un piratage.