Comment vivre sans Googlebot ? Cas pratique

Et si Googlebot vous faisait faux bond ? Vous vous voyez vivre sans ? Probablement non car il garantit la découverte, l’exploration et l’indexation correcte des sites internet. Et pourtant, les professionnels du SEO ont dû tout récemment se résoudre à subir périodiquement des bugs. Chroniques d’un cauchemar devenu l’espace d’un moment, une réalité terrifiante…  

Que “voit” Googlebot ?

Sur Reddit, les questions – et les réponses ! – vont vite. Un utilisateur s’est préoccupé des informations exactes que perçoit Googlebot pendant l’exploration : Formation pour apprendre à créer des formations en ligne

La capture d’écran de Googlebot donne-t-elle une image complète de ce que Google peut voir ? (…) Comment puis-je savoir ce que Google voit dans mon article ? … Je veux savoir ce que Googlebot voit dans mon site web.

John Mueller, de Google, lui a répondu : 

Dans la plupart des cas, oui [la capture d’écran de Googlebot donne une image complète de ce que Google peut voir]. Mais il existe des cas limites et des anomalies temporelles. Dites-nous en plus sur ce que vous essayez de vérifier.

En d’autres termes, la capture d’écran de Googlebot est une reproduction fidèle de ce que Google voit pendant l’exploration de vos pages. Il utilise les images, JavaScript et le CSS pour restituer fidèlement les pages web de manière dynamique. 

Cependant, Mueller a prudemment évoqué les anomalies temporelles.

Les anomalies temporelles 

On désigne par anomalies temporelles, les irrégularités ou différences entre l’activité réelle explorée et les ressources téléchargées par Googlebot à un moment donné. Dans ce cas, la capture d’écran de Googlebot ne reflète pas fidèlement les données parcourues. Plusieurs scénarios débouchent sur des anomalies temporelles. 

Les causes des anomalies temporelles

Si vous utilisez des horodatages obsolètes pour mettre vos données en cache, Googlebot commet des erreurs. 

Parfois, ce n’est pas vous mais le serveur le coupable. Il suffit qu’il transmette les données à Googlebot avec du retard pour entraîner des anomalies. 

Si l’horloge du serveur est configurée de manière incorrecte, Googlebot entre en confusion et bugue. Il perçoit les calendriers d’exploration de manière confuse.

Enfin, si les configurations de vos en-têtes HTTP sont incorrectes, Googlebot est perturbé. En effet, il ne perçoit plus clairement si oui ou non votre contenu a déjà été exploré récemment. 

Les effets des anomalies temporelles

Suite aux anomalies temporelles, Googlebot peut surcharger le serveur à force de demandes répétées. De plus, vos pages risquent d’être indexées avec du retard. Finalement, votre contenu apparaît en ligne alors qu’il est déjà obsolète. Donc : 

  • Le gaspillage des ressources du serveur 
  • L’obsolescence du contenu 
  • Le risque de perdre des places dans le classement des SERP 

sont des conséquences immédiates des anomalies temporelles. En mettant ces éléments bout à bout, c’est votre écosystème SEO qui part littéralement en vrille. 

Heureusement, Google a quelques astuces utiles pour gérer cette situation sans sombrer dans le drame. 

Quelle stratégie adopter ?

Choisissez un serveur disponible de manière optimale pour prévenir la latence. Pareillement, vos services d’hébergement doivent fournir l’optimisation nécessaire pour favoriser l’exploration. 

Prenez soin de configurer vos serveurs et vos en-têtes HTTP de manière appropriée. De même, optimisez votre site sur le plan technique et surveillez constamment l’éventuelle apparition d’anomalies. 

Enfin, conservez des sauvegardes des différentes mises à jour. Ça s’appelle être proactif. 

Récap des bonnes pratiques de SEO technique pour prévenir les anomalies temporelles de Googlebot

  • Des en-têtes HTTP Cache-Control et Last-Modified (ETags) précis 
  • Un serveur disponible H24 
  • Un serveur synchronisé avec un serveur NTP (Network Time Protocol) robuste 
  • Une surveillance constante des statistiques d’exploration 
  • Des audits réguliers 

Quelques outils SEO utiles pour traquer les anomalies temporelles de Googlebot

Screaming Frog SEO Spider détecte les erreurs d’exploration occasionnées par le serveur. Également, les analyseurs de fichiers journaux tels que la pile ELK sont d’un recours efficace. 

Et n’oubliez pas la bonne vieille Google Search Console. Passe-partout, elle fournit des statistiques d’exploration précises et décèle les problèmes à résoudre. 

L’équation du jour 

Les anomalies temporelles de Googlebot = perte de visibilité = chute dans les SERP

A surveiller comme du lait 🍶 sur le feu 🔥🔥.