Référencement naturel - SEO & analyse de logs : comprendre la notion de budget crawl - 23 mai 2018

SEO & analyse de logs : comprendre la notion de budget crawl

SEO & analyse de logs : comprendre la notion de budget crawl
Invité Auteur

En SEO, l’analyse de logs est un sujet de plus en plus traité lors de conférences d’experts SEO. Et pour cause, c’est un levier formidable pour améliorer son référencement naturel sur les moteurs de recherche, même si au premier abord il requiert un minimum de connaissances techniques. L’objectif de cet article est d’en comprendre le fonctionnement pour mieux l’aborder…

Cet article est tiré du livre blanc 5 tendances à explorer pour accélérer votre SEO en 2018, n’hésitez pas à le télécharger si le sujet du SEO vous intéresse.

Googlebot, Bingbot, DuckDuckBot… ces robots d’indexation qui parcourent la toile pour enrichir l’index des moteurs

Dans l’introduction du livre blanc, nous avons évoqué le principe des robots. Appelés également “Web Crawler” (ou “Robots d’indexation”), ils naviguent continuellement sur les sites web, avec pour objectif de scanner le contenu des pages, de les enregistrer dans une base de données pour indexer leurs résultats, puis de visiter les liens présents sur la page pour continuer leur parcours. Ils viennent également vérifier si des pages déjà enregistrées dans leurs bases de données ont été mises à jour, afin de prendre en compte l’enrichissement du contenu.

Ces robots sont donc le point de contact principal entre le site web et les moteurs de recherche : il est vital de pouvoir analyser leur comportement sur votre site, afin de comprendre quels contenus ils privilégient et surtout quels contenus ils délaissent. C’est ainsi qu’est née la notion de “crawl budget”, l’idée qu’il faut optimiser le parcours des robots afin de privilégier leur passage sur des contenus à haute valeur, plutôt que sur des pages à faible valeur. Pour bien comprendre cet aspect, on peut imaginer que le robot a un nombre de crédit limité (1 crédit = 1 page consultée), et qu’il faut l’orienter vers les pages les plus rentables.

Prenons l’exemple d’une page de contenu “Contactez-nous”. Cette page ne change que très rarement, voire jamais. Par ailleurs, ce type de page présente un contenu en quantité faible, et donc ayant peu d’intérêt d’un point de vue SEO. Il est donc inutile qu’un robot, lors de son passage sur votre site, vérifie cette page, plutôt, il serait préférable qu’il aille sur une page présentant un vrai contenu à potentiel d’indexation et donc générateur d’audience.

Pour savoir comment estimer la qualité du contenu de son site d’un point de vue SEO, n’hésitez pas à télécharger notre livre blanc SEO.

Comment analyser les passages de robots sur votre site web ?

Chaque action sur un site web, émanant d’êtres humains (utilisateurs) ou de robots (Web Crawler) va laisser une trace sur les données logs du serveur. Les logs sont des fichiers qui enregistrent toute l’activité d’un site web, en identifiant les adresses IP venant se connecter à votre site web, mais également leur parcours sur ce dernier.

De nombreux outils permettent d’analyser ces fichiers logs, afin d’isoler l’activité des robots de l’ensemble des moteurs de recherche (Google, Bing, Yahoo, Yandex, Baïdu…). Ainsi, il vous sera possible d’identifier la fréquence de visite, le nombre de pages consultées par visite… et d’agir en conséquence.

Comment optimiser son “crawl budget” ?

Prenons un exemple concret : une page web est très souvent consultée par les robots, mais elle n’a pas été mise à jour depuis 6 mois, alors que d’autres pages sur le même thème ont été créées récemment, et sont peu visitées par les robots. Il vous sera donc possible de mettre à jour la page la plus ancienne, et d’y introduire un lien hypertexte vers le nouveau contenu à favoriser, afin d’aider les robots à l’explorer, tout en promouvant le référencement des pages plus récentes.

Sur un site avec des milliers voire des millions de pages, la lecture de ces fichiers logs devient une arme redoutable pour optimiser votre SEO et favoriser le parcours des robots sur des pages à haut potentiel de positionnement dans les résultats de recherche.

TÉLÉCHARGER LE LIVRE BLANC SEO

 

Article écrit en collaboration avec SiteImprove