Si vous êtes dans le SEO ou que vous vous y intéressez, vous avez déjà probablement entendu parler du budget de crawl et de l’optimisation du budget de crawl. Vous allez découvrir dans cet article, qu’est ce que le budget de crawl, quels facteurs peuvent l’influencer et comment l’optimiser !
24 kb
Qu’est-ce qu’un budget de crawl en SEO ? Comment l’optimiser ?
Qu’est-ce qu’un « budget de crawl » en SEO ?
Un budget de crawl est le nombre limite de pages que les robots de Google se fixent d’explorer sur un site web pour son référencement. Google ne dispose pas d’un temps et de ressources illimités pour explorer chaque page du web en permanence, toutes ne seront pas explorées. Il est donc nécessaire de l’optimiser
Quels facteurs affectent le budget de crawl d’un site ?
Les robots déterminent également les pages qu’ils explorent et à quelle fréquence en fonction de plusieurs facteurs. Ils estiment la fréquence et la durée d’exploration de chaque site en fonction de :
- La performance du site : Un site web bien optimisé et qui a une vitesse de chargement rapide obtiendra un budget crawl plus élevé qu’un site qui met du temps à se charger.
- La taille du site : Plus un site contient de contenus, plus son budget sera important.
- La fréquence des mises à jour : Un site qui publie assez de contenus de qualité et qui met régulièrement à jour ses pages se verra attribuer un budget crawl plus important.
- Les liens sur le site : Plus un site contient de liens, plus son budget crawl sera élevé et mieux ses pages seront indexées.
98 kb
Pourquoi Google explore-t-il les sites web ?
Les Googlebots Ils travaillent en parcourant le net, en sautant de lien en lien, à la recherche de contenu mis à jour ou de nouvelles pages Web. Lorsqu’ils trouvent une nouvelle page, par exemple, ils copient les informations du site et les stockent dans l’index. Google détermine ensuite quels résultats de recherche doivent apparaître en réponse à une requête de recherche.
.
Comment optimiser le budget de crawl ?
Étant donné que vous ne pouvez pas demander à Google d’explorer votre site plus souvent ou plus longtemps, vous devez optimiser ce que vous pouvez contrôler.
L’optimisation du budget de crawl nécessite une approche multidimensionnelle et une compréhension des bonnes pratiques de Google. Voici une liste qui permettra d’améliorer significativement votre budget de crawl.
Effectuez une analyse de logs :
Une analyse de fichier de logs est un rapport du serveur qui reflète chaque demande envoyée au serveur. Ce rapport vous dira exactement ce que font les Googlebots sur votre site. À l’aide de votre analyse de fichier de, vous apprendrez :
- À quelle fréquence Google explore votre site ?
- Y’a-t-il des pages inconnues ?
- Quelles pages sont les plus crawlées ?
- Quelles pages ont un code de réponse HTTP 200, 300, ou 400 ?
Vous pouvez utiliser des outils spécifiques et indispensables, tels qu’Oncrawl, Screaming Frog Log File Analyzer ou encore Seolyzer pour effectuer cette analyse.
Mettez vos fichiers sitemap XML et Robots.txt à jour
Votre fichier sitemap XML donne aux Googlebots une liste de toutes les pages de votre site que vous souhaitez que Google indexe afin qu’elles puissent apparaître dans les résultats de recherche. Mettez votre sitemap à jour avec toutes les pages de votre site que vous voulez que les moteurs de recherche trouvent pour ensuite l’indexer.
Votre fichier robots.txt, lui, indique aux robots des moteurs de recherche les pages que vous ne voulez pas qu’ils explorent.
Si votre fichier de logs indique que Google passe trop de temps à explorer des pages que vous ne souhaitez pas voir apparaître dans les SERP, vous pouvez demander aux robots d’exploration de Google d’ignorer ces pages. Cela libère une partie de votre budget de crawl pour des pages plus importantes.
Réduisez les redirections 301 :
En plus de libérer le budget de crawl en excluant les pages inutiles des moteurs de recherche, vous pouvez également maximiser les crawls en réduisant ou en éliminant les redirections. Il s’agira de toutes les URL qui aboutiront à un code de réponse 3xx.
Les URL redirigées prennent plus de temps à être récupérées par un Googlebot, car le serveur doit répondre avec la redirection, puis récupérer la nouvelle page. Cela peut rendre l’exploration de votre site plus longue dans l’ensemble. Ce temps est multiplié lorsqu’un Googlebot rencontre une chaîne de redirections d’URL.
Pour réduire les redirections, soyez attentif à votre stratégie de création de contenu et rédigez soigneusement le texte de vos slugs.
Travaillez sur l’amélioration des vitesses de chargement de vos pages :
Les robots de Google peuvent parcourir un site à un rythme rapide. Cependant, si la vitesse de votre site n’est pas à la hauteur, cela peut vraiment peser lourdement sur votre budget de crawl. Utilisez votre analyse de fichier logs, ou des outils de crawls comme Screaming Frog pour déterminer si le temps de chargement de votre site affecte négativement votre visibilité de recherche.
Pour améliorer le temps de réponse de votre site, vous pouvez utiliser des URL dynamiques et suivre nos bonnes pratiques Core Web Vitals de Google.
En conclusion, bien que vous ne puissiez pas contrôler la fréquence à laquelle les moteurs de recherche indexent votre site, vous pouvez optimiser quelques aspects de votre site pour tirer le meilleur parti de chacune de ces explorations des moteurs de recherche afin d’améliorer le budget de crawl.