Problème d’Indexation Google : pourquoi les pages ne sont pas indexées ?

Voilà que le problème d’indexation Google demeure jusqu’à présent emblématique pour les webmasters et les professionnels souhaitant améliorer leur référencement naturel. Une chose est sûre, c’est que les algorithmes de Google n’ont jamais cessé de s’améliorer dans le but de proposer le meilleur contenu aux internautes.

Pourquoi votre page web n’est-elle pas indexée ?

 

Il est important de souligner, tout d’abord, que l’indexation Google se présente comme la base du référencement naturel (SEO). De ce fait, avant de chercher à tout prix de figurer en première page de Google, il faut premièrement réussir à être connu par les moteurs de recherche, une action traduite par l’indexation. Dans cet article, découvrez tout ce qu’il faut savoir sur l’indexation des sites web et son fonctionnement.

 

 

Sommaire

 

I.   Qu’est-ce qu’une indexation Google d’un site web ?

Historiquement, l’indexation renvoyait à l’étape d’inscription d’un site dans les différents “index” des moteurs de recherche. Aujourd’hui, le sens de ce terme a évolué. En effet, il signifie plutôt les différentes actions et processus qui permettent d’assurer la prise en considération des pages d’un site web par les moteurs de recherches.

Pour simplifier la notion d’indexation d’un site web, nous pouvons dire que cela fait référence au processus par lequel un robot d’un moteur de recherche parcourt, analyse, classifie les pages d’un site avant de les afficher dans une page de résultat. En d’autres termes, c’est l’enregistrement d’un site web sur une base de données. Cette étape d’indexation correspond essentiellement à la prise en compte de différentes pages et des différents contenus du site. Cette technique a pour but premier de présenter les contenus les plus pertinents dans les pages de résultats.

Sans l’étape d’indexation, sachez qu’un site web ne va pas être affiché après une recherche d’un internaute.

En plus du moteur de recherche, il faut savoir qu’un site web est en mesure d’être indexé par un annuaire. Etant donné que Google bénéficie d’une place plus que dominante parmi les moteurs de recherche, on parle d’indexation Google.

 

I.1. L’indexation mobile-first

I.1.a. Mise en vigueur

Avec la progression permanente de l’utilisation du mobile pour surfer sur le web, la modification de la technique d’indexation des sites était devenue plus que nécessaire. En effet, le moteur de recherche Google utilise, désormais, l’indexation mobile-first. De ce fait, nous trouvons que la firme de Mountain View opte pour l’indexation mobile-first au lieu de la version desktop. Ainsi, tout créateur de sites web doit privilégier le mobile-first, et ce, que ce soit pendant l’étape de la conception, de design ou de développement.

Rappelons qu’en septembre 2020, Google a fixé la date limite pour commencer à se tourner principalement vers les sites d’exploration et d’indexation à l’aide de l’indexation mobile first. Cette date a été prolongée jusqu’en mars 2021.

 

I.1.b. Les critères d’indexation mobile-first

Il faut savoir que cette indexation sur mobile se présente comme un plan à long terme que le moteur de recherche a commencé à mettre en place depuis juillet 2019. Depuis ce temps, Google a incité les créateurs des sites web à porter plus d’attention à plusieurs problèmes importants, notamment :

• Les balises Méta des robots sur version mobile doivent concorder avec la version bureau.
• Les images utilisées ne doivent pas être de mauvaise qualité. Il faut choisir des images adaptées à l’écran plus petit. Notons que toute image petite et de faible qualité ne va pas être indexée.
• Le contenu de la version mobile doit correspondre à celui du bureau. En effet, seule la version mobile va être indexée et va déterminer le classement dans la recherche.
• L’intégration des textes alternatifs significatifs pour les images.

 

I.2. Caffeine

La mise à jour Caffeine a été mise en place, il y a quelques années, dans le but d’améliorer la vitesse et le rafraîchissement de l’index Google. Avant, Google bot (robot d’exploration de Google utilisé pour recenser et indexer les pages web) effectuait l’analyse d’un groupe de pages selon un certain nombre de critères de pertinence. Par la suite, il les indexait une fois traitées. Désormais, cette tâche est réalisée page par page. Avec cette modification, nous trouvons que chaque contenu d’un site web est analysé indépendamment des autres.

L’avantage de ce nouveau mode de fonctionnement, c’est que tout contenu web est dès à présent accessible sur les moteurs de recherche, une fois crawlé et indexé.

Il est important de souligner que l’indexation Google est un sujet primordial en référencement naturel. De ce fait, comprendre son fonctionnement permet d’améliorer techniquement un site web pour le SEO.

 

II. Quelles sont les étapes de l’indexation d’une page web ?

II.1. L’exploration des robots Google : à la découverte du web

La première étape importante pour l’indexation Google de toute page web est de la découvrir. Le processus d’exploration de l’ensemble des pages sur internet est relativement simple. En effet, les robots de Google (Google bot ou spiders) naviguent de page en page. Ils suivent les liens hypertextes, et ce, que ce soit des liens internes ou des liens externes.

Une fois cette méthode est assimilée, il est plus simple de comprendre l’importance d’avoir des backlinks afin que le moteur de recherche puisse scruter l’ensemble du contenu de votre site. Les backlinks permettent également aux spiders d’explorer et surtout de revenir très souvent faire l’analyse de votre site.

Soulignons que plusieurs études analytiques SEO ont démontré que Google bot inspecte régulièrement les pages qu’il estime qualitatives, d’où l’importance de cette phase de découverte des pages web, basée essentiellement sur les liens.

 

II.2. L’index Google : une immense base de données

A chaque fois que les robots de Google découvrent une page, ils l’enregistrent. Cela s’effectue en créant une copie de tout le code HTML dans un index. Ce dernier peut être considéré comme une grande base de données qui classe les différentes pages web explorées et bien évidemment estimées pertinentes pour les utilisateurs. Afin de présenter plus rapidement les informations, ces bases de données sont rassemblées dans d’énormes datacenters composés de milliers de serveurs tout autour du globe.

 

II.3. Le ranking : comment Google classe et présente les résultats ?

Afin de comprendre comment Google propose les résultats, il est important de toujours se souvenir du but principal de ce moteur de recherche. En effet, Google a pour objectif de toujours offrir à ses utilisateurs à la recherche d’un mot clé précis, les résultats les plus pertinents, et ce, en un minimum de temps. Pour présenter ce type de page de résultats se voulant qualitatifs, le processus est le suivant :

• Toutes les pages dites pertinentes et de qualité sont identifiées sur l’index.
• Les algorithmes du moteur de recherche viennent répartir ces pages, et ce, selon des centaines de critères.
• Les SERPs sont affichées sur l’écran de l’utilisateur en suivant ce classement.

Notons que Google ordonne les pages en suivant deux grands axes d’analyse :

• La pertinence du contenu (le site doit obligatoirement répondre à l’intention de recherche de l’internaute) ;
• La popularité du site (les backlinks).

Durant ces dernières années, de nombreuses évolutions ont apporté de nouveaux critères comme :

• Le lieu ;
• La langue ;
• Les habitudes de l’utilisateur…

 

III. Comment faire pour que mon site soit indexé par Google ?

Quand vous mettez en ligne un nouveau contenu sur un site déjà existant ou un nouveau site, il est essentiel que ce soit indexé sur Google. En effet, rien n’est plus décevant que de travailler un contenu optimisé et de ne pas le voir dans l’index Google dans les quelques heures, voire les quelques jours qui suivent.

Afin de favoriser l’indexation Google rapide de vos pages, nombreuses approches sont possibles :

• Soumettre vos sitemaps XML ou « plans du site » sur Google Search Console
• Acquérir des liens de qualité issus d’autres sites web pour guider les robots des moteurs de recherche
• Corriger les blocages qui empêchent l’indexation par Google
• Améliorer la vitesse de chargement de votre site web
• Publier régulièrement du contenu

 

IV. Quelques conseils pour faciliter l’indexation d’un site par les moteurs de recherche

Pour faciliter l’indexation Google, nous vous conseillons de :

• Examiner régulièrement les rapports d’exploration disponibles sur la Search Console afin de repérer et réviser d’éventuels problèmes.
• Bien construire chaque page avec du contenu de qualité et un maillage interne favorisant la navigation des robots.
• Créer un site optimisé pour les mobiles répondant aux exigences de l’index Mobile First
• Eviter les contenus dupliqués
• Partager la page sur les réseaux sociaux
• Recycler une ancienne page déjà indexée

Si vous remarquez que votre page web n’est pas encore indexée, vous pouvez également solliciter directement Google, et ce, via la demande d’indexation de la Search Console. Vous êtes également en mesure d’inspecter les pages en erreur dans la Search Console et de suivre les instructions pour résoudre le problème concerné.

 

V.  Combien de temps faut-il pour que mon site soit indexé ?

Il faut savoir que le temps d’indexation d’une page web sur Google dépend de plusieurs critères. Généralement, une page est en mesure de s’afficher dans l’index Google entre quelques minutes, voire même quelques jours, après sa mise en ligne. Ce délai dépend principalement de :

• L’autorité de votre site
• La fréquence de crawl Google
• La procédure de soumission

Cependant, il faut savoir qu’une page indexée n’est pas nécessairement une page bien positionnée. En effet, Google prend plus de temps à identifier la qualité d’une page et la positionner correctement.

 

VI.   Comment vérifier l’indexation de mon site ?

Pour vérifier l’indexation de votre site, plusieurs méthodes sont possibles ;

• La vérification directement dans la barre de recherche de la Search Console
• L’inspection dans la barre de recherche Google avec l’outil « site:votresite.fr »
• L’analyse de la couverture dans votre Search Console.

 

VII. Nos conseils pour déterminer et détecter un problème d’Indexation Google

Pour relever les principales erreurs de votre stratégie de référencement, il faut passer en revue les pages de votre site web. Certes, avec un site comptant une infinité de pages, cela peut être très compliqué et long à étudier, toutefois, vous pouvez utiliser certains outils et certaines astuces qui sont là pour faciliter la tâche.

 

VII.1. Vérifiez le plan de votre site web sur Google Console

D’abord, il faut soumettre, sur Google Search Console, votre plan de site. Ce fichier s’appelle sitemap.xml. Il permet au moteur de recherche Google de détecter facilement l’ensemble des pages de votre site web. Néanmoins, parfois, les pages de votre site ne s’indexent pas. Afin de déterminer la cause, il faut entrer l’URL. Un rapport d’indexation vous sera communiqué. Ainsi, vous pourrez découvrir les erreurs que les algorithmes Google ont rencontrées lors de l’exploration de votre site.

Par ailleurs, votre page peut ne pas être indexée sans raison claire.

 

VII.2. La page en question peut-être déjà sur Google

Il est possible que les données indiquées sur le rapport d’indexation ne soient pas à jour. Par exemple, le rapport peut donner une réponse qui date du dernier crawl, toutefois, il n’indique pas nécessairement l’instant T. Cette erreur est très récurrente. Ainsi, si les données fournies ne sont pas d’actualités, cela peut signifier que votre page se trouve déjà sur le moteur de recherche Google. Pour en être sûr et vous assurer que vos pages sont bien indexées, vous pouvez tester la fonctionnalité site : www.exemple.fr. S’il s’agit d’un article, il faut écrire l’adresse URL de la page après la balise site.

 

VII.3. Est-ce que Google Bot a lu le contenu de votre page ?

Si les deux méthodes citées en haut ne fonctionnent pas, il faut visualiser si le moteur de recherche Google a lu votre site internet. Pour cela, il faut utiliser les logs qui sont fournis par votre hébergeur en ligne.

Ainsi, vous pouvez visualiser de nombreux éléments comme l’adresse IP du client, la page téléchargée ainsi que le code de retour de la page. Parfois, les hébergeurs web peuvent vous proposer la séparation des logs et des logs d’erreurs. Ces derniers sont particulièrement intéressants puisqu’ils nous indiquer si oui ou non, le moteur de recherche a reçu une erreur.

 

VII.4. Réaliser un audit avec un crawler

Comme nous l’avons déjà mentionné, certains outils sont faciles à utiliser et vous permettent de réaliser un audit. Si votre site web contient plusieurs pages, certains outils seront nécessaires. Ils sont très utiles pour établir un crawl sur votre site internet, et vous fournir toutes les données auxquelles vous pourrez avoir besoin (erreurs et recommandations). Parmi ces sites, on peut citer, par exemple, SemRush, AhRef, Semji, Majestic, etc.

 

VIII. Quoi faire pour éviter les erreurs d’indexation ?

Afin de remédier aux problèmes d’indexation Google, il faut évidemment vérifier certains points qui concernent l’état global de votre site web. Les raisons des problèmes d’indexation sont multiples. Parfois, le moteur de recherche peut penser que vous avez bloqué volontairement votre page. On peut expliquer cela par une erreur manuelle, par une extension, par un thème sur les CMS…

 

VIII.1. Attention aux pages 404

En utilisant les crawler cités, vous pouvez avoir accès à toutes les erreurs 404. Ainsi, vous aurez avez 2 solutions pour y remédier :

• La redirection 301 : en effet, si vous avez une page 404, ainsi qu’une nouvelle page ayant un contenu similaire, vous pourrez effectuer une sorte de redirection vers la deuxième. En ajout, vous pourrez récupérer tous le JUS SEO des backlinks.
• L’erreur 410 : il faut signaler au moteur de recherche Google que les pages 404 de votre site ont été volontairement supprimées. Donc, il va pouvoir comprendre que ce n’était pas une erreur. Ainsi, il va supprimer rapidement la page de l’index.

VIII.2. Vérifier le fichier robots.txt

Tous les sites web disposent généralement d’un fichier robots.txt. Ce dernier permet d’indiquer au moteur de recherche des instructions bien déterminées et précises. A titre illustratif, il peut demander à BING de ne pas indexer les pages auteurs, mais uniquement les pages d’articles. Ainsi, il peut restreindre les robots qui explorent le site web. Attention toutefois à ce que le fichier ne s’interpose pas entre le moteur de recherche Google et le contenu à indexer.

 

VIII.3. Vérifier le fichier .htaccess

Également, le fichier .htaccess propose de fonctionnalités permettant le blocage et la sécurisation de certains éléments de votre site web. On cite, à titre d’exemple, les pages et les catégories. Il faudra, au préalable, analyser le fichier .htaccess et l’améliorer.

 

IX. Comment désindexer un site de l’index Google ?

Sachez que vous avez la possibilité de désindexer un site web. Vous n’avez qu’à supprimer le site de la base de données. En supprimant les pages de l’index, ainsi, lors de la visite, le robot ne va pas naviguer sur des pages invisibles pour lui. De ce fait, il va vous désindexer.

Deux solutions sont possibles :

• Ajoutez les URLS à supprimer dans un fichier sitemap et utilisez la balise « expires
• Allez sur le Google index et puis, allez dans la section URL à supprimer

 

X. Update Google 2021 : indexation Google passe par un filtre « qualité »

Depuis quelque temps, tout le monde se pose la question : pourquoi Google met désormais trop de temps à indexer une page web ou ne l’indexe pas. En effet, Google ne veut plus indexer toutes les pages qui se proposent à lui.

Cependant, on connait tous les risques d’une page non indexée : une page non indexée = pas de trafic. Et c’est là le fond du problème.

Selon les experts de Google, pour être indexé, désormais, sur le moteur de recherche, tout contenu web doit passer par un filtre avant l’indexation. Gary IIIyes, analyste Search sur les bureaux de Zurich, confirme que le moteur de recherche n’a pas de problème d’indexation, c’est le contenu qui a un problème au niveau de la qualité.

Dès à présent, la règle dit : un contenu satisfaisant équivaut à une indexation Google.

Avant, un contenu bien optimisé est indexé sans problème au bout de quelques minutes ou quelques jours. Toutefois, aujourd’hui, votre contenu doit passer entre les mailles d’un filtre « qualité ». Gary IIIyes n’a pas précisé quels sont les nouveaux critères d’indexation. Toutefois, nous présumons que l’algorithme Google repère les anomalies comme les erreurs de grammaire, les fautes d’orthographe, les tournures de phrases incorrectes, etc.

Si votre contenu est insatisfaisant, pas la peine d’attendre, il ne sera pas indexé, à moins que vous effectuiez les corrections nécessaires.

 

XI. Comment indexer une page sur Google ?

Pour améliorer la « qualité » globale de votre site et espérer accélérer l’indexation de vos pages web, nous vous conseillons de :

X.1. Effectuer des modifications/ des ajouts de contenu

Sachez que Google aime le texte. De ce fait, si votre article ou votre page propose un contenu court, ajoutez du texte. Aussi, vérifiez que les tournures de phrases sont correctes. En effet, rafraîchir les contenus et les mettre à jour, enrichir et allonger les articles de blog, est toujours un effort apprécié par les algorithmes de Google.

Dans le cas où vous travaillez avec un CMS, la plateforme va automatiquement transmettre le nouveau contenu pour indexation. Ainsi, en mettant votre contenu à jour, vous pouvez forcer un nouvel envoi, ce qui est en faveur de l’indexation.

 

X.2. Ajouter des médias

Sachez que certaines pages peuvent s’indexer en rajoutant simplement des photos ou des vidéos.

Par exemple, ajouter des vidéos YouTube semble favoriser l’indexation Google. Peut-être parce que cette plateforme appartient au moteur de recherche Google ?

 

X.3. Résoudre les problèmes techniques

Un site trop lent peut empêcher l’indexation de votre page. Aussi, le robots.txt est en mesure de bloquer une partie de votre site. C’est à vous de régler ce type de problème.

 

X.4. Améliorer le maillage interne

Évitez les pages orphelines sans maillage interne. Vous devez vous assurer que votre page soit référencée sur votre page d’accueil ou sur des pages similaires.

Pour l’instant pour espérer une indexation Google et passer le cap du filtre « qualité, la technique la plus efficace est d’améliorer le contenu. Les textes de moyenne qualité sont ainsi « sanctionnés ».

Nous pouvons dire que, désormais, Google vise plus que jamais la qualité et la satisfaction de ses utilisateurs. De ce fait, vous devez simplifier votre texte en utilisant des phrases simples, soigner votre rédaction web, donner de vrais conseils, etc.

 

Conclusion

En termes de conclusion, en vue de l’importance de l’indexation Google de vos pages web pour le référencement naturel (SEO), il est important de mettre en œuvre toutes les techniques nécessaires afin de répondre aux exigences des robots du moteur de recherche. Selon la dernière mise à jour 2021, voilà que Google prône haut et fort la « Qualité » pour une meilleure expérience utilisateur. De ce fait, ne vous posez plus la question pourquoi votre contenu n’a pas été indexé et pensez plutôt à bien soigner les contenus de votre site web.