Crawl, index, affichage : comment Google voit vos pages.

Vous publiez une nouvelle page. Elle est en ligne, vous tapez son adresse, elle s'affiche. Trois jours plus tard, vous cherchez sur Google une phrase qui y figure, et rien. Ce n'est pas une panne, et votre site n'est pas cassé.

Trois étapes, trois façons de disparaître

Google résume lui-même son fonctionnement en trois temps. D'abord, l'exploration : Googlebot doit trouver et télécharger la page, en suivant des liens ou en lisant un plan du site. Une page vers laquelle rien ne pointe peut rester introuvable longtemps.

Ensuite vient l'indexation. Le robot affiche la page comme un navigateur, exécute le JavaScript, regarde le contenu et la structure, puis décide si elle rejoint son index. Une page peut être explorée sans être indexée.

Enfin, l'affichage : Google puise dans son index quand une personne fait une recherche. Être indexé ne veut pas dire apparaître en haut, ni même apparaître sur une requête donnée. C'est une place dans le catalogue, pas dans la vitrine.

Le piège qui fait disparaître une page par erreur

Le fichier robots.txt dit au robot « ne viens pas explorer ceci ». Mais empêcher l'exploration n'empêche pas l'indexation : si d'autres sites pointent vers l'adresse, Google peut l'inscrire quand même, sans description.

La balise noindex dit au contraire « tu peux regarder, mais ne me range pas ». Pour obéir à un noindex, Google doit d'abord lire la page. Pour retirer une page de ses résultats, on la laisse donc explorer et on y pose un noindex. Le robots.txt sert à épargner au serveur le passage du robot, pas à cacher une page.

Et les réponses des IA, dans tout ça

Les Aperçus IA et le Mode IA de Google s'appuient sur le même index. Une page qui n'a pas franchi les trois portes ne peut pas davantage nourrir une réponse générée par l'IA qu'elle ne peut sortir dans un lien bleu.

Ce que vous pouvez vérifier vous-même

• Tapez site:votredomaine.fr dans Google pour estimer ce qui est indexé chez vous.
• Dans la Search Console, gratuite, l'outil d'inspection d'URL répond page par page : indexée ou non, et pourquoi.
• Vérifiez qu'un lien mène à chaque page importante. Une page orpheline part avec un handicap.

Ce que ce trajet ne dit pas

Franchir les trois étapes n'est pas être bien classé. Ici, on parle seulement d'exister dans l'index, le préalable à tout le reste. Quand une page manque à l'appel, la cause est souvent un réglage : noindex oublié, robots.txt trop large ou absence de lien.

Le choix de l'adresse de référence est détaillé dans l'article sur les pages qui ont plusieurs adresses. Pour voir quels robots passent sur un site, consultez les journaux du serveur. Notre scanner en vérifie une partie.

Sources

• How Google Search works, Google Search Central. Source primaire : exploration, indexation et affichage.
• Introduction au fichier robots.txt, Google Search Central. Source primaire : le robots.txt gère l'exploration, non l'indexation.
• Bloquer l'indexation avec noindex, Google Search Central. Source primaire : une page noindex doit rester explorable.
• Rapport sur l'indexation des pages, aide Search Console.

Questions fréquentes

Pourquoi ma page n'apparaît-elle pas sur Google alors qu'elle est en ligne ?

Elle doit être explorée, analysée et rangée dans l'index avant de pouvoir être affichée. Elle peut s'arrêter à chaque étape, faute de lien ou à cause d'un noindex ou d'un robots.txt trop large.

Quelle différence entre le robots.txt et la balise noindex ?

Le robots.txt gère l'exploration ; le noindex gère l'indexation. Pour retirer une page des résultats, on la laisse explorer et on y pose un noindex.

Comment savoir si une page est indexée par Google ?

Utilisez site:votredomaine.fr pour une vue d'ensemble, puis l'inspection d'URL de la Search Console pour connaître l'état d'une page précise.