Quand un site publie des dizaines de pages par semaine, les moteurs de recherche ne les trouvent pas toutes par eux-mêmes. Le sitemap est le fichier qui leur fournit la liste complète des URL à explorer. Pour quiconque surveille l’évolution du web, comprendre ce mécanisme change la manière de collecter l’information.
Le sitemap comme signal de fraîcheur pour la veille
La plupart des guides présentent le sitemap sous l’angle du référencement. Son utilité pour la veille est moins documentée, alors qu’elle est directe.
A lire en complément : Tout savoir sur le classement féminin et barème points biathlon pour la saison
Un sitemap XML contient, pour chaque URL, une balise lastmod qui indique la date de dernière modification significative. En surveillant cette balise sur les sites que vous suivez, vous repérez les pages mises à jour sans avoir aux visiter une par une.
Google a d’ailleurs précisé que lastmod doit refléter un changement réel du contenu principal, des données structurées ou des liens, et non un simple ajustement de mise en forme. Ce durcissement transforme la balise en indicateur fiable : quand elle bouge, le contenu a réellement changé.
A lire également : Tout savoir sur les crédits immobiliers à Pézenas : conseils et solutions de financement
En consultant régulièrement le sitemap de Notre Veille Du Web, on visualise par exemple l’ensemble des pages récemment publiées ou actualisées sur le site, classées par date.
Fichier sitemap XML : structure et limites techniques
Un sitemap est un fichier texte au format XML. Il commence par une déclaration de jeu de caractères, puis liste des blocs contenant chacun une URL et ses métadonnées. Voici ce qu’on y trouve concrètement :
- La balise loc, qui contient l’adresse complète de la page (par exemple https://monsite.fr/article-veille).
- La balise lastmod, qui précise la date du dernier changement significatif au format ISO (année-mois-jour).
- La balise changefreq, qui suggère une fréquence de mise à jour (daily, weekly, monthly). Google indique toutefois qu’il l’ignore largement.
- La balise priority, censée hiérarchiser les pages entre elles. En pratique, les moteurs de recherche n’en tiennent plus compte pour leurs décisions de crawl.
Le fichier est généralement accessible à l’adresse /sitemap.xml ou /sitemap_index.xml. Un sitemap unique ne peut pas dépasser 50 000 URL. Au-delà, il faut créer un index de sitemaps qui pointe vers plusieurs fichiers secondaires.
Sur WordPress, des extensions comme Yoast ou Rank Math génèrent automatiquement ces fichiers. Elles segmentent les URL par type de contenu (articles, pages, catégories) et excluent les pages marquées noindex.
Fin du ping de sitemap : ce qui change pour le suivi
Jusqu’à récemment, il était possible de « pinger » Google pour lui signaler une mise à jour du sitemap. Google a supprimé le support des endpoints de ping fin 2023, en expliquant que le mécanisme était trop exploité par le spam.
Cette suppression a une conséquence directe pour la veille. Elle signifie que la simple notification d’un changement ne suffit plus. Google se fie désormais au contenu réel du fichier sitemap et à la cohérence entre la date lastmod, la date visible sur la page et le champ dateModified dans les données structurées.
Pour un veilleur, cette évolution est une bonne nouvelle. Un sitemap dont les dates sont fiables devient un outil de détection plus précis qu’un flux RSS mal maintenu. Quand les trois dates (lastmod, date affichée, schéma) concordent, on peut considérer que la mise à jour est authentique.
Un sitemap obsolète fausse la perception du web
Un cas documenté décrit une plateforme e-commerce dont les logs serveur montraient que Googlebot continuait à crawler des URL supprimées, parce que le sitemap n’avait pas été régénéré après une migration. Un sitemap non maintenu envoie de faux signaux, autant aux moteurs qu’aux outils de veille automatisés.
Si vous exploitez les sitemaps d’un tiers pour votre veille, vérifiez que les dates lastmod évoluent réellement. Un fichier dont toutes les dates sont identiques sur des centaines de pages est probablement généré sans refléter de vrais changements.
Sitemap et robots.txt : deux fichiers complémentaires pour le SEO
Le sitemap liste les pages à explorer. Le fichier robots.txt indique les pages à ne pas explorer. Confondre leurs rôles est une erreur fréquente.
Le robots.txt bloque le crawl, pas l’indexation. Une page bloquée dans robots.txt peut quand même apparaître dans les résultats de recherche si d’autres sites pointent vers elle. Le sitemap, lui, facilite la découverte des pages mais ne garantit ni leur indexation ni leur classement.
Pour que les deux fichiers fonctionnent ensemble, la bonne pratique consiste à déclarer l’emplacement du sitemap directement dans le robots.txt, avec une ligne du type Sitemap: https://monsite.fr/sitemap.xml. Cette déclaration permet aux moteurs de localiser le fichier sans passer par la Search Console.
- Ne listez dans le sitemap que les pages en statut 200 (accessibles) et indexables.
- Excluez les pages avec une balise noindex ou celles redirigées en 301.
- Alignez lastmod, dateModified et la date visible sur la page pour renforcer la crédibilité du signal.
Un sitemap bien structuré ne transforme pas le référencement d’un site à lui seul. Il réduit le délai entre une publication et sa prise en compte par les moteurs. Pour la veille, ce raccourci entre la mise en ligne et la visibilité est précisément ce qui compte : repérer un contenu neuf avant qu’il ne soit noyé dans la masse.