Wanneer een site tientallen pagina’s per week publiceert, vinden zoekmachines ze niet allemaal vanzelf. De sitemap is het bestand dat hen de volledige lijst van te verkennen URL’s biedt. Voor iedereen die de evolutie van het web volgt, verandert het begrijpen van dit mechanisme de manier waarop informatie wordt verzameld.
De sitemap als versheidsignaal voor monitoring
De meeste gidsen presenteren de sitemap vanuit het perspectief van SEO. Het nut ervan voor monitoring is minder gedocumenteerd, terwijl het rechttoe rechtaan is.
Ook interessant : Alles wat je moet weten over de vrouwelijke ranking en punten systeem biatlon voor het seizoen
Een XML-sitemap bevat voor elke URL een lastmod-tag die de datum van de laatste significante wijziging aangeeft. Door deze tag te volgen op de sites die je in de gaten houdt, kun je de bijgewerkte pagina’s herkennen zonder ze één voor één te hoeven bezoeken.
Google heeft bovendien verduidelijkt dat lastmod een echte wijziging van de hoofdinhoud, gestructureerde gegevens of links moet weerspiegelen, en niet een eenvoudige opmaakwijziging. Deze verstrenging maakt de tag een betrouwbare indicator: wanneer deze verandert, is de inhoud daadwerkelijk gewijzigd.
Door regelmatig de sitemap van Notre Veille Du Web te raadplegen, kun je bijvoorbeeld een overzicht zien van alle recent gepubliceerde of bijgewerkte pagina’s op de site, gesorteerd op datum.
XML-sitemapbestand: structuur en technische limieten
Een sitemap is een tekstbestand in XML-formaat. Het begint met een karaktersetverklaring en lijst blokken op die elk een URL en zijn metadata bevatten. Dit vind je er concreet in:
- De loc-tag, die het volledige adres van de pagina bevat (bijvoorbeeld https://monsite.fr/article-veille).
- De lastmod-tag, die de datum van de laatste significante wijziging in ISO-formaat (jaar-maand-dag) specificeert.
- De changefreq-tag, die een updatefrequentie suggereert (dagelijks, wekelijks, maandelijks). Google geeft echter aan dat het deze grotendeels negeert.
- De priority-tag, die bedoeld is om de pagina’s onderling te hiërarchiseren. In de praktijk houden zoekmachines hier echter niet meer rekening mee bij hun crawlbeslissingen.
Het bestand is meestal toegankelijk op het adres /sitemap.xml of /sitemap_index.xml. Een enkele sitemap mag niet meer dan 50.000 URL’s bevatten. Daarboven moet je een index van sitemaps maken die naar verschillende secundaire bestanden verwijst.
Op WordPress genereren extensies zoals Yoast of Rank Math deze bestanden automatisch. Ze segmenteren de URL’s op type inhoud (artikelen, pagina’s, categorieën) en sluiten pagina’s met een noindex-tag uit.
Einde van de sitemap-ping: wat verandert er voor de monitoring
Tot voor kort was het mogelijk om Google te “pingen” om een update van de sitemap aan te geven. Google heeft de ondersteuning voor ping-eindpunten eind 2023 verwijderd, met de uitleg dat het mechanisme te veel door spam werd misbruikt.
Deze verwijdering heeft een directe consequentie voor de monitoring. Het betekent dat de eenvoudige melding van een wijziging niet langer voldoende is. Google vertrouwt nu op de werkelijke inhoud van het sitemapbestand en de consistentie tussen de lastmod-datum, de datum die op de pagina zichtbaar is en het veld dateModified in de gestructureerde gegevens.
Voor een monitor is deze evolutie goed nieuws. Een sitemap waarvan de datums betrouwbaar zijn, wordt een nauwkeuriger detectietool dan een slecht onderhouden RSS-feed. Wanneer de drie datums (lastmod, weergegeven datum, schema) overeenkomen, kan men aannemen dat de update authentiek is.
Een verouderde sitemap vertekent de perceptie van het web
Een gedocumenteerde casus beschrijft een e-commerceplatform waarvan de serverlogs toonden dat Googlebot bleef crawlen naar verwijderde URL’s, omdat de sitemap niet was vernieuwd na een migratie. Een niet-onderhouden sitemap stuurt valse signalen, zowel naar zoekmachines als naar geautomatiseerde monitoringtools.
Als je de sitemaps van een derde partij gebruikt voor je monitoring, controleer dan of de lastmod-datums daadwerkelijk evolueren. Een bestand waarvan alle datums identiek zijn op honderden pagina’s, wordt waarschijnlijk gegenereerd zonder echte wijzigingen weer te geven.
Sitemap en robots.txt: twee complementaire bestanden voor SEO
De sitemap lijst de pagina’s op die moeten worden verkend. Het robots.txt-bestand geeft aan welke pagina’s niet moeten worden verkend. Het verwarren van hun rollen is een veelvoorkomende fout.
Het robots.txt-bestand blokkeert de crawl, niet de indexering. Een pagina die in robots.txt is geblokkeerd, kan nog steeds verschijnen in de zoekresultaten als andere sites naar haar linken. De sitemap daarentegen vergemakkelijkt de ontdekking van pagina’s maar garandeert noch hun indexering, noch hun ranking.
Om ervoor te zorgen dat beide bestanden goed samenwerken, is het een goede praktijk om de locatie van de sitemap rechtstreeks in het robots.txt-bestand te declareren, met een regel zoals Sitemap: https://monsite.fr/sitemap.xml. Deze verklaring stelt zoekmachines in staat om het bestand te lokaliseren zonder de Search Console te gebruiken.
- Vermeld in de sitemap alleen de pagina’s met status 200 (toegankelijk) en indexeerbaar.
- Sluit pagina’s met een noindex-tag of die 301-omgeleid zijn uit.
- Stem lastmod, dateModified en de datum die op de pagina zichtbaar is op om de geloofwaardigheid van het signaal te versterken.
Een goed gestructureerde sitemap verandert de SEO van een site niet op zichzelf. Het verkort de tijd tussen publicatie en opname door zoekmachines. Voor monitoring is deze verkorting tussen online zetten en zichtbaarheid precies wat telt: het opsporen van nieuwe inhoud voordat deze in de massa verdrinkt.