Wenn eine Website Dutzende von Seiten pro Woche veröffentlicht, finden die Suchmaschinen nicht alle von selbst. Die Sitemap ist die Datei, die ihnen die vollständige Liste der zu durchsuchenden URLs bereitstellt. Für jeden, der die Entwicklung des Webs verfolgt, verändert das Verständnis dieses Mechanismus die Art und Weise, wie Informationen gesammelt werden.
Die Sitemap als Frische-Signal für die Überwachung
Die meisten Anleitungen präsentieren die Sitemap aus der Sicht der Suchmaschinenoptimierung. Ihre Nützlichkeit für die Überwachung ist weniger dokumentiert, obwohl sie direkt ist.
Lesetipp : Alles über die Brico Dépôt Lade rampe für Anhänger: Bewertungen und Vergleich
Eine XML-Sitemap enthält für jede URL ein lastmod-Tag, das das Datum der letzten wesentlichen Änderung angibt. Indem Sie dieses Tag auf den von Ihnen verfolgten Websites überwachen, erkennen Sie die aktualisierten Seiten, ohne sie einzeln besuchen zu müssen.
Google hat außerdem klargestellt, dass lastmod eine tatsächliche Änderung des Hauptinhalts, der strukturierten Daten oder der Links widerspiegeln muss und nicht nur eine einfache Formatänderung. Diese Verschärfung verwandelt das Tag in einen zuverlässigen Indikator: Wenn es sich ändert, hat sich der Inhalt tatsächlich geändert.
Ebenfalls empfehlenswert : Alles über die Frauenwertung und das Punktebewertungssystem im Biathlon für die Saison
Durch regelmäßige Konsultation der Sitemap von Notre Veille Du Web kann man beispielsweise alle kürzlich veröffentlichten oder aktualisierten Seiten auf der Website sehen, sortiert nach Datum.
XML-Sitemap-Datei: Struktur und technische Grenzen
Eine Sitemap ist eine Textdatei im XML-Format. Sie beginnt mit einer Zeichencodierungserklärung und listet dann Blöcke auf, die jeweils eine URL und ihre Metadaten enthalten. Hier ist, was man dort konkret findet:
- Das loc-Tag, das die vollständige Adresse der Seite enthält (zum Beispiel https://monsite.fr/article-veille).
- Das lastmod-Tag, das das Datum der letzten wesentlichen Änderung im ISO-Format (Jahr-Monat-Tag) angibt.
- Das changefreq-Tag, das eine Aktualisierungsfrequenz vorschlägt (täglich, wöchentlich, monatlich). Google gibt jedoch an, dass es dies weitgehend ignoriert.
- Das priority-Tag, das die Seiten untereinander hierarchisieren soll. In der Praxis berücksichtigen Suchmaschinen dies nicht mehr bei ihren Crawling-Entscheidungen.
Die Datei ist normalerweise unter der Adresse /sitemap.xml oder /sitemap_index.xml zugänglich. Eine einzelne Sitemap darf nicht mehr als 50.000 URLs enthalten. Darüber hinaus muss ein Sitemap-Index erstellt werden, der auf mehrere sekundäre Dateien verweist.
Auf WordPress generieren Erweiterungen wie Yoast oder Rank Math diese Dateien automatisch. Sie segmentieren die URLs nach Inhaltstyp (Artikel, Seiten, Kategorien) und schließen Seiten mit dem noindex-Tag aus.
Ende des Sitemap-Pings: Was sich für die Überwachung ändert
Bis vor kurzem war es möglich, Google zu “pingen”, um eine Aktualisierung der Sitemap zu melden. Google hat die Unterstützung für Ping-Endpunkte Ende 2023 eingestellt, mit der Erklärung, dass der Mechanismus zu stark von Spam ausgenutzt wurde.
Diese Streichung hat eine direkte Konsequenz für die Überwachung. Sie bedeutet, dass die einfache Benachrichtigung über eine Änderung nicht mehr ausreicht. Google verlässt sich nun auf den tatsächlichen Inhalt der Sitemap-Datei und auf die Konsistenz zwischen dem lastmod-Datum, dem auf der Seite sichtbaren Datum und dem Feld dateModified in den strukturierten Daten.
Für einen Überwacher ist diese Entwicklung eine gute Nachricht. Eine Sitemap, deren Daten zuverlässig sind, wird zu einem präziseren Erkennungswerkzeug als ein schlecht gewarteter RSS-Feed. Wenn die drei Daten (lastmod, angezeigtes Datum, Schema) übereinstimmen, kann man davon ausgehen, dass die Aktualisierung authentisch ist.
Eine veraltete Sitemap verfälscht die Wahrnehmung des Webs
Ein dokumentierter Fall beschreibt eine E-Commerce-Plattform, deren Serverprotokolle zeigten, dass Googlebot weiterhin gelöschte URLs crawlt, weil die Sitemap nach einer Migration nicht regeneriert wurde. Eine nicht gewartete Sitemap sendet falsche Signale, sowohl an die Suchmaschinen als auch an automatisierte Überwachungswerkzeuge.
Wenn Sie die Sitemaps eines Dritten für Ihre Überwachung nutzen, überprüfen Sie, ob die lastmod-Daten tatsächlich aktualisiert werden. Eine Datei, in der alle Daten auf Hunderten von Seiten identisch sind, wird wahrscheinlich generiert, ohne echte Änderungen widerzuspiegeln.
Sitemap und robots.txt: zwei komplementäre Dateien für SEO
Die Sitemap listet die zu durchsuchenden Seiten auf. Die Datei robots.txt gibt an, welche Seiten nicht durchsucht werden sollen. Ihre Rollen zu verwechseln, ist ein häufiges Missverständnis.
Die robots.txt blockiert das Crawlen, nicht die Indizierung. Eine in robots.txt blockierte Seite kann dennoch in den Suchergebnissen erscheinen, wenn andere Websites auf sie verlinken. Die Sitemap hingegen erleichtert die Entdeckung der Seiten, garantiert jedoch weder deren Indizierung noch deren Ranking.
Damit die beiden Dateien zusammenarbeiten, besteht die beste Praxis darin, den Speicherort der Sitemap direkt in der robots.txt zu deklarieren, mit einer Zeile wie Sitemap: https://monsite.fr/sitemap.xml. Diese Erklärung ermöglicht es den Suchmaschinen, die Datei zu finden, ohne die Search Console zu nutzen.
- Listen Sie in der Sitemap nur Seiten mit dem Status 200 (zugänglich) und indexierbar auf.
- Schließen Sie Seiten mit einem noindex-Tag oder solche, die auf 301 umgeleitet werden, aus.
- Richten Sie lastmod, dateModified und das auf der Seite sichtbare Datum aus, um die Glaubwürdigkeit des Signals zu stärken.
Eine gut strukturierte Sitemap allein verändert nicht das Ranking einer Website. Sie verkürzt die Zeitspanne zwischen einer Veröffentlichung und deren Berücksichtigung durch die Suchmaschinen. Für die Überwachung ist diese Abkürzung zwischen dem Online-Stellen und der Sichtbarkeit genau das, was zählt: einen neuen Inhalt zu erkennen, bevor er in der Masse untergeht.