Een sitemap vervult twee verschillende functies afhankelijk van het formaat: het XML-bestand voedt de indexeringsrobots, de HTML-sitemap biedt een navigatiepad voor bezoekers. De twee verwarren is alsof je een crawlprobleem behandelt met een ergonomisch hulpmiddel, of omgekeerd. Het begrijpen van dit technische onderscheid beïnvloedt elke daaropvolgende beslissing.
XML-tags van de sitemap: lastmod, changefreq en priority in de praktijk
De structuur van een XML-sitemap is gebaseerd op het protocol dat is gedefinieerd door sitemaps.org. Elke invoer <url> omvat minimaal een <loc>-tag die de canonieke URL van de pagina bevat. De optionele tags worden vaak slecht benut.
De <lastmod>-tag moet de werkelijke wijzigingsdatum van de inhoud weerspiegelen. Te veel CMS’en werken deze bij bij elke kleine opslaan (correctie van een spatie, toevoeging van een tag), wat het signaal dat naar de zoekmachine wordt verzonden, verwatert. Googlebot negeert uiteindelijk een lastmod die verandert zonder dat de inhoud daadwerkelijk verandert.
De <changefreq>-tag (daily, weekly, monthly) heeft geen directe invloed meer op de crawlfrequentie van Google. Als je ook Bing Webmaster Tools target, heeft het invullen ervan een marginale waarde.
De <priority>-tag is relatief voor de site zelf: een waarde van 0.8 op een pagina betekent niets in absolute termen. Het dient alleen om je eigen URL’s in het bestand te hiërarchiseren. We raden aan deze te verwijderen om het bestand te verlichten en valse arbitrages te voorkomen.
Op een grote site is het standaard om de sitemap te structureren in meerdere bestanden die worden geïndexeerd door een sitemap index (<sitemapindex>).
HTML-sitemap en navigatie: wat het W3C erkent als alternatieve route
De HTML-sitemap is niets van een artefact uit de jaren 2000. Het W3C erkent het als een legitieme manier om een gebruiker te helpen een pagina te vinden, net als een hoofdmenu of een zoekfunctie. Voor een bezoeker die een sectie niet kan vinden via het gebruikelijke pad, de sitemap pagina van Geekob illustreert dit type alternatieve navigatie met een duidelijke hiërarchie per categorie.
Een slecht ontworpen HTML-sitemap wordt contraproductief. Het opsommen van alle URL’s zonder groepering verandert de pagina in een muur van onbruikbare links. Het W3C raadt aan om inhoud te groeperen op basis van redactiecategorieën en pagina’s zonder navigatiewaarde (gedupliceerde tagpagina’s, gepagineerde archieven, tijdelijke landingspagina’s) te vermijden.
Toegankelijkheid bepaalt de werkelijke bruikbaarheid van de sitemap. Een bruikbare HTML-sitemap veronderstelt:
- Expliciete links waarvan de titel de doelpagina beschrijft, geen “klik hier” of blote URL’s
- Een hiërarchie van titels (h2, h3) die de secties structureert voor schermlezers
- Een volledig met het toetsenbord bruikbare navigatie, zonder focusval of blokkeren scripts
Uitgebreidheid betekent niet gebruiksgemak. Een sitemap van 300 ongesorteerde links zal door de bezoeker net zo goed worden genegeerd als door de robot. Het is beter om strategische pagina’s te selecteren en de hiërarchie visueel te organiseren.
Een XML-sitemap verklaren en indienen bij zoekmachines
Twee methoden bestaan om de aanwezigheid van de sitemap aan de robots te signaleren. De eerste is het toevoegen van een richtlijn in het robots.txt-bestand:
Sitemap: https://exemple.com/sitemap.xml
Deze regel is voldoende zodat elke crawler die aan het protocol voldoet het bestand ontdekt. Het werkt voor Google, Bing en secundaire zoekmachines die de norm respecteren.
De tweede methode is de directe indiening in Google Search Console of Bing Webmaster Tools. Het voordeel: een statusupdate (aantal ingediende URL’s, aantal geïndexeerde URL’s, gedetecteerde fouten). Bing Webmaster Tools behandelt ook de indiening via API, wat het proces kan automatiseren op sites waarvan de inhoud vaak verandert.
De twee methoden sluiten elkaar niet uit. Verklaren in robots.txt zorgt voor passieve ontdekking. Indienen in de Search Console biedt actieve opvolging. Het combineren van beide blijft de meest betrouwbare praktijk.
Arbitrage tussen XML-sitemap en HTML-sitemap afhankelijk van het type site
De keuze is niet in termen van “de een of de ander”. De vraag is welke een onderhoudsinvestering verdient.
- Een site met minder dan een paar honderd pagina’s met een solide interne linkstructuur kan zonder XML-sitemap zonder meetbare impact op de indexering. De HTML-sitemap daarentegen verbetert de navigatie voor bezoekers die via de zoekopdracht op een diepe pagina komen
- Een e-commerce of redactionele site met duizenden URL’s heeft de XML-sitemap nodig om ervoor te zorgen dat weespagina’s of recent gepubliceerde pagina’s door de robots worden ontdekt
- Een meertalige site profiteert van een XML-sitemap die de hreflang-tags bevat om de overeenkomsten tussen taalkundige versies aan te geven, een gebruik dat de HTML-sitemap niet dekt
De XML-sitemap dient de robots, de HTML-sitemap dient de mensen. Beide beantwoorden verschillende problemen. Op een gemiddelde site met een duidelijke architectuur biedt de HTML-sitemap vaak meer waarde die door de gebruiker wordt waargenomen dan het XML-bestand voor de crawl.
Een sitemap, ongeacht het formaat, corrigeert geen gebrekkige architectuur. Als je strategische pagina’s meer dan drie klikken van de startpagina zijn verborgen, zal het XML-bestand het crawlprobleem gedeeltelijk compenseren, maar de bezoeker zal de inhoud nog steeds niet vinden. De interne linkstructuur blijft de belangrijkste hefboom, en de sitemap een aanvulling die een al doordachte structuur documenteert.
