robots.txt en sitemap kruiscontrole
robots.txt is geen muur — het is een verzoek, gestandaardiseerd in RFC 9307, en crawlers mogen het volgen of negeren. sitemap.xml is geen indexatie-bevel — het is een lijst die je aanbiedt. De fout zit niet in één van beide apart, maar in de combinatie: URLs die je in robots.txt blokkeert en in je sitemap aanbiedt, sturen crawlers een tegenspraak.
De robots & sitemap-tool haalt beide documenten op via onze server en legt ze naast elkaar: regel voor regel wat je verbiedt en toelaat, en de kruislijst van URL's die robots.txt blokkeert terwijl de sitemap ze noemt. Een sitemap die niet als XML aankomt, of een Disallow op het verkeerde pad, staat dan gewoon in het rapport.
Dit artikel legt uit wat élke regel betekent, welke combinaties wringen, en waarom "noindex" iets anders is dan "Disallow" — met de tools die het verschil kunnen meten.
Wat robots.txt wel en niet is
Een Disallow is een verzoek om niet te crawlen; het blokkeert een crawler niet technisch en verbergt een URL niet. Wil je dat een pagina niet in de index komt, is het middel de noindex-meta of de HTTP-header — en die kunnen alleen werken als de crawler de pagina mag lezen. Precies daar wringt de combinatie met robots.txt: een geblokkeerde pagina waarvan de noindex niemand kan lezen, blijft soms gewoon in de index staan.
De kruiscontrole die telt
De meest voorkomende tegenspraak: een sitemap die URL's aanbiedt die robots.txt zojuist verbiedt. Crawlers behandelen dat niet uniform — sommigen negeren de sitemap-entry, sommigen registreren de contradictie als signaal van slordig beheer. De tool toont de kruislijst; wat je ermee doet (intrekken uit de sitemap, of het verbod in robots.txt opheffen) is een beleidskeuze die jij maakt met de lijst voor je neus.
Regels die vaak net anders werken dan gedacht
User-agent-specifieke regels gelden per crawler — wat voor Google-Image geldt, hoeft voor een gewone crawler niet te gelden. Een `Disallow: /*?` met wildcard werkt niet overal gelijk; RFC 9307 definieert wat er mag, en de rest is interpretatie van de lezer. Crawl-delay wordt door de grote huizen genegeerd. De tool beoordeelt de tekst zoals RFC 9307 hem definieert en laat twijfel als twijfel staan — het is jouw document, niet ons oordeel.
Waar dit toe leidt
Een site die zich goed presenteert aan crawlers, presenteert zich ook goed aan delers: een OG-image die robots.txt blokkeert, ziet een Deler niet — wat Google, LinkedIn en WhatsApp uit je pagina halen is dat verhaal van de andere kant, en website beveiligen begint waar deze artikelen eindigen: meten wat er staat, niet vermoeden wat er staat.