Trainen of citaten: wat je robots.txt zegt tegen elf AI-crawlers
robots.txt is één bestand, maar de bezoekers lezen het apart: GPTBot van OpenAI traint modellen, OAI-SearchBot haalt citaties op, Perplexity-User haalt op afroep op. De robots- en sitemap-tool beoordeelt élke agent uit een vaste roster van elf — OpenAI, Anthropic, Perplexity, Google, Apple, Common Crawl en Meta — apart op je homepage, met dezelfde regels die de sitemap-kruiscontrole al deed.
De AI-laag meet, ze adviseert niet: per agent staat er wat je bestand tegenover hem zegt — toegestaan of geweigerd, en uit welke groep dat volgt. Ook llms.txt wordt gemeten, op /llms.txt en /.well-known/llms.txt, met content-type: een vangnet dat html teruggeeft op het kaartpad is een gemeten fout.
Begin bij je eigen adres: wie mag je homepage lezen — alleen om te citeren, of ook om mee te trainen? De tool legt per agent bloot wat je beleid werkelijk zegt; de keuze is en blijft de jouwe.
1. Trainen, zoeken, op afroep: drie soorten bezoekers
Vroeger was "de crawler" één gast en robots.txt één brief voor iedereen. Sinds AI-agents gescheiden zijn, is die brief op elk adres apart gericht: GPTBot en CCBot verzamelen trainingsmateriaal, OAI-SearchBot en Claude-SearchBot halen teksten op om te citeren en te zoeken, ChatGPT-Agent en Perplexity-User halen een pagina op omdat een persoon erom vroeg. Een Disallow die de eerste soort buitensluit, zegt over de twee andere niets — en de tool meldt per agent welke van de drie rollen hij speelt en wat er voor hem geldt.
Twee namen in de roster zijn geen crawler-streng maar een controle-token in robots.txt: Google-Extended en Applebot-Extended. Ze staan eromdat het bestand zélf ze tegen zijn bezoekers uitspreekt — de meting leest wat er staat, niet wat een uitgever er uiteindelijk mee doet.
2. Dezelfde grammatica, een andere gast
De AI-oordelen zijn geen tweede mening: ze vallen uit dezelfde RFC 9307-regels die de kruiscontrole al gebruikte — de langst matchende regel wint, een Disallow zonder geldig pad verbiedt niets, en de wildcard-groep erft naar elke agent die het bestand niet bij naam noemt. Staat er een eigen groep voor GPTBot met Disallow: /, dan wordt dát alleen GPTBot voorgehouden; de zoek-agents van hetzelfde huis lopen gewoon door het wildcard-hek.
Daarom is "alle AI blokkeren" geen enkele keuze meer: een User-agent: * met Disallow: / sluit élke agent uit, ook de agents die bezoekers en citaties meebrengen. De tool meldt beide gevallen als een keuze die je zelf maakte — de agenten bij naam — en niet als fout; wat je wilt toelaten is beleid, wat er staat is meting.
3. llms.txt: een kaart, geen deur
Naast robots.txt staat sinds 2024 een tweede document in opkomst: llms.txt, een kale-tekstkaart van de site die sommige agents vrijwillig lezen. Digizap meet hem op beide standaardplaatsen, /llms.txt en /.well-known/llms.txt, en meldt status en content-type. Een kaart die er staat, is een feit om te benoemen; een html-vangnet op het kaartpad — wat single-page-apps vaak produceren — is een gemeten fout: 200 op het adres, maar geen kaart.
llms.txt vervangt niets: robots.txt blijft de deur die brave crawlers naleven, de kaart is een aanbod. Net zomin als de indexregels in kop en header de plaats van robots.txt innemen, geldt: wat de kaart zegt, geldt alleen voor wie haar lezen wil.