Robots.txt-tester

De tool valideert de inhoud van robots.txt en simuleert crawlers-toegang voor opgegeven user agents. Het accepteert een robots.txt-tekstblok of een URL om het bestand op te halen en ondersteunt testen tegen meerdere doelpaden. De uitvoer toont per user-agent de resultaten of een pad is toegestaan of verboden.
De kernlogica implementeert het Robots Exclusion Protocol: user-agent-groepen, Allow- en Disallow-regels, en optionele Crawl-delay en Sitemap-directieven. De evaluatie volgt het longest-match-principe binnen de relevante user-agent-groep en ondersteunt eenvoudige prefix- en wildcard-matching conform gangbare crawlers.
Invoer bevat de bron (tekst of URL), een of meer user-agent-identificatoren en testpaden. Uitvoer omvat een gestructureerde resultatenlijst, een per-pad beslissing, een samenvatting van overtredingen en een reproduceerbaar rapport voor ontwikkelaarsreview en wijzigingsregistratie.
Randgevallen worden deterministisch behandeld: ontbrekende user-agent-groepen, niet-overeenkomende user-agents, tegenstrijdige directives, syntaxisfouten en fetch-fouten. De tool meldt duidelijke foutindicaties en gedeeltelijke resultaten wanneer gedeeltelijke data beschikbaar is, zonder UI-gezamenlijke melding. Timeouts en grote robots.txt-bestanden worden beheerd. Doelgroep: SEO-ers, webmasters en ontwikkelaars die site-migraties, hosting-wijzigingen of beleidsupdates voorbereiden. Inzichten komen overeen met Google Search Console-verwachtingen en helpen indexeringsrisico's te verminderen door crawl-beleid expliciet, testbaar en auditable te maken.