Robots.txt-tester

Verktøyet validerer robots.txt-innhold og simulerer crawl-tilgang for angitte bruker-agenter. Det aksepterer et robots.txt-tekstblokk eller en URL for nedlasting og støtter tester mot flere mål-stier. Outputtet viser per-agent resultater om hver sti er tillatt eller blokkert.
Kjerne-logikken implementerer Robots Exclusion Protocol: bruker-agent-grupper, Allow- og Disallow-regler, samt valgfrie Crawl-delay og Sitemap-direktiver. Evalueringen følger lengste-match-prinsippet innenfor den relevante bruker-agent-gruppen og støtter enkel prefix- og wildcard-matchning for vanlige crawlers.
Inndata omfatter kilde (tekst eller URL), en eller flere bruker-agent-identifikatorer og teststier. Utdata inkluderer en strukturert resultatliste, beslutninger per sti, et sammendrag av overtredelser og en reproducerbar rapport for utviklergjennomgang og endringssporing.
Kanttilfeller håndteres deterministisk: manglende bruker-agent-grupper, ugjenkjennelige agenter, motstridende direktiver, syntaksfeil og hentingsfeil. Verktøyet rapporterer klare feilmeldinger og delvise resultater ved partial data, uten UI-tilknytning. Tidsavbrudd og store robots.txt-filer håndteres godt. Målgruppe: SEO-eksperter, webmastere og utviklere som gjennomfører migrasjoner, hosting-endringer eller policy-oppdateringer. Verktøyet gir innsikt i tråd med Google Search Console og bidrar til å redusere indekseringsrisiko ved å gjøre crawl-politikker tydelige, testbare og auditerbare.