Testador robots.txt

A ferramenta valida o conteúdo de robots.txt e simula o acesso de crawlers para user agents especificados. Ela aceita um bloco de texto robots.txt ou uma URL para buscar o arquivo e suporta testes contra múltiplos caminhos-alvo. A saída apresenta resultados por agente, indicando se cada caminho é permitido ou bloqueado.
A lógica central implementa o Robots Exclusion Protocol: grupos de user-agent, regras Allow e Disallow e diretivas opcionais de Crawl-delay e Sitemap. A avaliação segue o princípio do longest-match dentro do grupo de user-agent relevante e suporta correspondência simples por prefixo e comodines, conforme crawlers comuns.
Entradas incluem a fonte (texto ou URL), um ou mais identificadores de user-agent e caminhos de teste. Saídas incluem uma lista de resultados estruturada, uma decisão por caminho, um resumo de violações e um relatório reprodutível para revisão de desenvolvedores e controle de mudanças.
Casos de borda são tratados de forma determinística: grupos de User-agent ausentes, agentes não correspondentes, diretivas em conflito, erros de sintaxe e falhas de fetch. A ferramenta reporta erros claros e resultados parciais quando dados parciais estão disponíveis, sem referências de UI. Times de espera e robots.txt grandes são geridos com cuidado. Público-alvo: SEOs, webmasters e desenvolvedores que realizam migrações de sites, mudanças de hosting ou atualizações de políticas. A ferramenta oferece insights alinhados às expectativas do Google Search Console e ajuda a reduzir riscos de indexação tornando as políticas de rastreamento explícitas, testáveis e aud qualitáveis.