Teste de Robots.txt

O tester de Robots.txt analisa a política robots.txt de um site para um caminho e um user-agent dados. Usuários-alvo: profissionais de SEO, administradores de web e desenvolvedores que realizam auditorias de políticas de rastreamento ou migrações. Ele identifica se um caminho é permitido ou bloqueado e mostra a diretiva exata que governa o acesso, permitindo remediação antes da indexação. Casos de uso: auditorias de pré-lançamento, migrações e monitoramento automatizado de políticas de rastreamento entre domínios.
Operação principal: buscar o robots.txt do site, dividir diretivas por grupos de user-agent e avaliar o caminho de teste de acordo com as regras aplicáveis. A avaliação usa a correspondência mais longa dentro do grupo de user-agent mais específico para decidir permitido vs negado. Saídas: permitido (true/false), matched_rule e rule_type. Dados opcionais como crawl_delay e diretivas sitemap podem ser exibidos para uma compreensão mais profunda da política.
Diferenciais: relatório explícito da regra correspondente, tratamento de padrões curinga comuns e comportamento padrão determinista quando nenhuma regra corresponde. Casos de uso: validar o acesso durante lançamentos, garantir que caminhos críticos sejam crawláveis, auditar requisitos de crawlers e integrar em pipelines CI. A ferramenta segue a semântica padrão de robots.txt e fornece resultados claros entre domínios.