Probador robots.txt

La herramienta valida el contenido de robots.txt y simula el acceso de rastreadores para agentes de usuario especificados. Acepta un bloque de texto robots.txt o una URL para obtener el archivo y admite pruebas frente a múltiples rutas objetivo. La salida presenta resultados por agente indicando si cada ruta es permitida o bloqueada.
La lógica central implementa el Robots Exclusion Protocol: grupos de user-agent, reglas Allow y Disallow, y directivas opcionales de Crawl-delay y Sitemap. La evaluación sigue el principio de mayor coincidencia dentro del grupo de user-agent relevante y soporta coincidencia simple por prefijo y comodines, acorde con rastreadores comunes.
Las entradas incluyen la fuente (texto o URL), uno o más identificadores de user-agent y rutas de prueba. Las salidas incluyen una lista de resultados estructurada, una decisión por ruta, un resumen de violaciones y un informe reproducible adecuado para revisión de desarrolladores y control de cambios.
Los casos límite se gestionan de forma determinista: grupos de User-agent ausentes, agentes no coincidentes, directivas en conflicto, errores de sintaxis y fallos de recuperación. La herramienta informa indicadores de error claros y resultados parciales cuando los datos están parcialmente disponibles, sin referencias de UI. Los timeouts y los robots.txt grandes se gestionan con cuidado. Público objetivo: SEOs, webmasters y desarrolladores que realizan migraciones de sitios, cambios de hosting o actualizaciones de políticas. La herramienta ofrece ideas acordes a las expectativas de Google Search Console y ayuda a reducir riesgos de indexación al hacer explícitas, probables y auditable las políticas de rastreo.