Testeur robots.txt

L'outil valide le contenu de robots.txt et simule l'accès des crawlers avec des user-agents spécifiés. Il accepte un bloc de texte robots.txt ou une URL pour récupérer le fichier et prend en charge les tests contre plusieurs chemins cibles. Le résultat présente des résultats par agent utilisateur indiquant si chaque chemin est autorisé ou interdit.
La logique centrale met en œuvre le Robots Exclusion Protocol: groupes d'agents utilisateurs, règles Allow et Disallow, et directives Crawl-delay et Sitemap optionnelles. L'évaluation suit le principe du longest-match au sein du groupe d'agent pertinent et prend en charge un appariement simple par préfixe et par wildcard, conforme aux crawlers courants.
Les entrées comprennent la source (Texte ou URL), un ou plusieurs identifiants user-agent et des chemins de test. Les sorties incluent une liste de résultats structurée, une décision par chemin, un résumé des violations et un rapport reproductible adapté à une révision par les développeurs et au suivi des changements.
Les cas limites sont gérés de manière déterministe: groupes User-agent manquants, agents non appariés, directives conflictuelles, erreurs de syntaxe et échecs de récupération. L'outil signale des indicateurs d'erreur clairs et des résultats partiels lorsque les données ne sont pas complètes, sans référence à l'interface. Les délais d'attente et les robots.txt volumineux sont gérés gracieusement.
Le public visé comprend les SEO, les webmasters et les développeurs préparant des migrations de site, des changements d'hébergement ou des mises à jour de politiques. L'outil fournit des insights conformes aux attentes de Google Search Console et aide à réduire les risques d'indexation en rendant les politiques de crawl explicites, testables et auditable.