Tester robots.txt

Il tester robots.txt analizza la policy robots.txt di un sito per un percorso e un user-agent dati. Gli utenti target includono professionisti SEO, amministratori web e sviluppatori che effettuano audit delle policy di crawling o migrazioni. Identifica se un percorso è consentito o bloccato e mostra la direttiva esatta che governa l'accesso, consentendo correzioni prima dell'indicizzazione. Casi d'uso: audit pre-lancio, migrazioni e monitoraggio automatico delle policy di crawling su domini multipli.
Funzionamento principale: recupera robots.txt dal sito, suddivide le direttive per gruppi di user-agent e valuta il percorso di test secondo le regole applicabili. La valutazione utilizza la corrispondenza più lunga all'interno del gruppo di user-agent più specifico per decidere consentito vs negato. Le uscite includono allowed (true/false), matched_rule e rule_type. Dati opzionali come crawl_delay e direttive sitemap possono essere mostrati per una comprensione più profonda della policy.
Caratteristiche distintive: segnalazione esplicita della regola corrispondente, gestione di modelli jolly comuni e comportamento deterministico di default quando nessuna regola corrisponde. Casi d'uso: validare l'accesso durante il lancio di un sito, assicurarsi che percorsi critici siano crawlabili, audit delle esigenze dei crawler e integrazione nei pipeline CI. Lo strumento segue la semantica standard di robots.txt e fornisce risultati chiari su domini.