Tester robots.txt

Lo strumento valida il contenuto di robots.txt e simula l'accesso del crawler per user-agent specificati. Accetta un blocco di testo robots.txt oppure un URL per prendere il file e supporta test su più percorsi di destinazione. L'output presenta risultati per singolo user-agent che indicano se ogni percorso è consentito o vietato.
La logica principale implementa il Robots Exclusion Protocol: gruppi di user-agent, regole Allow e Disallow e direttive opzionali di Crawl-delay e Sitemap. La valutazione segue il principio del longest-match all'interno del gruppo user-agent rilevante e supporta matching semplice per prefissi e wildcard, coerente con i crawler comuni.
Gli input includono la fonte (testo o URL), uno o più identificatori di user-agent e percorsi di test. Gli output includono una lista di risultati strutturata, una decisione per percorso, un sommario delle violazioni e un rapporto riproducibile adatto a revisione degli sviluppatori e tracciamento delle modifiche.
Casi limite gestiti in modo deterministico: gruppi User-agent mancanti, user-agent non abbinati, direttive in conflitto, errori di sintassi e fallimenti di fetch. Lo strumento riporta indicatori chiari di errore e risultati parziali quando i dati sono parziali, senza riferimenti UI. Timeout e robots.txt di grandi dimensioni sono gestiti con attenzione. Pubblico: SEO, webmaster e sviluppatori che preparano migrazioni, cambi di hosting o aggiornamenti di policy. Strumento fornisce intuizioni in linea con le aspettative di Google Search Console e aiuta a ridurre i rischi di indicizzazione rendendo politiche di crawl esplicite, testabili e auditable.