Web Crawling Tool

Lo strumento Web Crawling fornisce crawling automatizzato, conforme alle policy, per inventariare la topologia pubblica di un sito per audit SEO, scoperta di contenuti e monitoraggio della salute del sito. Gli utenti target includono analisti SEO, webmaster, responsabili dei contenuti e team di crescita che necessitano di visibilità su crawlability, struttura dei link e lacune di contenuto. Usarlo prima di migrazioni del sito, durante audit di domini di grandi dimensioni o quando si confronta la crawlability con i concorrenti. Logica principale e funzionalità: funzioni richieste includono seed_url input, max_depth, max_pages e un toggle di rispetto di robots.txt con cortesia per dominio. Esegue l'estrazione dei link, la cattura di metadati e restituisce un insieme di URL strutturato più una sitemap. Funzionalità opzionali/avanzate includono rendering JavaScript, credenziali per aree ristretti, crawls delta/incrementali, regole di estrazione personalizzate e accesso API. La logica di dominio impone normalizzazione degli URL, deduplicazione, gestione degli errori e esportazioni in JSON, CSV o Sitemap XML. Inputs & Outputs: Inputs: start_urls (elenco di URL, esempi: ["https://example.com"]), max_depth (Intero, 0-6), max_pages (Intero), obey_robots (Boolean), user_agent (String), include_patterns (Elenco), exclude_patterns (Elenco). Outputs: crawled_pages (Elenco di oggetti con url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (String), crawl_summary (Oggetto con total_pages, unique_domains, blocked_urls, orphan_pages). Validazione verifica URL validi, profondità non negativa, limiti di pagina positivi e pattern coerenti.