Web Crawling Tool

A Web Crawling Tool fornece rastreamento automatizado, com respeito às políticas, para inventariar a topologia pública de um site para auditorias de SEO, descoberta de conteúdo e monitoramento de saúde do site. Usuários-alvo incluem analistas de SEO, webmasters, gerentes de conteúdo e equipes de crescimento que precisam de visibilidade sobre rastreabilidade, estrutura de links e lacunas de conteúdo. Use-a antes de migrações de site, durante auditorias de grandes domínios ou ao comparar a saúde de rastreamento com concorrentes. Lógica central e recursos: funções obrigatórias incluem entrada seed_url, max_depth, max_pages e um interruptor de respeito a robots.txt com cortesia por domínio. Realiza extração de links, captura de metadados e gera um conjunto estruturado de URLs mais um sitemap. Funções opcionais/avançadas incluem renderização de JavaScript, credenciais para áreas restritas, rastreamentos delta/incrementais, regras de extração personalizadas e acesso à API. Lógica de domínio aplica normalização de URL, deduplicação, tratamento de erros e exportações em JSON, CSV ou Sitemap XML. Inputs & Outputs: Inputs: start_urls (lista de URLs, exemplos: ["https://example.com"]), max_depth (Inteiro, 0-6), max_pages (Inteiro), obey_robots (Boolean), user_agent (String), include_patterns (Lista), exclude_patterns (Lista). Outputs: crawled_pages (lista de objetos com url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (String), crawl_summary (Objeto com total_pages, unique_domains, blocked_urls, orphan_pages). Validação garante URLs válidas, profundidade não negativa, limites de página positivos e padrões consistentes.