Data Crawl Tool

Propósito e intenção do usuário: esta ferramenta apoia o planejamento e a documentação de fluxos de crawl de dados da Web. Usuários incluem analistas de SEO, engenheiros de dados, estrategistas de conteúdo e pesquisadores que precisam de escopos de crawl estruturados, campos de dados extraíveis e trilhas de auditoria. Resolve o problema de traduzir metas de crawl em planos e relatórios repetíveis e verificáveis. Quando uma equipe precisa inventariar sites, estimar o escopo de crawl ou comunicar a metodologia a stakeholders, a ferramenta registra decisões e outputs esperados.

Lógica central e recursos: Funções obrigatórias incluem entrada de Seed URLs, profundidade de crawl, filtros de domínio, limites de velocidade, user agent, modelos de campos de dados e esquemas de saída. Funções avançadas opcionais incluem agregação multi-domínio, dicas de agendamento, templates de crawl exportáveis e flags de conformidade (respeito robots.txt, awareness de crawl delay). A ferramenta aplica tipos de dados URL, profundidade inteira, booleano, tratamento de robots e valida entradas (URLs válidos, profundidade máxima ≥ 0). Saídas incluem documentos de plano estruturados e um esquema de relatório de crawl tabular.

Entradas & Saídas: Entrada seed URLs (array de strings, exemplo: https://example.com); max depth (int, exemplo: 3); incluir subdomínios (bool, exemplo: true); obey robots.txt (bool, exemplo: true); data fields (array de strings, exemplo: title, meta description); export format (string, JSON ou CSV). Saídas: crawl plan (JSON); crawl summary (string); crawl report (CSV ou JSON).

Algoritmos & Cálculos: Planejamento de crawl em largura para determinar alcance das páginas com base em profundidade e restrições de domínio. Estima o tamanho do crawl com seed-URLs, profundidade e amplitude do domínio. Regras de validação asseguram que seed URLs sejam alcançáveis e que profundidade não seja negativa. Não ocorre crawling ao vivo: apenas o plano é gerado.

Erros e Casos Limite: Seeds inválidos geram erro nomeado; campos obrigatórios ausentes devolvem códigos de erro específicos. Se robots.txt externo não estiver disponível, a ferramenta registra um aviso e aplica a política padrão. Profundidades extremas ou grandes conjuntos de seeds geram avisos para evitar planos excessivamente grandes.
Indústria/Região & Localização: Suporta URLs ASCII e Unicode, URIs padrão e respeita formatos de tempo internacionais para planejamento. Sem tratamento de moedas. Localização limitada a campos de idioma nas saídas.
Suposições & Exclusões: Assume acesso aos seeds e planejamento independente da rede; excluir a execução real de crawl ou extração de dados. Fora do escopo: renderização de UI, monitoramento em tempo real ou transformação de dados além da geração de planos e relatórios.