Web Scraper

Esta ferramenta de scraping da web coleta dados estruturados através de URL e regras de extração. Forneça uma URL de página-alvo e um conjunto de seletores (CSS ou XPath) para definir os campos de dados. A ferramenta busca a página, aplica os seletores e retorna registros no formato JSON ou CSV. Suporta repetição entre páginas via uma regra de paginação e pode pausar entre solicitações para respeitar a carga do site.
A lógica central valida as entradas, aplica os seletores às páginas e normaliza os nomes dos campos para uma saída consistente. Suporta múltiplos seletores por campo e estruturas aninhadas. A saída inclui um array de registros e metadados opcionais como total_records e success_rate.
O motor lida com problemas comuns como campos ausentes retornando valores nulos e removendo espaços em branco durante a normalização. Por padrão não renderiza JavaScript; pode ser estendido para renderização avançada se configurado.
Casos de uso incluem monitoramento de preços de produtos, coleta de metadados de artigos, auditorias de meta tags e enumeração de funcionalidades de concorrentes. A ferramenta é projetada para não-programadores e oferece configuração baseada em seletores para usuários avançados.
No conjunto, oferece extração de dados confiável e repetível com formatos de exportação padrão para apoiar a tomada de decisões orientada por dados.