Data Crawl Tool

Propósito y usuario: esta herramienta apoya la planificación y documentación de flujos de crawl de datos web. Usuarios: analistas SEO, ingenieros de datos, estrategas de contenido e investigadores que necesitan alcances de crawl estructurados, campos de datos extraíbles y auditorías. Resuelve el problema de traducir metas de crawl en planes e informes repetibles y verificables. Cuando un equipo necesita inventariar sitios, estimar el alcance de crawl o comunicar la metodología a las partes interesadas, esta herramienta registra decisiones y salidas esperadas.

Lógica central y características: Funciones obligatorias incluyen entrada de seed URL, profundidad de crawl, filtros de dominio, límites de velocidad, user agent, plantillas de campos de datos y esquemas de salida. Funciones avanzadas opcionales incluyen agregación multi-dominio, sugerencias de programación, plantillas de crawl exportables y banderas de cumplimiento (respeto robots.txt, conciencia de delay de crawl). La herramienta aplica tipos de datos URL, profundidad entera, booleano y valida entradas (URLs válidas, profundidad máxima ≥ 0). Salidas: documentos de plan estructurados y un esquema de informe de crawl tabular.

Entradas y salidas: Entradas: seed URLs (array de strings, ejemplo: https://example.com); max depth (int, ejemplo: 3); incluir subdominios (bool, ejemplo: true); obedecer robots.txt (bool, ejemplo: true); datos campos (array de strings, ejemplo: title, meta description); formato de exportación (string, JSON o CSV). Salidas: crawl plan (JSON); crawl summary (string); crawl report (CSV o JSON).

Algoritmos y cálculos: Planificación en anchura para determinar alcance de páginas según profundidad y restricciones de dominio. Estimaciones del tamaño del crawl según seeds, profundidad y amplitud del dominio. Reglas de validación aseguran que seeds sean alcanzables y que la profundidad no sea negativa. No se realiza crawling en vivo; se genera un plan.

Errores y casos límite: Seeds inválidos generan error nombrado; campos requeridos ausentes devuelven códigos de error. Si robots.txt externo no está disponible, la herramienta registra una advertencia y aplica la política por defecto. Profundidades extremas o grandes conjuntos de seeds provocan avisos para evitar planes sobredimensionados.
Industria/Región y localización: Soporta URLs ASCII y Unicode, URIs estándares y respeta formatos internacionales de tiempo para programación. Sin manejo de divisas. Localización limitada a campos de idioma en salidas.
Supuestos y exclusiones: Supone acceso a seeds y planificación independiente de la red; excluye ejecutar crawl real o extracción de datos. Fuera de alcance: rendering de UI, monitoreo en tiempo real o transformación de datos más allá de la generación de planes e informes.