Web Crawling Tool

La Web Crawling Tool proporciona rastreo automatizado y respetuoso de políticas para inventariar la topología pública de un sitio para auditorías SEO, descubrimiento de contenido y monitoreo de salud del sitio. Usuarios objetivo: analistas SEO, webmasters, gestores de contenido y equipos de crecimiento que necesitan visibilidad de rastreabilidad, estructura de enlaces y brechas de contenido. Úselo antes de migraciones, durante auditorías de dominios grandes o al comparar la salud de rastreo con competidores. Lógica central y características: características obligatorias incluyen entrada seed_url, max_depth, max_pages y un interruptor de respeto a robots.txt con cortesía por dominio. Realiza extracción de enlaces, captura de metadatos y genera un conjunto estructurado de URLs más un sitemap. Funciones avanzadas incluyen renderizado de JavaScript, credenciales para áreas restringidas, rastreos delta/incrementales, reglas de extracción personalizadas y acceso a API. La lógica de dominio aplica normalización de URL, deduplicación, manejo de errores y exportes en JSON, CSV o Sitemap XML. Inputs & Outputs: Inputs: start_urls (lista de URLs, ejemplos: ["https://example.com"]), max_depth (Entero, 0-6), max_pages (Entero), obey_robots (Boolean), user_agent (Cadena), include_patterns (Lista), exclude_patterns (Lista). Outputs: crawled_pages (lista de objetos con url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (Cadena), crawl_summary (Objeto con total_pages, unique_domains, blocked_urls, orphan_pages). Validación garantiza URLs válidos, profundidad no negativa, límites de página positivos y patrones consistentes.