Outil d'exploration Web

L'Outil d'exploration Web fournit un crawling automatisé et respectueux des règles pour inventorier la topologie publique d'un site à des fins d'audits SEO, de découverte de contenu et de surveillance de l'état du site. Les utilisateurs cibles incluent les analystes SEO, les responsables Web et les équipes de croissance qui ont besoin de visibilité sur la crawlabilité, la structure des liens et les lacunes de contenu. Utilisez-le avant les migrations de site, lors d'audits de domaines importants ou lors du benchmarking de la crawlabilité par rapport à des concurrents. Logique centrale et fonctionnalités: les fonctions requises incluent l'entrée seed_url, max_depth, max_pages et un commutateur de respect de robots.txt avec une politesse par domaine. Il réalise l'extraction de liens, la capture de métadonnées et produit un ensemble d'URL structuré ainsi qu'un sitemap. Les fonctionnalités optionnelles/avancées incluent le rendu JavaScript, des identifiants pour les zones restreintes, des crawls delta/incrémentiels, des règles d'extraction personnalisées et l'accès API. La logique du domaine applique la normalisation des URL, la déduplication, la gestion des erreurs et les exports en JSON, CSV ou Sitemap XML. Entrées & sorties: Entrées: start_urls (liste d'URL, ex: ["https://example.com"]), max_depth (entier, 0-6), max_pages (entier), obey_robots (booléen), user_agent (chaîne), include_patterns (liste), exclude_patterns (liste). Sorties: crawled_pages (liste d'objets avec url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (chaîne), crawl_summary (objet avec total_pages, unique_domains, blocked_urls, orphan_pages). Validation assure des URLs valides, une profondeur non négative, des limites de pages positives et des motifs cohérents.