Web Crawling Tool

De Web Crawling Tool biedt geautomatiseerd, beleid-respecterend crawlen om de publieke topologie van een site in kaart te brengen voor SEO-audits, contentontdekking en site-gezondheidsbewaking. Doelgroepen zijn SEO-analisten, webmasters, contentbeheerders en groeiteams die inzicht willen in crawlbaarheid, linkstructuur en content-hiaten. Gebruik het vóór migraties, bij audits van grote domeinen of bij benchmarking tegen concurrenten. Kernlogica & functies: vereiste functies zijn seed_url-invoer, max_depth, max_pages en een robots.txt-respect-toggle met per-domein beleefdheid. Het voert link-extractie uit, metadata vastlegging en levert een gestructureerde URL-set plus een sitemap. Optionele/gevorderde functies omvatten JavaScript-rendering, inloggegevens voor afgebakende gebieden, delta/incrementale crawls, aangepaste extractieregels en API-toegang. Domeinlogica dwingt URL-normalisatie, deduplicatie, foutafhandeling en exports in JSON, CSV of Sitemap XML. Inputs & outputs: Inputs: start_urls (lijst van URL's, voorbeelden: ["https://example.com"]), max_depth (Integer, 0-6), max_pages (Integer), obey_robots (Boolean), user_agent (String), include_patterns (Lijst), exclude_patterns (Lijst). Outputs: crawled_pages (lijst van objecten met url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (String), crawl_summary (object met total_pages, unique_domains, blocked_urls, orphan_pages). Validatie zorgt voor geldige URL's, niet-negatieve diepte, positieve pagina-limieten en consistente patronen.