Web Crawling Tool

Web Crawling-verktøyet tilbyr automatisert, regelbasert crawling for å kartlegge en nettsides offentlige topologi til SEO-revisjoner, innholdsoppdagelse og overvåking av nettsidens helse. Målgruppene inkluderer SEO-analytikere, nettredaktører, innholdsledere og vekstteam som trenger synlighet i crawlbarhet, lenkestruktur og innholdshull. Bruk det før nettstedsoverføringer, ved store domeneaudits eller ved benchmarking mot konkurrenter. Kjernelogikk og funksjoner: Nødvendige funksjoner inkluderer seed_url-input, max_depth, max_pages og en robots.txt-respekt-bryter med per-domen kulture. Det utfører lenkeekstraksjon, metadatainnsamling og leverer et strukturert URL-sett pluss et sitemap. Valgfrie/avanserte funksjoner inkluderer JavaScript-rendering, pålogging for beskyttede områder, delta-/inkrementelle crawls, tilpassede ekstraksjonsregler og API-tilgang. Domene-logikk håndhever URL-normalisering, duplisering, feilbehandling og eksport i JSON, CSV eller Sitemap XML. Inputs & Outputs: Inputs: start_urls (liste av URL-er, eksempler: ["https://example.com"]), max_depth (Heltall, 0-6), max_pages (Heltall), obey_robots (Boolean), user_agent (String), include_patterns (Liste), exclude_patterns (Liste). Outputs: crawled_pages (liste av objekter med url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (String), crawl_summary (objekt med total_pages, unique_domains, blocked_urls, orphan_pages). Validering sikrer gyldige URL-er, ikke-negativ dybde, positive sidetillatelser og konsistente mønstre.