Web-Crawling-Værktøj

Web-Crawling-værktøjet tilbyder automatiseret, politik-respektfuld crawling for at inventarisere en hjemmesides offentlige topologi til SEO-gennemgange, indholdsåbning og side-sundhedsmonitorering. Målgrupper omfatter SEO-analytikere, webansvarlige, indholdsansvarlige og vækstteams, der har brug for synlighed i crawlbarhed, linkstruktur og content gaps. Brug det inden webstedsflytninger, ved store domæneaudits eller ved benchmarking af crawl-sundhed mod konkurrenter. Kernelogik & funktioner: Nødvendige funktioner inkluderer seed_url-input, max_depth, max_pages og en robots.txt-respekt-skrue med per-domen-bou. Det udfører link-ekstraktion, metadatafangst og leverer en struktureret URL-sæt plus et sitemap. Valgfrie/avancerede funktioner inkluderer JavaScript-rendering, legitimationsoplysninger til lukkede områder, delta-/inkrementelle crawls, brugerdefinerede ekstraktionsregler og API-adgang. Domænelogik håndhæver URL-normalisering, deduplicering, fejlbehandling og eksport i JSON, CSV eller Sitemap XML. Inputs & Outputs: Inputs: start_urls (liste af URL'er, eksempler: ["https://example.com"]), max_depth (Heltal, 0-6), max_pages (Heltal), obey_robots (Boolean), user_agent (Streng), include_patterns (Liste), exclude_patterns (Liste). Outputs: crawled_pages (liste af objekter med url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (Streng), crawl_summary (Objekt med total_pages, unique_domains, blocked_urls, orphan_pages). Validering sikrer gyldige URL'er, ikke-negativ dybde, positive sidetilladelser og konsistente mønstre.