Web Crawling Tool

Webbkrypverktyget erbjuder automatiserad, policyvänlig crawling för att inventera en webbplats offentliga topologi för SEO-audits, innehållsupptäckt och webbplatsens hälsokontroller. Målgrupper inkluderar SEO-analytiker, webbansvariga, innehållschefer och tillväxtteam som behöver insyn i crawlbarhet, länkstruktur och innehållsgap. Använd det före webbplatsflytt, vid granskningar av stora domäner eller när du benchmarkar crawl-hälsa mot konkurrenter. Kärnlogik & funktioner: Nödvändiga funktioner inkluderar seed_url-input, max_depth, max_pages och en robots.txt-respekt-switch med per-domän vänlighet. Det utför länkutvinning, metadata‑insamling och levererar ett strukturerat URL-set samt en sitemap. Valfria/avancerade funktioner inkluderar JavaScript-rendering, inloggningsuppgifter för skyddade områden, delta-/inkrementella crawls, anpassade extraktionregler och API‑åtkomst. Domenlogik tvingar URL-normalisering, deduplicering, felhantering och export i JSON, CSV eller Sitemap XML. Inputs & Outputs: Inputs: start_urls (lista av URL:er, exempel: ["https://example.com"]), max_depth (Heltal, 0–6), max_pages (Heltal), obey_robots (Boolean), user_agent (Sträng), include_patterns (Lista), exclude_patterns (Lista). Outputs: crawled_pages (lista av objekt med url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (Sträng), crawl_summary (Objekt med total_pages, unique_domains, blocked_urls, orphan_pages). Validering säkerställer giltiga URL:er, icke-negativ djup, positiva sidbegränsningar och konsekventa mönster.