Web-Crawling-Tool

Das Web-Crawling-Tool führt automatisiertes, regelkonformes Crawling durch, um die öffentliche Topologie einer Website für SEO-Audits, Content-Entdeckung und die Überwachung der Seiten-Gesundheit zu inventarisieren. Zu den Zielnutzerinnen und -nutzern gehören SEO-Analysten, Webmaster, Content-Manager und Growth-Teams, die Transparenz in Crawlbarkeit, Link-Struktur und Content-Lücken benötigen. Verwenden Sie es vor Seiten-Migrationen, bei Audits großer Domains oder beim Benchmarking der Crawlbarkeit gegenüber Wettbewerbern. Kernlogik & Funktionen: Erforderliche Funktionen umfassen Seed-URL-Eingabe, maximale Tiefe (max_depth), maximale Seiten (max_pages) und eine Robots.txt-Respekt-Schalter mit pro-Domain-Politeness. Es führt Link-Extraktion, Metadatenerfassung durch und liefert einen strukturierten URL-Satz plus eine Sitemap. Optional/fortgeschrittene Funktionen umfassen JavaScript-Rendering, Anmeldedaten für eingeschränkte Bereiche, Delta-/Inkremental-Crawls, benutzerdefinierte Extraktionsregeln und API-Zugriff. Die Domain-Logik erzwingt URL-Normalisierung, Duplikatvermeidung, Fehlerbehandlung und unterstützt Exporte in JSON, CSV oder Sitemap-XML. Inputs & Outputs: Inputs: start_urls (Liste von URLs, Beispiele: ["https://example.com"]), max_depth (Integer, 0-6), max_pages (Integer), obey_robots (Boolean), user_agent (String), include_patterns (Liste), exclude_patterns (Liste). Outputs: crawled_pages (Liste von Objekten mit url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (String), crawl_summary (Objekt mit total_pages, unique_domains, blocked_urls, orphan_pages). Validierung stellt sicher, dass URLs gültig sind, Tiefe nicht negativ ist, Seitenlimits positiv sind und Muster konsistent bleiben.