Data Crawl Tool

Zweck und Benutzerziel: Dieses Tool unterstützt die Planung und Dokumentation von Web-Daten-Crawl-Workflows. Zu den Nutzern gehören SEO-Analysten, Dateningenieure, Content-Strategen und Forscher, die strukturierte Crawl-Umfänge, extrahierbare Datenfelder und Audit-Trails benötigen. Es löst das Problem, Crawl-Ziele in wiederholbare, überprüfbare Crawl-Pläne und Berichte zu übersetzen. Wenn ein Team Websites inventarisiert, Crawl-Umfang schätzen oder Stakeholdern die Methodik kommunizieren muss, erfasst dieses Tool Entscheidungen und erwartete Ergebnisse.

Kernlogik & Funktionen: Erforderliche Funktionen umfassen Seed-URL-Eingabe, Crawl-Tiefe, Domain-Filter, Ratenbegrenzungen, User-Agent, Vorlagen für Datenfelder und Ausgabeschemata. Optionale fortgeschrittene Funktionen umfassen Multi-Domain-Aggregation, Planungs-Hinweise, exportierbare Crawl-Vorlagen und Compliance-Flags (Robots.txt-Respekt, Crawl-Verzögerung). Das Tool erzwingt Datentypen URL, Integer-Tiefe, Boolean, Robots-Behandlung und validiert Eingaben (gültige URLs, maximale Tiefe ≥ 0). Ausgaben umfassen strukturierte Plan-Dokumente und ein tabellarisches Crawl-Bericht-Schema.

Eingaben & Ausgaben: Eingaben: Seed-URLs (Array von Strings, Beispiel: https://example.com); Maximale Tiefe (int, Beispiel: 3); Subdomains einschließen (bool, Beispiel: true); Robots.txt beachten (bool, Beispiel: true); Datenfelder (Array von Strings, Beispiel: title, meta description); Export-Format (string, JSON oder CSV). Optionale zusätzliche Eingaben: Crawl-Geschwindigkeit (int, Anfragen pro Sekunde); Zeitbudget (int, Minuten). Ausgaben: Crawl-Plan (JSON); Crawl-Zusammenfassung (string); Crawl-Bericht (CSV oder JSON).

Algorithmen & Berechnungen: Verwendung von Breitensuche (Breadth-First) zur Crawl-Planung, um Seitenreichweite basierend auf Tiefe und Domain-Beschränkungen zu bestimmen. Ableitung von Schätzungen zur Crawl-Größe anhand von Seed-URLs, Tiefe und Domain-Breite. Validierungsregeln stellen sicher, dass Seed-URLs erreichbar sind und dass Tiefenlimits nicht negativ sind. Im Tool wird kein Live-Crawl durchgeführt; es generiert lediglich einen Plan.

Fehler & Randfälle: Ungültige Seed-URLs erzeugen benannten Fehler; fehlende Pflichtfelder führen zu spezifischen Fehlerm codes. Wenn externe Daten wie robots.txt nicht verfügbar sind, protokolliert das Tool eine Warnung und wendet Standardpolitik an. Extreme Tiefen oder große Seed-Sätze lösen Grenzwarnungen aus, um oversized-Pläne zu verhindern.

Branchen-/Region- & Lokalisierung: Unterstützt ASCII- und Unicode-URLs, standardisierte URIs und berücksichtigt gängige internationale Zeitformate für Planungen; Währungsdaten werden nicht verarbeitet. Lokalisierung beschränkt sich auf Sprachenfelder in Ausgaben.

Annahmen & Ausschlüsse: Annahme des Zugriffs auf Seed-URLs und netzwerkunabhängige Planung; Ausführung eines tatsächlichen Crawl oder Datenextraktion ausgeschlossen. Ausgeschlossen: UI-Rendering, Echtzeit-Überwachung oder Datenumwandlung über Plan- und Berichterstellung hinaus.