Web Scraper

Dieses Web-Scraper sammelt strukturierte Daten über URL und Extraktionsregeln. Geben Sie eine Ziel-URL und eine Reihe von Selektoren (CSS- oder XPath) an, um Datenfelder zu definieren. Das Tool ruft die Seite ab, wendet Selektoren an und liefert Datensätze als JSON oder CSV zurück. Es unterstützt die Wiederholung über Seiten hinweg mittels einer Paginierungsregel und kann zwischen den Anfragen pausieren, um die Serverlast zu beachten.
Die Kernglogik validiert Eingaben, wendet Selektoren auf Seiten an und normalisiert Feldnamen für eine konsistente Ausgabe. Es unterstützt mehrere Selektoren pro Feld und verschachtelte Strukturen. Die Ausgaben umfassen ein Array von Datensätzen und optionale Metadaten wie total_records und success_rate.
Der Engine behandelt häufige Probleme wie fehlende Felder, gibt dann Nullwerte zurück und trimmt Whitespace während der Normalisierung. Standardmäßig rendert es kein dynamisches JavaScript, kann aber für fortgeschrittene Rendering-Optionen erweitert werden, falls konfiguriert.
Anwendungsfälle umfassen Preisverfolgung von Produkten, Sammlung von Metadaten von Artikeln, Audits von Meta-Tags und Enumeration von Wettbewerbsfunktionen. Das Tool richtet sich an Nicht-Programmierer, bietet aber eine selektorbasierte Konfiguration für Power-User.
Insgesamt bietet es zuverlässige, wiederholbare Datenerfassung mit Standard-Exportformaten zur datengetriebenen Entscheidungsfindung.