Web Scraper

Cet extracteur Web collecte des données structurées par URL et règles d’extraction. Fournissez une URL de page cible et un ensemble de sélecteurs (CSS ou XPath) pour définir les champs de données. L’outil récupère la page, applique les sélecteurs et renvoie les enregistrements au format JSON ou CSV. Il prend en charge la répétition sur plusieurs pages via une règle de Pagination et peut faire une pause entre les requêtes pour respecter la charge du site.
La logique centrale valide les entrées, applique les sélecteurs aux pages et normalise les noms de champs pour une sortie cohérente. Il prend en charge plusieurs sélecteurs par champ et les structures imbriquées. Les sorties incluent un tableau d’enregistrements et des métadonnées optionnelles telles que total_records et success_rate.
Le moteur gère les problèmes courants comme les champs manquants en renvoyant des valeurs nulles et en supprimant les espaces blancs lors de la normalisation. Par défaut il n’effectue pas le rendu JavaScript, mais peut être étendu pour un rendu avancé si configuré.
Les cas d’utilisation incluent le suivi des prix des produits, la collecte de métadonnées d’articles, l’audit des balises méta et l’énumération des fonctionnalités des concurrents. L’outil est conçu pour les non-développeurs tout en offrant une configuration basée sur des sélecteurs pour les utilisateurs avancés.
Dans l’ensemble, il offre une extraction de données fiable et reproductible avec des formats d’export standard pour soutenir une prise de décision axée sur les données.