Kali Web Scraper

Kali Web Scraper est une moteur d’extraction configurable pour des données Web publiques. Il accepte une liste d’URL et des sélecteurs définis par l’utilisateur pour produire des enregistrements structurés, facilitant les flux OSINT et de recherche en sécurité. Conceptuellement, l’outil récupère les pages, applique des règles CSS ou XPath pour extraire des champs, normalise les valeurs et émet des enregistrements adaptables à des tableaux de bord ou des blocs-notes. Un rendu sans interface (headless) optionnel permet de récupérer le contenu généré par JavaScript, élargissant la couverture des sites modernes. La valeur unique réside dans des exports traçables, des contrôles de limitation de débit et la prise en compte de robots.txt, qui favorisent la conformité et la reproductibilité des enquêtes. Les fonctionnalités clés incluent l’entrée d’URL, l’extraction basée sur des sélecteurs, le mapping des champs et les exports multi-formats (CSV, JSON, JSONL). Des capacités optionnelles telles que la rotation de proxies, la personnalisation du user-agent et les exécutions planifiées renforcent la résilience dans les réseaux bruités et la surveillance à long terme. Les cas d’utilisation vont de l’intelligence sur les menaces à la recherche de vulnérabilités, la surveillance du marché ou la collecte de données de conformité, où des pipelines reproductibles et auditable sont essentiels. L’outil est conçu pour les environnements Kali, mais la logique d’extraction est portable vers Linux standard et les déploiements conteneurisés. L’accent est mis sur la logique métier: récupération des données déterministe, normalisation, traçabilité des erreurs et sorties prêtes à l’export, sans imposer de contraintes UI ou comportement frontal.