GitHub Scraper

Cet outil cible les dépôts publics GitHub pour collecter des métadonnées structurées et des données d’activité à des fins d’analyse et de gouvernance. Il peut récupérer des pages de dépôts ou des résultats de recherche, appliquer des sélecteurs configurables et extraire des métriques telles que étoiles, forks, issues, pull requests, la dernière mise à jour, le langage principal, la licence, les topics, le nombre de contributeurs et les tags de version. Il prend en charge à la fois le scraping HTML et l’extraction basée sur l’API, en privilégiant les champs API lorsque disponibles et revenant gracieusement au parsing HTML lorsque nécessaire. Les données sont normalisées dans des champs et horodatages cohérents, avec des métadonnées de provenance pour assurer la reproductibilité. Les sorties sont fournies au format JSON ou CSV pour une intégration fluide dans les pipelines d’analyse, les tableaux de bord ou les rapports. Des cas d’usage incluent la surveillance de l’état de l’open source, l’analyse de la répartition des licences et des langages, et la recherche concurrentielle sur plusieurs dépôts. Les utilisateurs avancés peuvent personnaliser les sélecteurs, activer la pagination ou planifier des scrapes récurrents tout en respectant les limites de taux et robots.txt. L’outil met l’accent sur la qualité des données, la déduplication par URL du dépôt et la traçabilité claire de l’instance de scraping.