GitHub Scraper

Dieses Tool konzentriert sich auf öffentliche GitHub-Repositories, um strukturierte Metadaten und Aktivitätsdaten für Analyse und Governance zu sammeln. Es kann Repository-Seiten oder Suchergebnisse abrufen, konfigurierbare Selektoren anwenden und Kennzahlen wie Sterne, Forks, Issues, Pull Requests, das zuletzt aktualisierte Datum, primäre Sprache, Lizenz, Topics, Beitragszahlen und Release-Tags extrahieren. Es unterstützt sowohl HTML-Scraping als auch API-basierte Extraktion, bevorzugt API-Felder, und fällt bei Bedarf elegant auf HTML-Parsing zurück. Die Daten werden in konsistente Felder und Zeitstempel normalisiert, mit Provenance-Metadaten zur Reproduzierbarkeit. Die Ausgaben liegen entweder im JSON- oder CSV-Format vor, für eine nahtlose Integration in Analytik-Pipelines, Dashboards oder Berichte. Anwendungsfälle umfassen Open-Source-Gesundheitsüberwachung, Verteilung von Lizenzen und Sprachen sowie Wettbewerbsforschung über mehrere Repositories. Fortgeschrittene Benutzer können Selektoren anpassen, Paginierung aktivieren oder wiederkehrende Scrapes planen, während Rate-Limits und robots.txt respektiert werden. Der Fokus liegt auf Datenqualität, Duplikation nach Repository-URL und klare Nachverfolgbarkeit der Scrape-Instanz.