Outil de qualité des données

Cet outil propose un flux de travail d’évaluation de la qualité des données conçu pour les environnements de gouvernance, en se concentrant sur les actifs gérés dans un catalogue de données. Il résout le problème de quantification de la qualité, d’identification des lacunes et de priorisation des actions correctives pour les guardians, les ingénieurs de données et les équipes de gouvernance. Lors de l’intégration de nouveaux jeux de données, des audits de qualité périodiques ou le respect des politiques, les utilisateurs peuvent générer un score de qualité unifié et des insights actionnables.
Logique centrale et fonctionnalités: les fonctionnalités requises incluent: (1) identification d’actif ou asset_id, (2) un ensemble défini de règles de qualité (valeurs nulles, duplicata, intégrité référentielle, conformité de format, outliers), (3) configuration de seuils et de pondération, et (4) prise en charge des données échantillonnées ou en flux. Options avancées: (a) pondération des règles par domaine, (b) plusieurs méthodes d’échantillonnage, (c) analyse des tendances dans le temps, (d) rapports JSON/CSV exportables, et (e) analyse d’impact cross-asset via la traçabilité des données. Sorties: quality_score global (0–100), rule_results par règle avec statut passer/échouer et échantillons, liste d’issues priorisées et actions recommandées.
Entrées/sorties: Entrées: asset_id (chaîne), dataset_name (chaîne, optionnel), règles (tableau d’objets règle), thresholds (objet avec valeurs numériques), sample_size (entier), time_window (chaîne, ex. P30D), locale (chaîne, optionnelle). Sorties: quality_score (numérique 0–100), rule_results (tableau), issues (tableau), actions (tableau), summary_report (chaîne). Validation assure l’existence de l’actif, la validité syntaxique des règles et que sample_size est positif.
Algorithmes et calculs: Chaque règle évalue une propriété des données; le rule_pass_fraction est calculé à partir des échantillons, et une moyenne pondérée donne le quality_score. Exemples de règles: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. La formule: quality_score = sum(weight_i * rule_pass_fraction_i) / sum(weights). Desments plus avancés incluent pondération temporelle et normalisation des tendances.
Erreurs et cas limites: Asset non renseigné ou règles manquantes déclenchent des erreurs non-UI dans les journaux. Si une source est indisponible, le tool retourne un score partiel avec sources manquantes marquées et actions de secours recommandées. Des jeux de données très déséquilibrés mènent à une évaluation conservatrice. Localisation peut ajuster les formats date/heure et le séparateur décimal.
Industrie/Region & Localisation: Concepts standard de qualité des données en gouvernance; métrologie exprimée en pourcentages; cadre ISO/IEC 8000-3; exportation locale adaptée.
Hypothèses & Exclus: Accès aux métadonnées des actifs et aux données d’échantillon dans le catalogue; exclut UI, comportement frontend, traitement en streaming en temps réel et intégrations externes hors configuration des sources.