Data IQ Tool

Data IQ Tool lit des ensembles CSV ou JSON et calcule un score de qualité composite couvrant la complétude, la validité, l’unicité, la cohérence et la conformité à la plage. Il rapporte des métriques par champ pour localiser l’origine des problèmes de qualité et guider les remédiations.

Conception: la qualité des données est traitée comme une caractéristique multidimensionnelle. Le respect du schéma, les valeurs manquantes et les écarts de type, les doublons, les plages de valeurs et les motifs anormaux sont gérés. Le profilage et les bibliothèques de règles facultatives permettent une personnalisation pour des jeux de données industriels spécifiques.

Les bénéficiaires incluent les ingénieurs de données préparant les pipelines, les analystes validant les données entrantes et les équipes de gouvernance auditées sur la qualité des données. La valeur unique réside dans des règles de scoring transparentes, un traitement par morceaux pour les gros jeux et des rapports exportables adaptés aux audits et à la communication entre équipes.

Les fonctionnalités clés incluent la gestion des entrées de données, les statistiques par champ, un ensemble de règles de validation configurables, des recommandations de remédiation et des options d’export pour JSON et CSV. Les cas d’utilisation couvrent la validation pré-ETL, la surveillance de la qualité des données et l’analyse des causes profondes des incidents.