Data Lifeguard Tool

L’outil Data Lifeguard valide et surveille la qualité des données sur les jeux de données analytiques. Il prend en entrée une référence de jeu de données, un schéma optionnel et un ensemble de règles de qualité, puis effectue des vérifications structurelles, de contenu et relationnelles. Il renvoie une note de qualité composite et un journal détaillé des violations, permettant aux équipes d’agir avant les pipelines d’analyse ou de ML.
Conception: la qualité des données est traitée comme une porte d’entrée garantissant la conformité du schéma, les types de données corrects et des colonnes complètes; vérifie les motifs de valeurs et les ensembles autorisés; contrôle les duplications et l’intégrité référentielle. Il prend en charge CSV, Parquet et SQL et peut fonctionner à l’ingestion ou sur des vérifications par lots planifiées. La sortie est conçue pour être consommée par les catalogues de données, les outils d’orchestration et les tableaux de bord.
Valeur unique et différenciateurs: modèles de règles programmables, pondérations configurables, détection de drift par rapport à une référence, et échantillonnage évolutif pour de grands jeux de données. Il produit des artefacts lisibles par machine (scores, journaux de violations et conseils de remédiation) adaptés aux pipelines ETL. Utilisations: hygiène des données pré-analytique, gouvernance du data lake et reporting prêt pour l’audit.
Les flux de travail et les responsabilités sont explicitement séparés: vérifications de schéma séparées des vérifications de contenu, scoring par colonne et rapports exportables. Considérations de localisation et de confidentialité prises en compte avec des concepts alignés sur les ISO et un traitement respectueux de la vie privée. L’outil favorise la reproductibilité et la traçabilité pour les équipes de données.