Data Lifeguard Tool

La Data Lifeguard Tool valida y monitoriza la calidad de los datos en conjuntos analíticos. Recibe una referencia del conjunto de datos, un esquema opcional y un conjunto de reglas de calidad, y ejecuta comprobaciones estructurales, de contenido y relacionales. Devuelve una puntuación de calidad compuesta y un registro detallado de violaciones, para que los equipos actúen antes de las canalizaciones de análisis o ML.
Conceptualmente, trata la calidad de los datos como una compuerta: garantiza la conformidad del esquema, tipos de datos correctos y columnas completas; verifica patrones de valores y conjuntos permitidos; revisa duplicados e integridad referencial. Admite CSV, Parquet y SQL y puede operar en la ingestión o en comprobaciones por lotes programadas. El output está diseñado para ser consumido por catálogos de datos, herramientas de orquestación y paneles.
Valor único y diferenciadores: plantillas de reglas programables, ponderaciones configurables, detección de drift frente a baseline y muestreo escalable para grandes conjuntos de datos. Produce artefactos legibles por máquina (puntuaciones, registros de violaciones y guías de remediación) aptos para pipelines ETL. Usos: higiene de datos previa al análisis, gobernanza de data lake y generación de informes para auditoría.
Funciones centrales y flujo de trabajo con separación de responsabilidades: separación entre comprobaciones de esquema y de contenido, puntuación por columna y reportes exportables. Consideraciones de localización y privacidad soportadas con conceptos alineados a ISO y procesamiento respetuoso de la privacidad. La herramienta enfatiza reproducibilidad y trazabilidad para equipos de datos.