Data Lifeguard Tool

A Data Lifeguard Tool valida e monitora a qualidade de dados sobre conjuntos de dados analíticos. Ela recebe uma referência de conjunto de dados, um esquema opcional e um conjunto de regras de qualidade, executando verificações estruturais, de conteúdo e relacionais. Retorna uma pontuação de qualidade composta e um log detalhado de violações, permitindo que equipes atuem antes de pipelines de análise ou ML.
Conceitualmente, trata a qualidade dos dados como um portão: assegura conformidade de schema, tipos de dados corretos e colunas completas; verifica padrões de valores e conjuntos permitidos; verifica duplicatas e integridade referencial. Suporta CSV, Parquet e SQL e pode operar na ingestão ou em verificações de lote agendadas. A saída é projetada para ser consumida por catálogos de dados, ferramentas de orquestração e dashboards.
Valor único e diferenciais: modelos de regras programáveis, pesos configuráveis, detecção de drift frente a baselines e amostragem escalável para grandes conjuntos de dados. Produz artefatos legíveis por máquina (pontuações, logs de violações e diretrizes de remediação) adequados para pipelines ETL. Aplicações: higiene de dados pré-analítica, governança de data lake e relatórios prontos para auditoria.
Funcionalidades centrais e fluxos de trabalho com separação de responsabilidades: separação entre verificações de esquema e de conteúdo, pontuação por coluna e relatórios exportáveis. Considerações de localização e privacidade suportadas com conceitos alinhados à ISO e tratamento de privacidade. A solução enfatiza reprodutibilidade e rastreabilidade para equipes de dados.