Ferramenta de qualidade de dados

Esta ferramenta oferece um fluxo de trabalho de avaliação de qualidade de dados projetado para ambientes de governança e centrado em ativos geridos em um catálogo de dados. Resolve o problema de quantificar a qualidade, identificar lacunas e priorizar ações corretivas para data stewards, data engineers e equipes de governança. Ao incorporar novos conjuntos de dados, auditorias periódicas de qualidade ou conformidade com políticas, os usuários podem gerar uma pontuação de qualidade unificada e insights acionáveis.
Lógica central e recursos: exigem-se: (1) entrada asset_id, (2) um conjunto definido de regras de qualidade (valores nulos, duplicatas, integridade referencial, conformidade de formato, outliers), (3) configuração de limiares e ponderação, e (4) apoio a amostras ou dados em streaming. Opções avançadas: (a) ponderação de regras por domínio, (b) várias estratégias de amostragem, (c) análise de tendências ao longo do tempo, (d) relatórios JSON/CSV exportáveis, e (e) análise de impacto entre ativos usando data lineage. Saídas: quality_score global (0–100), rule_results por regra com status passar/falhar e amostras, uma lista de issues priorizada e ações recomendadas.
Entradas/Saídas: Entradas: asset_id (string), dataset_name (string, opcional), regras (array de objetos de regra), thresholds (objeto com valores numéricos), sample_size (inteiro), time_window (string, ex. P30D), locale (string, opcional). Saídas: quality_score (número 0–100), rule_results (array), issues (array), actions (array), summary_report (string). Validação garante que o ativo exista, que as regras sejam sintaticamente válidas e que sample_size seja positivo.
Algoritmos e cálculos: Cada regra avalia uma propriedade dos dados; rule_pass_fraction é calculado a partir de amostras e uma média ponderada fornece quality_score. Exemplos de regras: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. Fórmula: quality_score = soma(weight_i * rule_pass_fraction_i) / soma(weights). Pontuação avançada pode incluir ponderação temporal e normalização de tendências.
Erros e casos extremos: Ausência de asset_id ou regras provoca erros explícitos nos logs; fontes podem ficar indisponíveis temporariamente, gerando pontuação parcial. Localização e formatos dependentes do locale.
Indústria/Região & Localização: Conceitos padrão de qualidade de dados em governança; métricas em porcentagem; suporte ISO/IEC 8000-3; exportações locais.
Suposições & Exclusões: Acesso a metadados de ativos e dados de amostra no catálogo; exclui styling de UI, comportamento de frontend e processamento em streaming em tempo real; integrações externas apenas para conectividade às fontes.