Data IQ Tool

Data IQ Tool lê conjuntos de dados CSV ou JSON e calcula uma pontuação de qualidade composta com base em completude, validade, unicidade, consistência e conformidade com intervalos. Ele apresenta métricas por campo para localizar a origem de problemas de qualidade e orientar remediações.

Conceitualmente, a qualidade dos dados é tratada como atributo multidimensional. Impõe conformidade de esquema, detecta valores ausentes e desvios de tipo, identifica duplicatas, verifica intervalos de valores e sinaliza padrões anômalos. Profiling e bibliotecas de regras opcionais apoiam a personalização para conjuntos de dados específicos da indústria.

Destinatários incluem engenheiros de dados preparando pipelines, analistas validando dados recebidos e equipes de governança auditando a qualidade dos dados. O valor único reside em regras de pontuação transparentes, processamento em blocos para grandes conjuntos de dados e relatórios exportáveis adequados para auditorias e comunicação entre equipes.

Principais recursos incluem entrada de datasets, estatísticas por campo, conjunto de regras de validação configurável, recomendações de remediação e opções de exportação para JSON e CSV. Casos de uso abrangem validação pré-ETL, monitoramento de qualidade e análise de causas raízes de incidents de qualidade.