Soda Data Quality Tool

Propósito e intención del usuario: la herramienta ofrece una evaluación cuantitativa de la calidad de los datos para conjuntos de datos utilizados en análisis, informes y gobernanza. El público objetivo son ingenieros de datos, responsables de datos, equipos QA y científicos de datos que deben validar la preparación antes de paneles, modelos ML o informes regulatorios. Soporta profiling durante la llegada de datos, migración o ciclos de gobernanza periódicos y ayuda a priorizar remediaciones al revelar las lagunas de calidad más relevantes. El enfoque es determinista, transparente y reproducible, habilitando trazas de auditoría para la gobernanza de la calidad de los datos.

Lógica central y características: el tool implementa un modelo de puntuación basado en reglas con entradas y salidas obligatorias. Entradas obligatorias: identificador del conjunto de datos o ruta, un esquema definido y una muestra (o conjunto completo) de datos; entradas opcionales: ponderaciones y marcos de reglas regionales. Funcionalidades: controles a nivel de campo para exhaustividad, validez y formato, controles de consistencia a nivel de conjunto de datos y una puntuación compuesta (0-100) más señales a nivel de campo. Salidas: puntuación total, puntuaciones por dimensión (exhaustividad, precisión, consistencia, validez), señales de campo y un informe de remediación en JSON o CSV. Los algoritmos utilizan un agregador ponderado: Score = sum(weight_i * metric_i). Este enfoque refleja la filosofía de SODA combinando controles de reglas con métricas de gobernanza.

Entradas y salidas: la herramienta acepta dataset_id o ruta, un esquema formal, reglas de calidad para campos y una configuración de ponderación opcional. Las salidas consisten en una puntuación general (0-100), puntuaciones de dimensión, señales de campo y una sección de remediación. El formato puede JSON o CSV para integración con catálogos de datos o paneles de gobernanza. Unidades: porcentaje para puntuaciones; marcas de tiempo ISO 8601.

Errores y casos límite: si faltan entradas o son inválidas, la herramienta informa la deficiencia y retrasa el cálculo hasta su resolución. Si la fuente de datos no está disponible, se devuelve un estado de error con detalles de diagnóstico. Se pueden muestrear datasets grandes; datasets con cero registros producen puntuaciones de campo indefinidas. Los timeouts producen resultados parciales con advertencias.

Industria/Región y Localización: admite formatos numéricos y de fecha localizados y se alinea con prácticas comunes de gobernanza de datos, incluyendo metadatos listos para auditoría y cumplimiento. Ajustes de localización pueden adaptar el wording y referencias a regulaciones regionales.

Supuestos y Exclusiones: se asume acceso a muestras representativas y a un esquema definido; se excluye inspección completa de contenido más allá del muestreo y cualquier aspecto de UI/presentación.