Herramienta de calidad de datos

Esta herramienta ofrece un flujo de trabajo de evaluación de la calidad de datos diseñado para entornos de gobernanza y centrado en activos gestionados dentro de un catálogo de datos. Resuelve el problema de cuantificar la calidad, identificar brechas y priorizar acciones correctivas para responsables de datos, ingenieros de datos y equipos de gobernanza. Al incorporar nuevos conjuntos de datos, realizar auditorías periódicas de calidad o garantizar el cumplimiento de políticas, los usuarios pueden generar una puntuación de calidad unificada y perspectivas accionables.
Lógica central y funciones: funciones requeridas incluyen: (1) entrada asset_id, (2) un conjunto definido de reglas de calidad (valores nulos, duplicados, integridad referencial, conformidad de formato, valores atípicos), (3) configuración de umbrales y ponderación, y (4) soporte para muestras o datos en streaming. Opciones avanzadas: (a) ponderación de reglas por dominio, (b) múltiples estrategias de muestreo, (c) análisis de tendencias a lo largo del tiempo, (d) informes JSON/CSV exportables, y (e) análisis de impacto entre activos usando data lineage. Salidas: quality_score global (0–100), rule_results por regla con estado pass/fail y muestras, una lista de issues priorizada y acciones recomendadas.
Entradas/Salidas: Entradas: asset_id (string), dataset_name (string, opcional), rules (array de objetos regla), thresholds (objeto con valores numéricos), sample_size (entero), time_window (string, p.ej. P30D), locale (string, opcional). Salidas: quality_score (number 0–100), rule_results (array), issues (array), actions (array), summary_report (string). Validación garantiza que el asset exista, que las reglas sean sintácticamente válidas y que sample_size sea positivo.
Algoritmos y cálculos: Cada regla evalúa una propiedad de los datos; rule_pass_fraction se calcula a partir de muestras y un promedio ponderado da quality_score. Regla de ejemplo: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. Fórmula: quality_score = sum(weight_i * rule_pass_fraction_i) / sum(weights). Puntuación avanzada puede incluir ponderación por tiempo y normalización de tendencias.
Errores y casos límite: Falta de asset_id o reglas produce errores explícitos en los logs; fuentes pueden estar temporariamente indisponibles, generando puntuación parcial. Localización puede ajustar formatos de fecha/hora y separadores decimales.
Industria/Región y Localización: Conceptos estándar de calidad de datos en gobernanza; métricas en porcentaje; soporte ISO/IEC 8000-3; exportaciones ajustadas a la locale.
Supuestos y Exclusiones: Acceso a metadatos de activos y datos de muestreo en el catálogo; excluye estilo UI, comportamiento de frontend y procesamiento en streaming en tiempo real; integraciones externas solo para conectividad a fuentes de datos.