Strumento qualità dati

Questo strumento offre un flusso di lavoro di valutazione della qualità dei dati progettato per ambienti di governance e focalizzato sugli asset gestiti in un catalogo dati. Risolve il problema di quantificare la qualità, identificare lacune e dare priorità alle azioni correttive per data steward, data engineer e team di governance. Nell’integrazione di nuovi dataset, audit di qualità periodici o conformità alle policy, gli utenti possono generare un punteggio di qualità unificato e insight azionabili.
Logica principale e funzioni: funzioni richieste includono: (1) input asset_id, (2) un set definito di regole di qualità (null, duplicati, integrità referenziale, conformità formato, outlier), (3) configurazione soglie e pesi, (4) supporto per campioni o dati in streaming. Opzioni avanzate: (a) pesatura regole per dominio, (b) diverse strategie di campionamento, (c) analisi di tendenze nel tempo, (d) report JSON/CSV esportabili, (e) analisi di impatto cross-asset tramite data lineage. Output: quality_score globale (0–100), rule_results per regola con esito pass/fail e campioni, un elenco di Issues prioritizzato e azioni consigliate.
In/Output: Input: asset_id (string), dataset_name (string, opzionale), regole (array di oggetti regola), thresholds (oggetto con valori numerici), sample_size (intero), time_window (string, es. P30D), locale (string, opzionale). Output: quality_score (number 0–100), rule_results (array), issues (array), actions (array), summary_report (string). Validazione verifica l’esistenza dell’asset, la validità sintattica delle regole e che sample_size sia positivo.
Algoritmi e calcoli: Ogni regola valuta una proprietà dei dati; rule_pass_fraction è calcolata dai campioni e una media ponderata fornisce quality_score. Esempi di regole: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. Formula: quality_score = sum(weight_i * rule_pass_fraction_i) / sum(weights). Punteggio avanzato può includere ponderazione temporale e normalizzazione delle tendenze.
Errori e casi limite: Asset mancante o regole mancanti generano errori espliciti in log; fonti dati possono essere temporaneamente indisponibili, fornendo punteggio parziale. Localizzazione e formati numerici/tempi adeguati al locale.
Industrie/Regione & Localizzazione: Concetti standard di qualità dati in governance; metriche in percentuale; supporto ISO/IEC 8000-3; esportazioni locali.
Assunzioni ed esclusioni: Accesso a metadati asset e dati di campione nel catalogo; niente stile UI, comportamento frontend o elaborazione streaming in tempo reale; integrazioni esterne oltre connettività alle fonti.