Soda Data Quality Tool

Scopo e intento utente: lo strumento fornisce una valutazione quantitativa della qualità dei dati per dataset usati in analisi, reporting e governance. Il pubblico di riferimento include data engineer, data steward, QA team e data scientist che devono validare la prontezza prima di dashboard, modelli ML o rapporti normativi. Supporta profiling all'arrivo di dati, migrazione o cicli di governance periodici e aiuta i team a prioritizzare gli interventi identificando i gap di qualità più significativi. L'approccio è deterministico, trasparente e riproducibile, offrendo tracciabilità per la governance della qualità dei dati.

Logica centrale & funzionalità: lo strumento implementa un modello di scoring basato su regole con input/output obbligatori. Input necessari includono identificativo del dataset o percorso, uno schema definito e un campione (o dataset completo); input opzionali includono pesi e regole regionali. Funzionalità includono controlli a livello campo su completezza, validità e formato, controlli di coerenza a livello di dataset e un punteggio composito (0-100) più segnali a livello di campo. Output includono punteggio totale, punteggi per dimensione (completezza, accuratezza, coerenza, validità), segnali di campo e un rapporto di remediation in JSON o CSV. Gli algoritmi utilizzano un aggregatore pesato: Score = somma(weight_i * metric_i). Questa impostazione riflette l'approccio SODA combinando controlli di regole e metriche di governance.

Input & Output: lo strumento accetta dataset_id o percorso, uno schema formale, regole di qualità per i campi e una configurazione di pesi opzionale. Output consiste in un punteggio complessivo (0-100), punteggi di dimensione, segnali di campo e una sezione remediation. Il formato può essere JSON o CSV per integrazione in cataloghi dati o cruscotti di governance. Unità: percentuale per i punteggi; timestamp ISO 8601.

Errori e casi limite: se mancano o sono invalidi gli input, lo strumento segnala l'deficit e non calcola lo score finché non risolto. Se la fonte dati non è disponibile, viene restituito uno stato di errore con dettagli diagnostici. Dataset grandi possono essere campionati; dataset vuoti producono punteggi a livello di campo indefiniti. Timeout producono risultati parziali con avvertenze.

Industria/Regione & Localizzazione: Supporta formati numerici e temporali localizzati e segue pratiche comuni di governance dei dati, inclusi metadati auditabili e conformità. Impostazioni di localizzazione adattano testo e riferimenti alle normative regionali.

Assunzioni ed esclusioni: presuppone accesso a campioni rappresentativi e a uno schema definito; esclude ispezione completa del contenuto oltre al campionamento e qualsiasi considerazione UI/presentazione.