Datakvalitetsverktøy

Dette verktøyet tilbyr et datakvalitetsvurderingsarbeidsflyt designet for styringsmiljøer og fokusert på aktiva som forvaltes i en data-katalog. Det løser problemet med å kvantifisere kvalitet, identifisere mangler og prioritere avhjelpende tiltak for dataeiere, dataingeniører og governance-team. Når nye datasett legges til, eller revisjoner og policy-etterlevelse kreves, kan brukere generere en enhetlig kvalitetsvurdering og handlingsbare innsikter.
Kjernelogikk og funksjoner: Krav inkluderer: (1) asset-id input, (2) et definert sett kvalitetsregler (nuller, duplikater, referensiell integritet, formatkonformitet, outliers), (3) konfigurasjon av terskler og vekt, og (4) støtte for stikprøver eller streamingdata. Valgfrie/fremtidige funksjoner: (a) regelvektning per domene, (b) flere stikprøve-metoder, (c) trendanalyse over tid, (d) eksportérbare JSON/CSV-rapporter, (e) tverr-asset påvirkningsanalyse. Outputs: global quality_score (0–100), per-rule_results, prioriterte issues og anbefalte tiltak.
Inndata/utdata: Inndata: asset_id (string), dataset_name (string, optional), regler (array av regelobjekter), thresholds (objekt), sample_size (integer), time_window (string), locale (string, optional). Utdata: quality_score (number 0–100), rule_results (array), issues (array), actions (array), summary_report (string). Validering sikrer at asset eksisterer, regler er gyldige, og sample_size er positivt.
Algoritmer & beregninger: Hver regel evaluerer en egenskap ved dataene; rule_pass_fraction beregnes fra stikprøver og et vektet gjennomsnitt gir quality_score. Eksempelregler: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance.
Feil & kanttilfeller: Manglende asset_id eller regler utløser eksplisitte feil i logger; kilder kan være midlertidig utilgjengelige og gi delvis poeng. Lokale enheter krever normalisering.
Industri/Region & Lokalisering: Bruker standard begreper for datakvalitet i data governance; prosenter; ISO/IEC 8000-3-rammeverk; lokal eksport.
Forutsetninger & Unntak: Tilgang til metadata og prøve-data i katalogen; ekskluder UI-styling, frontend-adferd og sanntids-streaming, og eksterne verktøy utover kilden.