Datakvalitetsværktøj

Dette værktøj tilbyder et datakvalitetsvurderingsworkflow designet til styremiljøer og fokuseret på aktiver, der administreres i en datapakke. Det løser problemet med at kvantificere kvalitet, identificere mangler og prioritere afhjælgningshandlinger for dataforvaltere, dataingeniører og governance-teams. Når der tilføjes nye datasæt, udføres periodiske kvalitetsrevideringer eller politikoverholdelse, kan brugere generere en ensartet kvalitetsbedømmelse og handlingsrettede indsigter.
Kernelogik & funktioner: Krav inkluderer: (1) asset-id input, (2) et defineret sæt kvalitetsregler (nuller, dubletter, referentiel integritet, formatkonformitet, outliers), (3) konfiguration af tærskler og vægtning, (4) understøttelse af stikprøver eller streamingdata. Valgfrie/avancerede funktioner: (a) regelvægtning pr. domæne, (b) flere stikprøve-metoder, (c) trendanalyse over tid, (d) exportérbare JSON/CSV-rapporter, (e) tvær-asset påvirkningsanalyse via data lineage. Outputs: global quality_score (0–100), per-rule_results med pass/fail og prøver, en prioriteret issues-liste og anbefalede handlinger.
Ind/uddata: Inddata: asset_id (string), dataset_name (string, valgfri), regler (array af regel-objekter), thresholds (objekt med numeriske værdier), sample_size (heltal), time_window (string, f.eks. P30D), locale (string, valgfri). Uddata: quality_score (number 0–100), rule_results (array), issues (array), actions (array), summary_report (string). Validering sikrer, at aktivet findes, reglerne er syntaktisk gyldige og sample_size er positivt.
Algoritmer & beregninger: Hver regel evaluerer en egenskab ved dataene; rule_pass_fraction beregnes ud fra stikprøver, og et vægtet gennemsnit giver quality_score. Eksempelregler: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. Formlen: quality_score = sum(weight_i * rule_pass_fraction_i) / sum(weights). Avanceret scoring kan inkludere tidsvægte og trend-normalisering.
Fejl & kanttilfælde: Manglende asset_id eller regler udløser eksplicitte fejl i logfiler; kilder kan være midlertidigt utilgængelige og give delvis score. Lokale enheder/valutaer kræver normalisering.
Branche/Region & Lokalisering: Bruger standardbegreber for datakvalitet i data governance; procenter som måleenheder; understøtter ISO/IEC 8000-3; eksport til lokal kontekst.
Forudsætninger & Undtagelser: Adgang til asset-metadata og stikprøvedata i kataloget; udelader UI-styling, frontend-opførsel og realtids-streaming samt eksterne integrationer udover datakilder.