Verktyg för datakvalitet

Detta verktyg erbjuder ett datakvalitetsbedömningsarbetsflöde anpassat för styrningsmiljöer och fokuserat på tillgångar som hanteras i en datakatalog. Det löser problemet med att kvantifiera kvalitet, identifiera luckor och prioritera åtgärder för data-ansvariga, dataingenjörer och styrelser. Vid införande av nya dataset, regelbundna kvalitetsrevisioner eller policyefterlevnad kan användare generera ett enhetligt kvalitetsresultat och handlingsbara insikter.
Kärnlogik och funktioner: Krav inkluderar: (1) asset_id-ingång, (2) en definierad uppsättning kvalitetsregler (nullvärden, dubbletter, referentiell integritet, formatkonformitet, avvikare), (3) konfiguration av trösklar och viktning, (4) stöd för stickprov eller strömmande data. Valfria/förbättrade funktioner: (a) domänvikter för regler, (b) flera stickprovsstrategier, (c) trendanalys över tid, (d) exportbara JSON/CSV-rapporter, (e) tvär-asset påverkan via datalänk. Outputs: global quality_score (0–100), per-rule_results med pass/miss och prov, en prioriterad lista över frågor och rekommenderade åtgärder.
In-/utdata: Inmatningar: asset_id (sträng), dataset_name (sträng, valfri), regler (array av regelobjekt), thresholds (objekt med numeriska värden), sample_size (heltal), time_window (sträng, t.ex. P30D), locale (sträng, valfri). Outputs: quality_score (tal 0–100), rule_results (array), issues (array), actions (array), summary_report (sträng). Validering säkerställer att tillgången finns, reglerna är syntaktiskt giltiga och sample_size är positivt.
Algoritmer och beräkningar: Varje regel utvärderar en datapunkt; rule_pass_fraction beräknas från stickprov och ett viktat medel ger quality_score. Exempelregler: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. Formeln: quality_score = sum(weight_i * rule_pass_fraction_i) / sum(weights). Avancerad poängsättning kan inkludera tidsviktning och trendnormalisering.
Fel och kantfall: Saknas asset_id eller regler utlöser explicita icke-UI-fel i loggar; källor kan vara tillfälligt otillgängliga och ge partiell poäng. Lokala enheter och språk kräver normalisering.
Industri/Region & Lokalisering: Viss standardisering av datakvalitet i styrning; mått i procent; stöd för ISO/IEC 8000-3; exporter anpassade efter lokal miljö.
Antaganden & Undantag: Tillgång till metadata och provdata i katalogen; exkluderar UI-styling, front-end beteende och realtidsströmning samt externa verktygsintegrationer utom konnektivitet till källor.