Gegevenskwaliteits-tool

Deze tool biedt een datakwaliteitsbeoordelings-workflow, ontworpen voor governance-omgevingen en gericht op assets die in een datapaleis beheerd worden. Het lost het probleem op om kwaliteit te kwantificeren, lacunes te identificeren en corrigerende acties te prioriteren voor data stewards, data engineers en governance-teams. Bij het opnemen van nieuwe datasets, regelmatige kwaliteitsaudits of beleidsnaleving kunnen gebruikers een eendrachtige kwaliteitsbeoordeling en uitvoerbare inzichten genereren.
Kernlogica & functies: vereiste functies zijn: (1) asset-id invoer, (2) een gedefinieerde set regels (nullen, duplicaten, relationele integriteit, formaatconformiteit, uitschieters), (3) drempels en weging config, en (4) ondersteuning voor steekproeven of data in streaming. Optionele/advanced opties: (a) regel-gewichten per domein, (b) meerdere steekproefmethoden, (c) trendanalyse door ter tijd, (d) exporteerbare JSON/CSV-rapporten, (e) cross-asset-impactanalyse via data lineage. Uitvoer: global quality_score (0–100), per-rule_results met pass/fail en steekproeven, een geprioriteerde issues-lijst en aanbevolen acties.
In- en outputs: Invoer: asset_id (string), dataset_name (string, optioneel), rules (array van regels), thresholds (object met numerieke waarden), sample_size (integer), time_window (string, b.v. P30D), locale (string, optioneel). Uitvoer: quality_score (number 0–100), rule_results (array), issues (array), actions (array), summary_report (string). Validatie: asset bestaat, regels syntactisch geldig en sample_size positief.
Algoritmes & berekeningen: Elke regel evalueert een datapunt; rule_pass_fraction wordt berekend uit steekproeven en een gewogen gemiddelde geeft de quality_score. Voorbeelden: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. Formule: quality_score = sum(weight_i * rule_pass_fraction_i) / sum(weights). Geavanceerde scoring kan tijdgewichting en trend-normalisatie bevatten.
Fouten & randgevallen: Ontbrekend asset_id of regels geeft expliciete fouten in logs, bronnen kunnen soms tijdelijk onbeschikbaar zijn waardoor score gedeeltelijk is en aanbevelingen worden gegenereerd. Locale/eenheden normalisatie van inputs.
Industrie/Regio & Lokalisatie: Standaard data quality concepten; procentuele metrics; ISO/IEC 8000-3 framing; locale-afhankelijke rapport exports.
Veronderstellingen & Uitsluitingen: Toegang tot asset metadata en steekproefdata binnen catalogus; geen UI-styling, frontend gedrag of realtime streaming verwerking; geen externe tools behalve connectiviteit met databronnen.