Soda Data Quality Tool

Doel en ticket: De tool levert een kwantitatieve beoordeling van de data kwaliteit voor datasets die worden gebruikt in analyse, rapportage en governance. Doelgroep zijn data-ingenieurs, data stewards, QA-teams en data scientists die de gereedheid vóór dashboards, ML-modellen of regulatorische rapportage moeten valideren. Profilering kan bij aankomst van data, migratie of periodieke governance-cycli worden toegepast en helpt teams prioriteiten te stellen voor remediation door de belangrijkste kwaliteitslacunes te tonen. De benadering is deterministisch, transparant en reproduceerbaar, met audit-trails voor data governance.

Kernlogica & functies: De tool implementeert een regelgestuurd scoring-model met vereiste inputs en outputs. Vereiste inputs omvatten dataset-id of pad, een gedefinieerd schema en een steekproef (of volledige) dataset; optionele inputs omvatten gewichten en regionale regelsets. Functies omvatten veldcontroles op volledigheid, geldigheid en formaat, dataset-brede samenhangendheidscontroles en een samengestelde score (0-100) plus veld-signalen. Outputs omvatten totale score, dimensiescores (volledigheid, nauwkeurigheid, consistentie, geldigheid), veldsignalen en een remediation-rapport in JSON of CSV. Algoritmes passen een gewogen aggregator toe: Score = som(weight_i * metric_i). Dit weerspiegelt SODA’s data quality-filosofie door regelcontroles te combineren met governance-gerelateerde metrics.

Input & Output: De tool accepteert dataset_id of pad, formeel schema, kwaliteitsregels voor velden en optionele weegconfiguratie. Outputs bestaan uit één totale score (0-100), dimensiescores, veld-signalen en een remediation-gedeelte. Formaat kan JSON of CSV zijn voor integratie met data-catalogi of governance dashboards. Eenheden: percent voor scores; tijdstippen ISO 8601.

Fouten & randgevallen: Ontbrekende of ongeldige inputs leiden tot melding van het tekort en scoring wordt uitgesteld tot opgelost. Als de gegevensbron niet beschikbaar is, wordt een foutstatus met diagnostische details geretourneerd. Grote datasets mogen worden bemonsterd; lege datasets geven undefined veldscores. Timeouts leveren gedeeltelijke resultaten met kanttekeningen.

Industrie/Regio & Lokalisatie: Ondersteunt locale getallen- en datumformaten en sluit aan bij gangbare data governance-praktijken, inclusief auditbare metadata en naleving. Lokalisatie-instellingen passen bewoordingen en referenties aan regionale regels aan.