Soda Data Quality Tool

Formål og brugeradfærd: Ltool giver en kvantitativ vurdering af datakvalitet til datasæt brugt i analyse, rapportering og governance. Målgruppen omfatter dataingeniører, dataansvarlige, QA-teams og dataforskere, der skal validere beredskab før dashboards, ML-modeller eller regulatoriske rapporter. Profilering understøttes under dataindkomstr, migration eller periodiske styringscyklusser og hjælper teams med at prioritere afhjælpning ved at fremhæve de vigtigste kvalitetsgab. Tilgangen er deterministisk, gennemsigtig og reproducerbar og muliggør revisionsspor for data governance.

Kerne logik & funktioner: Værktøjet implementerer en regelbaseret poengmodel med påkrævede inputs og outputs. Nødvendige inputs inkluderer dataset-id eller sti, et defineret skema og et udtræk (eller fuldt) dataset; valgfrie inputs omfatter vægte og regionale regelværk. Funktioner omfatter feltkontroller for fuldstændighed, gyldighed og format, dataset-omfattende konsistenskontroller og en sammensat score (0-100) plus felt-signaler. Outputs inkluderer total score, dimension scores (fuldstændighed, nøjagtighed, konsistens, gyldighed), felt-signaler og en remediation-rapport i JSON eller CSV. Algoritmer anvender en vægtet aggregering: Score = sum(weight_i * metric_i). Dette afspejler SODA’s data kvalitet- tilgang ved at kombinere regelkontroller med governance-målinger.

Input & Output: Værktøjet accepterer dataset_id eller sti, et formelt schema, kvalitetsregler for felter og en valgfri vægtkonfiguration. Outputs består af en samlet score (0-100), dimension scores, felt-signaler og et remediation-afsnit. Format kan JSON eller CSV for integration med data-kataloger eller governance-dashboards. Enheder: procenter for scorer; tidsstempler i ISO 8601.

Fejl & kanttilfælde: Manglende eller ugyldige inputs giver fejlbesked og scoring udskydes, indtil afhjælpning. Hvis kilden ikke er tilgængelig, returneres en fejltilstand med diagnostiske detaljer. Store datasæt kan prøvesample; tomme datasæt giver undefinerede feltscores. Timeout giver delvise resultater med forbehold.

Industri/Region & Lokalisering: Understøtter lokalt tilpassede nummer- og datoformater og følger gældende data governance-praksisser, inklusive revisionsspor og overholdelse. Lokalisering kan tilpasse formuleringer til regionale regler.

Antagelser & Undtagelser: Antager adgang til repræsentative prøver og et defineret schema; udelukker fuld indholdsinspektion ud over sampling og UI-/præsentationsaspekter.