Data Tool Visual Studio

Profilering af datasæt og datakilder i et Visual Studio-workflow hjælper udviklere med at vurdere databehandlingsklarhed til analyse og maskinlæring. Målgruppen er dataingeniører, softwareudviklere og QA-ingeniører, der integrerer datavalidering i kodeprojekter eller CI-pipelines. Værktøjet leverer nøjagtig profilering og reproducerbare resultater uden at ændre data, hvilket gør det muligt hurtigt at beslutte, om et datasæt opfylder kvalitets- og strukturelle krav, inden det bruges downstream.
Profileringsevnerne inkluderer forbindelse til almindelige kilder som SQL Server, CSV, JSON og Parquet. Efter valg af et datasæt vælger brugerne hvilke målinger der skal beregnes og eventuelle filtre. Systemet producerer kolonnevise statistikker, manglende værdier, unikke værdier, top-kategorier og distributionsestimater. Det understøtter både nøjagtige beregninger for små datasæt og tilnærmet metoder for store datasæt for at bevare ydeevnen.
Uddata omfatter en struktureret profilrapport, et overblik over centrale statistikker og et lille udvalg af poster. Rapporter kan eksporteres som CSV eller JSON og integreres i CI-job eller lokale analyse-workflows. Resultaterne er beregnet til at blive brugt af andre værktøjer i udviklingsmiljøet og muliggøre automatiserede kvalitetskontroller og efterfølgende dataforberedelse.
Unikke værdier inkluderer IDE-integration, versionsstyring af profilresultater og valgfri anomalidetektion eller partitioneret profilering for Big Data. Typiske anvendelsestilfælde inkluderer pre-deploy data validering, datakvalitetskontrol i kodebaser og pålidelig data til analytics og ML-pipelines.