Soda Data Quality Tool

מטרת השימוש: הכלי מספק הערכה כמותית של איכות הנתונים עבור מערכי נתונים המשמשים באנליטיקה, בדיווח ובממשל. הקהל כולל מהנדסי נתונים, מנהלי נתונים, צוותי QA ומדעני נתונים שצריכים לאמת את ההכנות לפני לוחות מחוונים, מודלים ML או דוחות רגולטוריים. הוא תומך בפרופיילינג עם הגעת נתונים, הגירה או מחזורי ממשל תקופתיים ועוזר בצוותים לקבוע קדימויות תיקון על ידי הצגת החריגות המשמעותיות ביותר. הגישה היא דטרמיניסטית, שקופה ורpnוצרת, המאפשרת מסלולי ביקורת לממשל איכות הנתונים.

היגיון ליבה ותכונות: הכלי מיישם מודל ציון על בסיס כללים עם קלטים ופלטים חובה. קלטים חובה כוללים מזהה נתונים או נתיב, סכימה מוגדרת ודוגם (או נתון מלא); קלטים אופציונליים כוללים משקולות וסט כללי אזורי. תכונות: בדיקות שדות לכוליות, תקפות ופורמט, בדיקות עקביות ברמת מערך נתונים, וציון משולב (0-100) יחד עם אותות ברמת שדה. פלטים כוללים ציון כולל, ציוני ממדים (כוליות, דיוק, עקביות, תקפות), אותות שדה ודוח remediación בפורמטים JSON או CSV. האלגוריתמים משתמשים באגרגטור משוקלל: Score = sum(weight_i * metric_i). גישה זו משקפת את רוח SODA על ידי שילוב בדיקות כללים עם מדדי ממשל.

קלטים ויציאות: הכלי מקבל dataset_id או נתיב, סכימה פורמלית, כללי איכות לשדות והגדרת משקולות אופציונלית. Outputs כוללים ציון כולל יחיד (0-100), ציוני ממדים, אותות שדה וחלק Remediation. הצורה יכולה JSON או CSV לשילוב במחסנים נתונים או לוחות בקרה לממשל. יחידות: אחוזים לציונים; תאריכי ISO 8601.

שגיאות ומקרי קצה: אם קלטים חסרים או אינם תקפים, הכלי מדווח על החיסרון והציון יידחה עד שיתוקן. אם מקור הנתונים אינו זמין, מופיע מצב שגיאה עם פרטי אבחון. מערכות נתונים גדולות עשויות להיבדק מדגם; מערכים ריקים יפיקו ציוני שדה לא מוגדרים. Timeout יוצר תוצאות חלקיות עם אזהרות.

תעשייה/אזור ולוקליזציה: תומך בפורמטים מספריים/תאריכים מקומיים ומבסס על נהלים מקובלים של ממשל נתונים, כולל מטא-נתונים ניתנים לביקורת ולעמידה. הגדרות לוקליזציה יכולות להתאים ניסוח והפניות לחקיקה אזורית.

הנחות והחרגות: מניח גישה לניסיונות מייצגים ולסכימה מוגדרת; אינו כולל בדיקה מלאה של תוכן מעבר לדגימה ונטען UI/הצגה.