כלי איכות נתונים

הכלי מציע מסלול עבודה להערכת איכות נתונים שנבנה לסביבות ממשל וממוקד בנכסים שמנוהלים במחסן נתונים. הוא פותר את הבעיה של כימות איכות, זיהוי פערים ותעדוף פעולות תיקון עבור אחראי נתונים, מהנדסי נתונים וצוותי Governance. כאשר מאמץ נתונים חדשים, ביקורות איכות תקופתיות או עמידה במדיניות, המשתמשים יכולים ליצור ציון איכות מאוחד ותובנות מעשיות.
לוגיקה מרכזית ותכונות: תכונות חובה כוללות: (1) קלט asset_id, (2) סט כללי איכות מוגדר (-nullים, כפילויות, שלמות התייחסותית, התאמת פורמט, ערכים חריגים), (3) הגדרת סף והעמסת משקל, (4) תמיכה בדגימה או נתונים שוטפים. תכונות מתקדמות: (א) משקל כללים לפי תחום, (ב) מספר אסטרטגיות דגימה, (ג) ניתוח מגמות לאורך זמן, (ד) דוחות JSON/CSV לייצוא, (ה) ניתוח השפעה cross-asset באמצעות נתוני נתיב. Outputs: ציון איכות כללי 0–100, תוצאות לכל כלל עם מצב Pass/Fail ודגימות, רשימת Issues מועדפת והמלצות פעולה.
כניסות/יציאות: כניסות: asset_id (מחרוזת), dataset_name (מחרוזת, אופציונלי), rules (מערך אובייקטי כלל), thresholds (אובייקט עם ערכים מספריים), sample_size (מספר שלם), time_window (מחרוזת, לדוגמה P30D), locale (מחרוזת, אופציונלי). יציאות: quality_score (מספר 0–100), rule_results (מערך), issues (מערך), actions (מערך), summary_report (מחרוזת). אימות מבטיח קיום נכס, תקינות תחבירית של הכללים ו-sample_size חיובי.
אלגוריתמים וחישובים: כל כלל מעריך תכונה של הנתונים; rule_pass_fraction מחושב מהמדגמים ומהווה ממוצע משוקלל שמייצר את quality_score. דוגמאות לכללים: null_count_ratio, distinct_values_ratio, referential_integrity, format_conformance. הנוסחה: quality_score = sum(weight_i * rule_pass_fraction_i) / sum(weights). דרוג מתקדם יכול לכלול משקל זמן והתאמת מגמות.
שגיאות ומקרי קצה: חסר asset_id או כללים גורם לשגיאות מפורשות ביומנים; מקורות עשויים להיות זמניים לא זמינים והסיווג החציוני יוחזר עם הצעות חלופיות. התאמות אזוריות יכולות להשפיע על פורמטים תואמים.
תעשייה/אזור ולוקליזציה: מושגים סטנדרטיים של איכות נתונים בממשל נתונים; מדדים באחוזים; תומך ISO/IEC 8000-3; ייצוא מותאם לארץ locale.
הנחות והחרגות: גישה למטא-נתונים ולנתוני מדגם בתוך הקטלוג; excludes UI styling, frontend behavior, real-time streaming processing; אינטגרציות חיצוניות רק עבור חיבור למקורות.