Ideal Data Tool

הכלי מפרט ערכות נתונים כדי להעריך איכות בממדים כמו שלמות, דיוק, עקביות, עדכניות, תקפות ושלמות אינדיקטיבית. ערכים מאומתים לפי כללי תחום, תואמות סוגי נתונים נבדקות ובדיקות דפוסים; התוצאות מוצגות כמדדים ולוחות מחוונים חזותיים. profiling תומך בבדיקות אד-הוק ובצינורות profiling שחוזרים על עצמם, מה שמאפשר בסיסי איכות versioned עבור כל מקור נתונים. צוותי נתונים משתמשים בכך במהלך קליטת מקורות חדשים, לפני ETL ובמעקב איכות מתמשך בלוחות מחוונים ובקטלוגי נתונים. פרופילים נוצרים מתוך מדגם או מכלל הנתונים, עם אסטרטגיות דגימה ניתנות להגדרה לאיזון מהירות ודיוק.
תוצרים מרכזיים כוללים ציון איכות גלובלי, מדידות לכל שדה, דגלי שורה, רמזי מוצא (lineage) והנחיות להסרה ותיקון. התוצאות יכולות לייצא כ-CSV/JSON או להזין לקטלוגי נתונים ופלטפורמות ממשל. הגישה מדגישה מדידות שניתן לשחזר, ביקורתיות ודוחות exportable המתאימים לבדיקות ממשל ודיווח רגולטורי.
הכלי מטפל בשדות מספריים, זמנים, קטגוריים ומבניים באמצעות כללי אימות אדפטיביים וספי סובלנות. שילוב אימות על-פי כללים עם זיהוי אנומליות profiling על בסיס זמן התאחדות בין מקורות כדי לזהות חוסר תואם בין feeds. תמיכה בפורמטים תואמי-מועד ואינדקסי מטבע; שדות רגישים יכולים להיות מעורפלים או מסוכמים. מקרי שימוש טיפוסיים: הערכת פריסת נתונים חדשה, אימות ייצוא ממערכות צד ג', onboarding לספקים ומעקב אחרי מגמות איכות לאורך זמן עם baselines היסטוריים.