Data Inspector HXD

Data Inspector HXD מנתח מערכי נתונים ללא שינוי הנתונים הגלם, כדי לחשוף מבנה, איכות וסטטיסטיקות קריטיות. הוא תואם CSV, JSON ו-Parquet ומיועד למהנדסי נתונים, מדעני נתונים ואנאליסטי QA במהלך הזרימה, אימות, פיתוח תכונות וההכנה למודל. המשתמשים מקבלים תצוגה על סוגי העמודות, ערכים חסרים והיפצות ערכים, מה שמאפשר הבנת נתונים מהירה, זיהוי חריגות ותיעוד ממשל. כלי זה שם דגש על שחזוריות ואימות לצורך סקירת צוותים ועמידה בנהלים.
כיצד זה עובד ברמה מושכלת: המנוע מסיק חדלי סכמות, מחשב סטטיסטיקות לפי עמודה (מינימום, מקסימום, ממוצע, מדיאן, סטיית תקן עבור מספריים; ספירות ייחודיות וערכי טופ עבור קטגוריים) ומציין נתונים חסרים ודפוסים חשודים. אפשרויות מתקדמות מחשבות מטריצות קורלציה, התפלגויות פרסנטילים ואינדיקטורים אאוטלייר אופציונליים. עבור מערכי נתונים גדולים, profiling יכול לדוגם נתונים או לפעול באופן אינקרמנטלי, עם תצוגות מקדימות קומפקטיות ודוחות שניתן לייצא ב-JSON או CSV.
מקרים ויתרונות: בדיקות איכות לפני בניית מודלים, קטלוג נתונים, הבנת תכונות ודיווחים על ציות. שלא כמו כלים ETL מלאים, נשאר קריאה בלבד ומתמקד בה inspection, מספק מדדים מדויקים במקום המרות. תומך בפענוח מספרי מקומי ובפורמטי תאריכים ISO, מסייע לצוותים ברחבי העולם. אידיאלי לצוותים הזקוקים לפרופילים מהירים ואמינים שיכולים לזרז החלטות מבוססות נתונים.