XAI Builder

מטרות וכוונות משתמש: XAI Builder פותר את הצורך לעצב ולאמת מודלים של AI שניתן להבין. הוא מיועד לחוקרים, מהנדסי ML, מנהלי סיכונים ואנשי משמעת שמצפים להתנהגות מודלית تفسيرנית במהלך פיתוח, ביקורת ובדיקות רגולטוריות. הכלי מספק ייחוסים, הסברים גלובליים והשוואות בין-מודליות כדי לבסס שקיפות.
הלוגיקה המרכזית והתכונות: תכונות דרושות כוללות הכנסת מודל מאומן, הכנסת נתוני ייצוג ושיבוץ שיטה להסביר. תכונות נוספות/מתקדמות כוללות הסברים בהתבסס על תרחישים, עיבוד בכמויות, השוואות בין מודלים מרובים ודיווחים שניתן לייצוא לביקורת. המערכת מחייבת אימות נתונים, תומכת בפורמטי מודל נפוצים וחישוב מדדי הסבר להכוונת החלטות ממשלתיות.
קלטים ופלטים: קלטים כוללים סט נתונים (CSV), מודל (קובץ או קישור API), שיטה להסבר (SHAP, Integrated Gradients, LIME) וקונפיגורציית הרצה (דיוק, דגימה). פלטים כוללים ייחוס לכל מאפיין, הסברים גלובליים, מדדי נאמנות ועקביות ודוח מובנה שמתאים לרגולטורים ולבעלי עניין.
אלגוריתמים וחישובים: הכלי מפעיל אלגוריתמי ייחוס ליצירת הסברים מקומיים, ממפים אותם להסברים גלובליים ומחשב נאמנות (בדיקות מודל תחליפי) והיציבות (בדיקות הפרעה). תומך באגרגציה בין מודלים והערכת יכולת ההסברה בין גישות שונות.
שגיאות ומקרי קצה: מטפל בנתונים חסרים, פורמטי מודלים שאינם נתמכים ונתונים לא מספקים באמצעות אימות מפורש. כשאיכות הנתונים נמוכה, מופרות הערכות ייצוגיות זהירות ומרמזים נרשמים ביומני הרישום. זמינות נתונים חיצוניים או כשלי API מופיעים כקודים של שגיאה והודעות שאינן קטלניות שמייצרות תוצאות קיימות.
תעשייה/אזור ולוקליזציה: עומד בנורמות ממשל AI הנהוגות בהקשרי US/EU; תומך בפורמטי דוחות אזוריים, דוחות מטבע/אזור זמן בהתאמות ייצוא וייחוסים שאינם תלויי שפה המתאימים לביקורות ציות. הנחות והפסלות: מניח גישה למודל מאומן ולנתונים מייצגים; אינו מאמן או מסמן תוויות למודל. אינו כולל עיצוב UI, התנהגות frontend וכל Visualization אנאלית שאינה קשורה להסבר.