עברית

כלי WMT Encoder ממיר טקסט שהוקלד למייצגים של Encoder המתאימים למחקר והערכת תרגום מכונה. הוא תומך במספר וריאנטים המבוססים על Transformer וב-tokenization subword ליצירה של embedding קבוע ויציב שניתן להשתמש בו בהערכת איכות, במדידת דמיון ובפקקי תכונות עבור צינורות MT. באופן מושגי הטקסט נורמליזציה ונטקניזציה, עובר דרך ה-Encoder שנבחר ומאורגן על ידי pooling ליצירת embedding של משפט. משתמשים יכולים לבקש embedding לכל token לבדיקה של החלטות תרגום או studied-attention, או לקבל וקטור יחיד למשימות בהמשך. התוצאות אינן תלויות שפה בפועל אלא תלויות בגרסה וב-tokenization. הערך הייחודי טמון בשיטות pooling שניתן להגדרה, עיבוד בבק-ק, ואפשרויות נירמול שמאפשרות לחוקרים להשוות תצורות encoder עם קונפיגורציה минимלית. תכונות עיקריות כוללות pooling ממוצע, pooling מרבי ו-pooling CLS, וקטורים לכל-token אפשריים ויציאות תואמות JSON שניתן לשלב בסקריפטי eval. שימושים כוללים השוואת מודלים MT, ניסויי דמיון באמצעות embedding, הערכת איכות והדמונстраציות של התנהגות encoder בכיתה. הכלי מסתיר פרטי אירוח של מודלים אך מציע ייצוגים שניתן לשחזר ולשמור תואמים לבנצ'מרקים WMT. תהליכים מעשיים: בחר encoder_variant, בחר שיטת pooling וייצא embeddings להערכת scoring או להמחשה בהמשך.