כלי התאמת טקסט

הכלי מחשב ציון דמיון בין שני טקסטים קלט באמצעות מדדים הניתנים להגדרה. קהל היעד כולל חוקרים, עורכים, מהנדסי QA, מורים וצוותי מוצר שדורשים מדידות דמיון מהירות ושחזרות להערכת כפילויות, סיכון לפרפרזציה או שימוש מחדש בתוכן. דוגמאות שימוש כוללות בדיקות Plagiarism, השוואת גרסאות וביקורות עריכה וניקוי נתונים בהעברות תוכן.
הלכה מרכזית ועיבוד: שני טקסטים עוברים נרמול וטוקניזציה, לאחר מכן הם מתורגמים לייצוגים מספריים בהתאם למדד הנבחר (Cosine עם TF-IDF, Jaccard או Levenshtein). ניתן להפעיל טיפול במילים עצירות והגדלת N-gram. פלט כולל ציון דמיון בין 0 ל-1, אחוז אופציונלי ונתוני התאמה אופציונליים המציגים צִמָּת segments.
אלגוריתמים וחישובים: Cosine משתמש בוקטורים TF-IDF; ציון = dot(v1,v2)/(||v1||*||v2||). Jaccard משתמש בהתמזגות Tokens; Levenshtein מספק דמיון המבוסס על מרחק עריכה. המערכת יכולה להציג התאמות מובילות או ציון כולל, עם ספים לסינון תוצאות.
תעשייה ושימוש: מיועד לטקסט UTF-8 בעברית ולהשגות שפה נוספות בהתאם לטוקנייזר. בהקשרים רב-שפתיים התוצאות תלויות באיכות הטוקניזציה. הכלי מתמקד במדדים מפורשים של דמיון טקסט ואינו מבצע ניתוח סמנטי מעמיק; התוצאות צריך להיקרא כדמיון מטרי.