أداة مطابقة النص

تحتسب الأداة درجة تشابه بين نصين مدخلين باستخدام مقاييس قابلة للتكوين. يستهدف المستخدمون البحثيين والمحررين ومهندسي QA والمعلمين وفرق المنتجات الذين يحتاجون إلى مقاييس تشابه سريعة وقابلة لإعادة الإنتاج لتقييم التكرار أو مخاطر إعادة الصياغة أو إعادة استخدام المحتوى. تشمل حالات الاستخدام فحص الانتحال ومقارنة الإصدارات وتدقيق المحتوى وتنظيف البيانات أثناء ترحيل المحتوى. مثال: مقارن باحث بين ملخصين لتحديد قدر التداخل؛ يتحقق كاتب من أن النص المعدل لا يزال مشابهًا إلى حد كبير للمسودة الأصلية.
المنطق الأساسي والمعالجة: يتم ت sistemas normalization وتجزئة النص ثم تحويله إلى تمثيلات عددية وفقاً للمقياس المختار (Cosine مع TF-IDF، Jaccard أو Levenshtein). يمكن تطبيق معالجة كلمات التوقف وتحسين N-grams إذا لزم الأمر. تشمل النتائج درجة تشابه ضمن النطاق [0,1] ونسبة مئوية اختيارية وبيانات تطابق اختيارية تُظهر المقاطع المتطابقة.
الخوارزميات والحسابات: يستخدم Cosine متجهات TF-IDF؛ الدرجة = dot(v1,v2)/(||v1||*||v2||). يستخدم Jaccard التداخل بين التوكنز؛ Levenshtein يعبر عن تشابه بناءً على مسافة التحرير. يُمكن أن يعرض النظام أفضل التطابقات أو درجة مجمّعة واحدة مع عتبات لتصفية النتائج.
الصناعة والاستخدام: مصمم للنص UTF-8 بالعربية ولغات أخرى وفقاً لأداة التوكنيزر. في سياقات متعددة اللغات، تعتمد النتائج على جودة التوكنيزر. يركّز الأداة على مقاييس تشابه نص صريحة ولا تجري تحليلًا دلاليًا عميقًا؛ يجب تفسير النتائج كتشابه ميتركي.