Outil de correspondance de texte

L'outil calcule une note de similarité entre deux textes en entrée en utilisant des métriques configurables. Il s'adresse aux chercheurs, rédacteurs, ingénieurs QA, enseignants et équipes produit qui ont besoin de métriques de similarité rapides et reproductibles pour évaluer les doublons, les risques de paraphrase ou la réutilisation de contenu. Les cas d'utilisation incluent les vérifications de plagiat, la comparaison de versions, les audits éditoriaux et le nettoyage des données lors de migrations de contenus. Exemple : un chercheur compare deux résumés pour quantifier le chevauchement ; un auteur vérifie si le texte révisé reste substantiellement similaire au brouillon original.
Logique centrale et traitement : Deux entrées de texte sont normalisées et tokenisées, puis transformées en représentations numériques selon la métrique choisie (Cosinus avec TF-IDF, Jaccard ou Levenshtein). On peut appliquer un traitement des mots-vide (stop words) et un boost des N-grammes s'il est configuré. Les sorties comprennent une note de similarité dans [0,1], un pourcentage optionnel et des données d’alignement optionnelles montrant les segments correspondants.
Algorithmes et calculs : Le Cosinus utilise des vecteurs TF-IDF ; score = dot(v1,v2)/(||v1||*||v2||). Le Jaccard utilise le chevauchement de tokens; Levenshtein donne une similarité basée sur la distance d’édition. Le système peut restituer les meilleurs matchs ou une note agrégée unique, avec des seuils pour filtrer les résultats.
Secteur et utilisation : Conçu pour du texte UTF-8 en français et d'autres langues selon le tokenizer. Dans les contextes multilingues, les résultats dépendent de la qualité de la tokenisation. L’outil est déterministe par exécution et évolue pour de longs textes via le découpage en morceaux si nécessaire.
L’outil se concentre sur des métriques explicites de similarité de texte et n’effectue pas d’analyse sémantique approfondie ; les résultats doivent être interprétés comme des similarités métriques.