Français

L'outil WMT Encoder convertit le texte saisi en représentations d’encodeur adaptées à la recherche et à l’évaluation de la traduction automatique. Il prend en charge plusieurs variantes basées sur des transformeurs et une tokenisation subword pour produire des embeddings fixes et stables utilisables dans l’évaluation, les mesures de similarité et l’extraction de caractéristiques pour les pipelines MT. Conception: le texte est normalisé et tokenisé, puis propagé à travers l’encodeur sélectionné et agrégé par pooling pour former un embedding de phrase. Les utilisateurs peuvent demander des embeddings par token pour le débogage des décisions de traduction ou des études d’attention, ou obtenir un vecteur unique pour des tâches en aval. Les sorties restent compatibles linguistiquement, mais dépendent de la variante et de la tokenisation. La valeur unique réside dans les méthodes de pooling configurables, le traitement par lot et la normalisation optionnelle, permettant aux chercheurs de comparer des configurations d’encodeur avec un minimum de configuration. Caractéristiques clés: pooling moyen, pooling max et pooling CLS, vecteurs par-token optionnels, et sorties compatibles JSON qui s’intègrent aux scripts d’évaluation. Cas d’usage: comparaison de modèles MT, tests d’homogénéité d’embeddings, estimation de qualité et démonstrations de comportement de l’encodeur en cours. L’outil masque les détails d’hébergement des modèles tout en offrant des représentations reproductibles conformes aux benchmarks WMT courants. Flux de travail pratiques: choisir encoder_variant, sélectionner la méthode de pooling et exporter les embeddings pour l’évaluation ou la visualisation.