Italiano

L'Strumento WMT Encoder converte il testo inserito in rappresentazioni di encoder adatte alla ricerca e alla valutazione della traduzione automatica. Supporta diverse varianti basate su transformer e tokenizzazione subword per produrre embeddings fissi e stabili utilizzabili in valutazione, misure di somiglianza ed estrazione di caratteristiche per pipeline MT. Concettualmente il testo viene normalizzato e tokenizzato, elaborato dall'encoder selezionato e aggregato tramite pooling per formare un embedding di frase. Gli utenti possono richiedere embeddings per-token per il debugging delle decisioni di traduzione o studi di attenzione, oppure ottenere un vettore unico per compiti downstream. Gli output sono indipendenti dalla lingua nelle uscite, ma dipendono dalla variante e dalla tokenizzazione. Il valore unico risiede in metodi di pooling configurabili, elaborazione in batch e normalizzazione opzionale, permettendo ai ricercatori di confrontare configurazioni di encoder con setup minimo. Caratteristiche principali includono pooling medio, pooling massimo e pooling CLS, vettori per-token opzionali e output JSON-compatibili che si integrano con script di valutazione. Casi d'uso includono confronto di modelli MT, test di somiglianza basati su embedding, stima della qualità e dimostrazioni del comportamento dell'encoder in aula. Lo strumento maschera i dettagli di hosting dei modelli offrendo rappresentazioni riproducibili allineate ai benchmark WMT comuni. Flussi di lavoro pratici: selezionare encoder_variant, scegliere la metodologia di pooling e esportare embeddings per punteggio o visualizzazione downstream.