Português

A ferramenta WMT Encoder converte o texto inserido em representações de encoder adequadas para pesquisa e avaliação de tradução automática. Suporta várias variantes baseadas em transformers e tokenização subword para produzir embeddings fixos e estáveis que podem ser usados em avaliação, medidas de similaridade e extração de características para pipelines MT. Conceitualmente, o texto é normalizado e tokenizado, passa pelo encoder selecionado e é agregado por pooling para formar um embedding de frase. Usuários podem solicitar embeddings por token para depurar decisões de tradução ou estudos de atenção, ou obter um vetor único para tarefas downstream. Os outputs são independentes de idioma nas saídas, mas dependem da variante e da tokenização. O valor único reside em métodos de pooling configuráveis, processamento em lote e normalização opcional, permitindo que pesquisadores comparem configurações de encoder com configuração mínima. Principais recursos: pooling médio, pooling máximo e pooling CLS, vetores por-token opcionais e saídas compatíveis com JSON que se integram a scripts de avaliação. Casos de uso: comparação de modelos MT, testes de similaridade baseados em embedding, estimativa de qualidade e demonstrações do comportamento do encoder. A ferramenta oculta detalhes de hospedagem de modelos, mas fornece representações reproduzíveis que seguem benchmarks WMT comuns. Fluxos de trabalho práticos: selecionar encoder_variant, escolher método de pooling e exportar embeddings para scoring ou visualização downstream.