Español

La herramienta WMT Encoder convierte el texto introducido en representaciones de encoder adecuadas para la investigación y evaluación de la traducción automática. Soporta varias variantes basadas en transformadores y tokenización subword para producir embeddings fijos y estables que pueden utilizarse en puntuación, medidas de similitud y extracción de características para pipelines MT. Conceptualmente el texto se normaliza y tokeniza, pasa por el encoder seleccionado y se promedia mediante pooling para formar un embedding de oración. Los usuarios pueden solicitar embeddings por token para depurar decisiones de traducción o estudios de atención, o obtener un vector único para tareas posteriores. Las salidas son consistentes entre idiomas, pero dependen de la variante y la tokenización. El valor único reside en métodos de pooling configurables, procesamiento por lotes y normalización opcional, que permiten a investigadores comparar configuraciones de encoder con una configuración mínima. Características clave: pooling medio, pooling máximo y pooling CLS, vectores por-token opcionales y salidas JSON-amigables que se integran con scripts de evaluación. Casos de uso: comparación de modelos MT, pruebas de similitud basadas en embeddings, estimación de calidad y demostraciones del comportamiento del encoder. La herramienta oculta detalles de hosting del modelo pero ofrece representaciones reproducibles que siguen benchmarks WMT comunes. Flujos de trabajo prácticos: elegir encoder_variant, seleccionar método de pooling y exportar embeddings para scoring o visualización posterior.