Deutsch

Das WMT Encoder-Tool wandelt eingegebenen Text in Encoder-Repräsentationen um, die für Forschung und Bewertung der maschinellen Übersetzung geeignet sind. Es unterstützt mehrere Transformer-basierte Varianten und Subword-Tokenisierung, um stabile, feste Embeddings zu erzeugen, die sich für Scoring, Ähnlichkeitsmessungen und Feature-Extraktion in MT-Pipelines verwenden lassen. Konzeptionell wird der Text normalisiert und tokenisiert, durch den ausgewählten Encoder geleitet und mittels Pooling in eine Satz-Embedding-Vektorform überführt. Benutzer können Per-Token-Embeddings für Debugging von Übersetzungsentscheidungen oder Aufmerksamkeitsstudien anfordern oder einen einzelnen Vektor für nachgelagerte Aufgaben erhalten. Die Outputs sind sprachunabhängig konsistent, hängen jedoch von Variante und Tokenisierung ab. Der einzigartige Wert liegt in konfigurierbaren Pooling-Methoden, Batch-Verarbeitung und optionaler Normalisierung, die Forschern ermöglichen, Encoder-Konfigurationen mit minimalem Setup zu vergleichen. Zu den Kernmerkmalen gehören Mean-, Max- und CLS-Pooling, optionale Per-Token-Vektoren und JSON-freundliche Ausgaben, die sich in Evaluationsskripte integrieren lassen. Einsatzszenarien umfassen den Vergleich von MT-Modellen, embedding-basierte Ähnlichkeits-Tests, Qualitätsabschätzung sowie Demonstrationen des Encoder-Verhaltens. Das Tool abstrahiert Hosting-Details von Modellen, bietet aber reproduzierbare Repräsentationen, die mit gängigen WMT-Benchmarks übereinstimmen. Praktische Arbeitsabläufe umfassen die Auswahl eines encoder_variant, die Wahl der Pooling-Methode und den Export von Embeddings für nachgelagerte Scoring- oder Visualisierungsschritte.