Svenska

WMT Encoder-verktyget omvandlar inmatad text till encoder-representationer som passar forskning och utvärdering av maskinöversättning. Det stödjer flera transformer-baserade varianter och subword-tokenisering för att producera stabila, fasta embeddings som kan användas i bedömning, likhetsberäkningar och funktionsutvinning för MT-pipelines. Övergripande blir texten normaliserad och tokeniserad, passerar genom den valda encodern och poolas till en sats-embedding-vektor. Användare kan begära per-token-embeddings för felsökning av översättningsbeslut eller uppmärksamhetsstudier, eller erhålla en enda vektor för nedströms-uppgifter. Outputs är språkoberoende i funktion men beror på variant och tokenisering. Värdet ligger i konfigurerbara pooling-metoder, batch-behandling och möjlig normalisering, så forskare kan jämföra encoder-konfigurationer med minimal uppsättning. Kärnfunktioner inkluderar mean-, max- och CLS-pooling, valfria per-token-vector och JSON-vänliga utskrifter som går att integrera i utvärderingsskripter. Användningsfall omfattar MT-modelljämförelse, embedding-baserade likhetsförsök, kvalitetsestimering och demonstrationer av encoder-beteende. Verktyget döljer modell-hostingdetaljer men ger reproducerbara representationer som följer vanliga WMT-benchmarks. Praktiska arbetsflöden: välj encoder_variant, välj pooling-metod och exportera embeddings för nedströmsskoring eller visualisering.