Norsk Bokmål

WMT Encoder-verktøyet konverterer innlagt tekst til encoder-representasjoner som er egnet for forskning og evaluering av maskinoversettelse. Det støtter flere transformer-baserte varianter og subword-tokenisering for å produsere stabile, faste embeddings som kan brukes i vurdering, likhetsberegning og egenskapsutvinning for MT-pipelines. Konseptuelt normaliseres og tokeniseres teksten, deretter går den gjennom den valgte encoderen og pooles til en setningsembedding-vektor. Brukere kan be om per-token-embeddings for debugging av oversettelsesbeslutninger eller oppmerksomhetsstudier, eller få en enkelt vektor for nedstrøms oppgaver. Output er språk-uavhengig i funksjon, men avhenger av variant og tokenisering. Den unike verdien ligger i konfigurerbare pooling-metoder, batch-behandling og valgfri normalisering, slik at forskere kan sammenligne encoder-konfigurasjoner med minimal oppsett. Hovedfunksjoner inkluderer mean-, max- og CLS-pooling, valgfri per-token-vektorer og JSON-vennlige outputs som kan integreres i evalueringsskript. Bruksområder inkluderer MT-modell-sammenligning, embedding-baserte likhets- tester, kvalitetsestimering og demonstrasjoner av encoder-oppførsel. Verktøyet gjemmer modell-vertsdetaljer, men gir reproducerbare representasjoner som følger vanlige WMT-benchmarks. Praktiske arbeidsflyter: velg encoder_variant, velg pooling-metode og eksporter embeddings for nedstrøms scoring eller visualisering.