Sprogdetektor

Dette værktøj identificerer sproget i en given tekst ved at analysere tegnsekvenser, skriftlige tegn og lexikale ledtråde. Det returnerer en sprogtkode (ISO 639-1), sprognavnet og en pålidelighedsscore. Konceptuelt er det baseret på en statistisk model, der vurderer hvert muligt sprog og returnerer top-kandidaterne. Det kan håndtere både lange og korte tekster; for korte tekster anvendes fallback til kortere n-grammer for at bevare pålideligheden. Hvem har gavn af det: udviklere, der integrerer det i apps, content-teams der routet materiale til oversættelse, dataforskere der udfører flersprogede analyser og kvalitetsgrupper der validerer indkommende datastrømme. Unik værdi: høj præcision på mere end 100 sprog og klare, strukturerede uddata uden oversættelse. Kernfunktioner og brugsscenarier: enkelt-shot detektion, batch-behandling, top-kandidater og valgfrie nærmeste-scripts hints til scripts som latin, kyrillisk eller Han. Brugsscenarier: automatisk routing, forbehandling til MT og datakvalitetskontrol.