Taaldetector

Dit hulpmiddel identificeert de taal van een gegeven tekst door tekensvolgorde, schriftgebruik en lexicale aanwijzingen te analyseren. Het geeft een taalkode (ISO 639-1), de taalonname en een betrouwbaarheidsscore. In principe werkt detectie op basis van een statistisch model dat elke mogelijke taal evalueert en de topkandidaten teruggeeft. Het kan zowel lange als korte teksten verwerken; bij korte teksten wordt teruggevallen op kortere n-grammen om de betrouwbaarheid te behouden. Voor wie: ontwikkelaars die detectie in apps integreren, contentteams die materialen voor vertaling routeren, datawetenschappers die meertalige analyses uitvoeren en kwaliteits teams die inkomende gegevensstromen valideren. Unieke waarde: hoge nauwkeurigheid over meer dan 100 talen en duidelijke, gestructureerde uitgaven zonder vertaling. Kernfuncties en use cases: enkelshot-detectie, batchverwerking, top-kandidaten, en optionele dichtstbijzijnde-scripts hints voor scripts zoals Latijns, Cyrillisch of Han. Use cases: automatische routing, preprocessing voor MT en data kwaliteitsbewaking.