Token Splitter llamaindex

Le token splitter analyse le texte d’entrée et retourne une liste de jetons et un compte de jetons basé sur un mode choisi. Il prend en charge la tokenisation basée sur un délimiteur et celle basée sur les espaces pour couvrir les données structurées et les textes libres. Le comportement est déterministe, garantissant des listes de jetons reproductibles pour les embeddings et l’indexation. Les sorties incluent tokens, token_count et sample_tokens optionnel pour une inspection rapide. La logique sous-jacente sélectionne une stratégie de division, applique les règles linguistiques si fournies et applique des contraintes optionnelles telles que max_tokens ou la normalisation de la casse. Lorsque le délimiteur est fourni, la division utilise le délimiteur exact; sinon, les règles d’espace s’appliquent. Les caractères Unicode et multibytes sont préservés, rendant l’outil adapté au prétraitement multilingue. Cet outil est précieux pour les data scientists, ingénieurs ML et les équipes de contenu préparant des données pour les pipelines LlamaIndex, les embeddings ou l’indexation de recherche, où des comptages précis des jetons influent sur les coûts du modèle et le comportement de récupération. Son comportement déterministe et ses points d’intégration simples supportent ETL et scripts de prétraitement automatisés.