Token Splitter llamaindex

O token splitter analisa o texto de entrada e retorna uma lista de tokens e um token_count com base no modo escolhido. Suporta tokenização baseada em delimitador e baseada em whitespace para cobrir dados estruturados e texto livre. O sistema é determinístico, garantindo listas de tokens reproduzíveis para embeddings e indexação. As saídas incluem tokens, token_count e sample_tokens opcional para inspeção rápida. A lógica subjacente escolhe uma estratégia de divisão, aplica regras linguísticas se fornecidas e impõe restrições opcionais como max_tokens ou normalização de maiúsculas. Quando um delimitador é fornecido, a divisão ocorre exatamente no delimitador; caso contrário, aplicam-se regras de whitespace. Caracteres Unicode e multibyte são preservados, tornando a ferramenta adequada para preprocessing multilíngue. Esta ferramenta é valiosa para cientistas de dados, engenheiros ML e equipes de conteúdo que preparam dados para pipelines LlamaIndex, embeddings ou indexação de busca, onde contagens precisas de tokens afetam custos e comportamento de recuperação. Seu comportamento determinístico e pontos de integração simples suportam scripts ETL e preprocessing automatizados.