Token Splitter llamaindex

El token splitter analiza el texto de entrada y devuelve una lista de tokens y un recuento de tokens basado en un modo elegido. Soporta tokenización basada en delimitadores y tokenización basada en whitespace para cubrir datos estructurados y texto libre. El sistema es determinista, garantizando listas de tokens reproducibles para embeddings e indexación. Las salidas incluyen tokens, token_count y sample_tokens opcional para inspección rápida. La lógica subyacente elige una estrategia de división, aplica reglas lingüísticas si se proporcionan y aplica límites opcionales como max_tokens o normalización de mayúsculas. Cuando se proporciona un delimitador, la división se realiza exactamente en ese delimitador; de lo contrario, se aplican reglas de whitespace. Los caracteres Unicode y multibyte se conservan, lo que hace que la herramienta sea adecuada para el preprocesamiento multilingüe. Esta herramienta es valiosa para científicos de datos, ingenieros ML y equipos de contenido que preparan datos para pipelines de LlamaIndex, embeddings o indexación de búsqueda, donde las cuentas precisas de tokens influyen en costos y comportamiento de recuperación. Su comportamiento determinista y puntos de integración simples soportan scripts ETL y preprocesamiento automatizados.