Llama Index Splitter

Llama Index Splitter convierte grandes fuentes de texto en un conjunto secuenciado de fragmentos adaptados a los flujos de trabajo de LlamaIndex. Acepta texto sin procesar y metadatos opcionales, produciendo una colección ordenada de fragmentos que conservan el contexto y la secuencia de origen. Soporta múltiples modos de división y límites configurables para alinearse con restricciones de embedding y patrones de recuperación. Está diseñado para ingenieros de datos, practicantes de ML y equipos de conocimiento que ingresan manuales, informes, código fuente e artículos de investigación en almacenes vectoriales.

En su núcleo, el splitter opera de forma determinista, permitiendo definir chunk_size, overlap y separadores de frontera. Las estrategias opcionales incluyen división recursiva basada en caracteres, división basada en tokens con heurísticas lingüísticas y división por oraciones. La retención de metadatos y anotaciones por fragmento está disponible para preservar la procedencia y habilitar una indexación fina. La herramienta se integra con constructores de índice downstream, pero no realiza embedding o almacenamiento por sí misma.

El enfoque es independiente del idioma y apto para contenido multilingüe, aunque las estimaciones de tokens pueden variar según el idioma, la tipografía o la codificación. Es adecuado como preprocesamiento previo a la vectorización, permitiendo recuentos de fragmentos predecibles y límites consistentes entre documentos.

Casos de uso típicos incluyen PDFs grandes, archivos de código fuente, artículos académicos e informes corporativos, donde límites de fragmentos precisos mejoran la calidad de recuperación y el rendimiento de la indexación.