Llama Index Splitter

O Llama Index Splitter converte grandes fontes de texto em um conjunto ordenado de blocos adaptados aos fluxos de trabalho LlamaIndex. Aceita texto cru e metadados opcionais, gerando uma coleção ordenada de blocos que preservam contexto e sequência de origem. Suporta múltiplos modos de divisão e limites configuráveis para alinhar com restrições de embedding e padrões de recuperação. Ferramenta destinada a engenheiros de dados, praticantes de ML e equipes de conhecimento que inserem manuais, relatórios, bases de código e artigos de pesquisa em armazenamentos vetoriais.

No seu núcleo, o splitter opera de forma determinística, permitindo definir chunk_size, overlap e separadores de fronteira. Estratégias opcionais incluem divisão recursiva baseada em caracteres, divisão baseada em tokens com heurísticas linguísticas e chunking por frases. Retenção de metadata e anotações por chunk estão disponíveis para preservar proveniência e permitir indexação refinada. A ferramenta se integra a construtores de índice a jusante, mas não realiza embedding ou armazenamento por si só.

A abordagem é independente de idioma e adequada para conteúdo multilíngue, embora estimativas de tokens possam variar conforme o idioma, fonte ou codificação. Adequado como pré-processamento antes da vetorização, possibilitando contagens de chunk previsíveis e fronteiras consistentes entre documentos.

Casos típicos de uso incluem PDFs grandes, arquivos de código-fonte, artigos acadêmicos e relatórios corporativos, onde fronteiras de bloco precisas melhoram a qualidade de recuperação e o desempenho de indexação.