Llama Index Splitter

Le Llama Index Splitter transforme de grandes sources textuelles en un ensemble ordonné de blocs adaptés aux flux LlamaIndex. Il accepte le rohte texte et des métadonnées facultatives, produisant une collection ordonnée de blocs qui préservent le contexte et l’ordre d’origine. Il prend en charge plusieurs modes de séparation et des limites configurables pour s’aligner sur les contraintes d’embedding et les schémas de récupération. Cet outil s’adresse aux ingénieurs de données, praticiens ML et équipes de connaissance qui ingèrent des manuels, rapports, bases de code et articles de recherche dans des magasins vectoriels.

Au cœur, le splitter est déterministe, vous permettant de définir chunk_size, overlap et séparateurs de frontière. Des stratégies optionnelles incluent le fractionnement récursif basé sur les caractères, le fractionnement basé sur les tokens avec des heuristiques linguistiques et le fractionnement par phrases. La conservation des métadonnées et des annotations par bloc est disponible pour préserver la provenance et permettre une indexation fine. L’outil s’intègre aux constructeurs d’index en aval mais n’effectue pas lui-même d’embedding ou de stockage.

L’approche est indépendante de la langue et adaptée au contenu multilingue, bien que les estimations de tokens puissent varier selon la langue, la police ou l’encodage. Il convient comme prétraitement avant la vectorisation, permettant des nombres de blocs prévisibles et des frontières cohérentes à travers les documents.

Les cas d’utilisation typiques comprennent de gros PDFs, des archives de code source, des articles académiques et des rapports d’entreprise, où des frontières de blocs précises améliorent la qualité de récupération et le débit d’indexation.