Text Splitter LlamaIndex

Cet outil offre une approche programmable pour diviser un texte long en morceaux plus courts, prêts pour LlamaIndex et des stores vectoriels similaires. Il prend en charge la division par morceaux à taille fixe et des modes guidés par les limites qui respectent les frontières de phrases ou de paragraphes. L’utilisateur fournit le texte source et la taille de morceau souhaitée en tokens, ainsi qu’un chevauchement optionnel et une language_hint. Le système segmente l’entrée, construit des morceaux séquentiels et renvoie les morceaux avec le compte de tokens par morceau et des métadonnées globales. Conception autour d’un budget de contexte stable pour les récupérations en aval, réduction de la fragmentation et indexation efficace. Destiné aux ingénieurs de données, développeurs IA et chercheurs prétraitant de grands corpus pour assistants IA, chatbots ou applications de recherche. La valeur unique réside dans les options guidées par les limites, le respect du budget de tokens et l’utilisation du language_hint pour améliorer les délimitations entre langues. Caractéristiques clés: chevauchement configurables pour préserver le contexte, et contrôles max_chunk. Cas d’usage typiques: préparation de manuels produits, articles de recherche ou documents juridiques pour une récupération basée sur LlamaIndex, avec des tailles de morceaux cohérentes et des coûts en tokens prévisibles. Sorties: liste ordonnée de morceaux, tableau per_chunk_tokens et métadonnées résumant les tailles et frontières des morceaux.