Text Splitter LlamaIndex

Questo strumento offre un metodo programmabile per dividere testo lungo in frammenti più piccoli, pronti per LlamaIndex e per archivi vettoriali simili. Supporta sia la frammentazione a dimensione fissa sia modalità orientate ai limiti che rispettano i confini di frasi o paragrafi. L’utente fornisce il testo sorgente e la dimensione desiderata dei frammenti in token, insieme a sovrapposizioni opzionali e a language_hint. Il sistema tokenizza l’input, costruisce frammenti sequenziali e restituisce i frammenti con conteggio token per frammento e metadati complessivi. Concettualmente mantiene un budget di contesto stabile per il recupero a valle, riduce la frammentazione e facilita l’indicizzazione efficiente. Destinato a ingegneri dei dati, sviluppatori IA e ricercatori che preprocessano grandi corpora per assistenti IA, chatbot o applicazioni di ricerca. Il valore unico risiede nelle opzioni orientate ai bordi, nel rispetto del budget token e nell’uso di language_hint per migliorare le delimitazioni tra lingue. Funzionalità chiave includono sovrapposizione configurabile per preservare il contesto tra frammenti adiacenti e controlli max_chunk opzionali. Casi d’uso tipici: preparare manuali di prodotto, articoli di ricerca o documenti legali per retrieval basato su LlamaIndex, con dimensioni di frammento coerenti e costi di token prevedibili. Output: elenco ordinato di frammenti, per_tokeni_per_fragmento e metadati per supportare flussi di indicizzazione.