Token Splitter llamaindex

Il token splitter analizza il testo di input e restituisce un elenco di token e un conteggio token basato sulla modalità scelta. Supporta tokenizzazione basata su delimitatore e tokenizzazione basata su whitespace per coprire dati strutturati e testo libero. Il sistema è deterministico, garantendo elenchi di token riproducibili per embeddings e indicizzazione. Le uscite includono tokens, token_count e sample_tokens opzionale per ispezione rapida. La logica sottostante seleziona una strategia di spezzamento, applica regole linguistiche se fornite e applica vincoli opzionali come max_tokens o normalizzazione della maiuscola/minuscola. Quando è fornito un delimitatore, lo spezzamento avviene esattamente su quel delimitatore; altrimenti si applicano regole whitespace. I caratteri Unicode e multibyte sono preservati, rendendo lo strumento adatto al preprocessing multilingue. Questo strumento è utile per data scientists, ML-ingegneri e team di contenuti che preparano dati per pipeline LlamaIndex, embeddings o indicizzazione, dove conteggi precisi dei token influenzano i costi e il comportamento di recupero. Il comportamento deterministico e i punti di integrazione semplici supportano script ETL e preprocessing automatici.