Token Splitter llamaindex

Token-splitteren analyserer inputteksten og returnerer en liste af tokens samt en token_count baseret på den valgte tilstand. Den understøtter delimiter-baseret tokenisering og whitespace-baseret tokenisering for at håndtere struktureret data og fri tekst. Systemet er deterministisk og garanterer reproducerbare token-lister til embeddings og indeksopbygning. Uddata indeholder tokens, token_count og valgfrit sample_tokens til hurtig inspektion. Den underliggende logik vælger en split-strategi, anvender sprogregler hvis de gives og håndhæver valgfrie begrænsninger som max_tokens eller kasusnormalisering. Når delimiter gives, splittes der nøjagtigt ved delimiteren; ellers anvendes whitespace-regler. Unicode- og multi-byte-tegn bevares, hvilket gør værktøjet egnet til flersproget forbehandling. Dette værktøj er værdifuldt for data scientists, ML-ingeniører og content-teams der forbereder data til LlamaIndex-pijplines, embeddings eller søgeindeksering, hvor nøjagtige token-tællinger påvirker omkostninger og retrieval-opførsel. Dets deterministiske adfærd og enkle integrationspunkter understøtter ETL- og forbehandlingsscripts.