Llama Index Splitter

Der Llama Index Splitter wandelt große Textquellen in eine sequenzierte Folge von Abschnitten um, die speziell für LlamaIndex-Workflows entwickelt wurden. Er akzeptiert Rohtext und optionale Metadaten und erzeugt eine geordnete Sammlung von Abschnitten, die Kontext und Reihenfolge der Quelle bewahren. Er unterstützt mehrere Aufteilungsmodi und konfigurierbare Grenzwerte, um Embedding-Beschränkungen und Abrufmustern abzugleichen. Dieses Tool richtet sich an Dateningenieure, ML-Praktiker und Knowledge-Teams, die Handbücher, Berichte, Codebasen und Forschungsarbeiten in Vektor-Speicher ingestieren.

Im Kern arbeitet der Splitter deterministisch, sodass Sie chunk_size, Overlap und Grenzseparatoren festlegen können. Optionale Strategien umfassen rekursives Zeichen-basiertes Splitten, tokenbasiertes Splitten mit sprachspezifischen Heuristiken und satzbasiertes Chunking. Metadata-Retention und pro-Chunk-Anmerkungen stehen zur Verfügung, um Herkunft nachzuverfolgen und eine feingranulare Indizierung zu ermöglichen. Das Tool lässt sich mit nachgelagerten Index-Bauern integrieren, führt jedoch selbst kein Embedding oder Speicherung durch.

Der Ansatz ist sprachunabhängig und eignet sich für mehrsprachige Inhalte, wobei Token-Schätzungen je nach Sprache, Schriftart oder Codierung variieren können. Es eignet sich als Vorverarbeitung vor der Vektorisierung und ermöglicht vorhersehbare Chunk-Anzahlen und konsistente Grenzwerte über Dokumente hinweg.

Typische Anwendungsfälle umfassen umfangreiche PDFs, Quellcode-Archive, wissenschaftliche Arbeiten und Unternehmensberichte, bei denen präzise Chunk-Grenzen die Abfragequalität und den Indizierungsdurchsatz verbessern.