Token Splitter llamaindex

يحلل مقسِّم التوكنات نص الإدخال ويعيد قائمة من التوكنات مع عددها استناداً إلى الوضع المختار. يدعم التقسيم باستخدام فاصل وتقسيم يعتمد على المسافات البيضاء لتغطية البيانات المنظمة والنص الحر. النظام determinist وموثوق في توفير قوائم توكنات قابلة لإعادة الإنتاج لـ embeddings والفهرسة. المخرجات تشمل tokens و token_count و sample_tokens اختياري للمراجعة السريعة. المنطق الأساسي يختار استراتيجيات التقسيم، ويطبق قواعد لغوية إن وجدت، ويفرض قيود اختيارية مثل max_tokens أو التطبيع الحروف. عندما يتم توفير فاصل، سيتم التقسيم بدقة عند ذلك الفاصل؛ أما إذا لم يوجد فاصل فسيطبق قواعد whitespace. تحافظ الرموز Unicode والبايت المتعددة على سلامتها، ما يجعل الأداة مناسبة للتحضير متعدد اللغات. هذه الأداة قيمة لعلماء البيانات ومهندسي ML وفِرق المحتوى التي تعد بيانات لـ LlamaIndex ومسارات embeddings أو فهرسة البحث، حيث تؤثر دقة عدّ التوكنات في التكلفة وسلوك الاسترجاع. السلوك determinist وتكاملها البسيط يدعمان سكريبت ETL وPreprocessing آلي.