Text Splitter LlamaIndex

تقسم نصاً طويلاً إلى مقاطع مناسبة لفهرسة LlamaIndex، مع خيارات لحجم ثابت، تقسيم قائم على الحدود والتحكم في التداخل.

Tool coming soon!

We're working hard to get this tool ready for you.

Request Feature / Support

1,616+

Total Calculations Run

< 15ms

Browser Execution Speed

100%

Client-Side Privacy

4.9 / 5.0

User Satisfaction

AI Web Tool Generator

Build Your Own Custom Web Calculator in Seconds

Type what tool or calculator you need below. Our AI will build it instantly for your site.

عن هذه الأداة

توفر هذه الأداة طريقة قابلة للبرمجة لتقسيم نص طويل إلى مقاطع أصغر جاهزة لـ LlamaIndex ومستودعات المتجهات المماثلة. تدعم تقطيعاً بحجم ثابت ووضعاً يعتمد على الحدود يحافظ على حدود الجمل أو الفقرات. يقوم المستخدم بإدخال النص المصدر وحجم القطعة المطلوب بالتوكنات، بالإضافة إلى تداخل اختياري وLanguage_hint. يقوم النظام بعملية التوكنزة، وبناء مقاطع متتالية وإخراج المقاطع مع عدد التوكنات لكل مقطع وبيانات ميتا عامة. من الناحية المفاهيمية، يحافظ على ميزانية سياق مستقرة لاسترجاع ما بعده، يقلل من التجزئة ويسهّل فهرسة فعّالة. موجه إلى مهندسي البيانات، مطوري الذكاء الاصطناعي والباحثين الذين يعالجون مجموعات ضخمة من أجل المساعدين الروبوتيين والدردشة أو تطبيقات البحث. القيمة الفريدة تكمن في خيارات الحدود، الامتثال لميزانية التوكنات، واستخدام language_hint لتحسين تحديد الحدود عبر اللغات. ميزات رئيسية: تداخل قابل للتكوين للحفاظ على السياق بين المقاطع المتجاورة وتحكمات max_chunk اختيارية. حالات الاستخدام الشائعة: إعداد كتيبات المنتجات، الأوراق البحثية، أو المستندات القانونية لاسترجاع يعتمد على LlamaIndex، مع أحجام مقاطع متسقة وتكاليف توكنات قابلة للتنبؤ. المخرجات تشمل قائمة مقاطع مرتبة، وper_chunk_tokens وبيانات وصفية تدعم سير العمل لفهرسة البيانات.

Save your calculation history with a free account

كيفية الاستخدام

قدّم المدخلات: الصق النص الأصلي، اضبط chunk_size بالتوكنات، عدّل التداخل وlanguage_hint حسب الحاجة.
اختر الحدود: حدد 'جملة'، 'فقرة' أو 'لا شيء' لإرشاد توزيع الحدود.
شغّل الحساب: ابدأ المعالجة لإنتاج مقاطع مرتبة وبيانات وصفية.
راجع المخرجات: راجع مصفوفة المقاطع وper_chunk_tokens للتحقق من الحدود وميزانية التوكنات.
التصدير: استخدم المخرجات لفهرسة في LlamaIndex أو لمعالجة إضافية.

Frequently Asked Questions

اعثر على إجابات سريعة

ما الغرض من الأداة؟

تقسم النص الطويل إلى مقاطع قابلة للإدارة للفهرسة مع LlamaIndex، مع حفظ الحدود عند الطلب وإنتاج بيانات وصفية لكل مقطع للتحكم في ميزانيات التوكن والسلوك في الاسترجاع.

كيف تعمل إستراتيجية الحدود؟

توفق استراتيجيات الحدود المقاطع إلى حدود الجملة أو الفقرة عندما يكون ذلك ممكنًا. إذا لم تتوافر الحدود، يتم استخدام نهج الحجم الثابت. تساعد تلميحات اللغة في اختيار الحدود الملائمة عبر اللغات.

ما هي المخرجات التي تنتجها الأداة؟

ترجع قائمة مرتبة من المقاطع، ومصفوفة per_chunk_tokens، وإجمالي عدد المقاطع، وكيان بيانات يصف أحجام المقاطع وحدودها لدعم سير عمل الفهرسة.

هل يمكنك تقليل عدد المقاطع؟

نعم. إذا تم توفير معامل max_chunks، ستُختصر السلسلة إلى هذا العدد من المقاطع، مما يضمن عبء عمل وتوقيت متوقعين.

Need to run multiple calculations?

Create a free account today to unlock unlimited daily runs, access advanced parameters, save your history, and request custom features.

Related Tools

Other useful calculators and utilities you might like

محول Spotify إلى MP3

يحوّل ملفات الصوت المقدمة محليًا إلى MP3، مما يتيح الاستماع دون اتصال وتوافقًا عبر الأجهزة للموسيقى...

حساب المسافة بالطرق

حاسب للمسافة بالطرق للمسافرين ومخططي اللوجستيات والسائقين لتقدير المسافات وأزمنة الرحلة بسرعة بين ال...

حاسبة العمر

حدد عمر شخص بسرعة استناداً إلى تاريخ ميلاده مع أداتنا المجانية على الإنترنت، مناسبة للاستخدام الشخصي...

محول العملات

حوّل بسرعة مبالغ بين عملات مختلفة باستخدام محول العملات المجاني عبر الإنترنت، مثالي للمسافرين، الشرك...

ملاحظاتك تهمنا

ساعدنا على التحسن