مقسم النوافذ

مقسم النوافذ مصمم لتحويل إدخالات نصية كبيرة إلى سلسلة من المقاطع المحدودة الملائمة للمعالجة باستخدام tokens، والترجمة دفعة واحدة، والتحليل المتزايد. يحفظ الترتيب الأصلي ويقدم مخرجات قابلة لإعادة الت هيئة مع بيانات وصفية غنية، مما يسهل إجراء تجارب قابلة لإعادة الإنتاج وتدفقات عمل قابلة للمراجعة. تستهدف الأداة المحررين والباحثين والمطورين وعلماء البيانات الذين يحتاجون إلى تقسيم وثائق طويلة إلى أجزاء قابلة للإدارة دون فقدان السياق.
المنطق الأساسي يشمل محرك تقسيم قابل للتكوين واستراتيجيات حدود. المدخلات المطلوبة هي input_text و chunk_size (حروف). اختياري لكن موصى به: overlap، boundary_strategy (جملة أو كلمة)، دلائل اللغة، وخيار الحفاظ على تنسيق بسيط. يمكن للمستخدمين المتقدمين تفعيل التقسيم وفق اللغة، والفواصل المخصصة، وفهارس كل مقطع، والتصدير بتنسيقات JSON مناسبة لواجهات برمجة التطبيقات والتجميعات الدفعة.
الإخراج يتكون من مصفوفة مقاطع، كل مقطع يحمل فهرساً وتحيّز البدء والنهاية ونص المقطع. كما يعيد النظام total_chunks وكتلة بيانات ميتاداتا مدمجة. يقدِّر عدد التوكنات للمساعدة في تخطيط استخدام النموذج. معالجة الأخطاء تغطي أحجام غير صالحة، إدخالاً فارغاً، أوضاع الحدود غير المدعومة، والمدخلات الطويلة جداً المعالجة في وضع البث إذا تم تفعيله. تشمل الحالات الحدية أحرف متعددة البايت ولغات ذات أنظمة كتابة غير لاتينية تتطلب قرارات حد دقيقة. أمثلة الاستخدام تشمل إعداد المستندات القانونية للمراجعة، ترجمة مقالات أكاديمية دفعة واحدة، وتغذية مجموعات كبيرة من البيانات في خطوط NLP. القيمة الفريدة تأتي من تقسيم يحترم الحدود، تقطيع حتمي، وتداخل اختياري للحفاظ على السياق عبر المقاطع، مما يقلل إعادة المعالجة ويحسن معدل تمرير النموذج مقارنة بالتقطيعات الثابتة البسيطة. تم تصميم الأداة لتدفقات العمل المعتمدة على واجهات API ويمكن دمجها في إجراءات البيانات مع إشارات مقاطع قابلة للمراجعة.