مقسِّم النص

تقدم أداة المقسِّم تقسيمًا موثوقًا يعتمد على الفاصل أو النمط. وهي مناسبة للاستخدام عندما تكون البيانات في شكل أسطر أو سجلات أو نصوص شبه بنيوية يجب تقسيمها إلى حقول منفصلة. المستخدمون يشملون مهندسي البيانات، المحللين، والمطورين الذين يعالجون البيانات للادغام أو التحقق أو التحويل. الفكرة الأساسية هي إنتاج مصفوفة من الرموز tokens يمكن للكود في الأسفل استهلاكها وتصفيتها وإعادة تجميعها. يميز بين تقسيم بسيط باستخدام فاصل وتقسيم قائم على regex، ما يسمح بتجزئة المصدر نفسه بطرق متعددة بدون كود. يركز على النتائج الحتمية وعدد الرموز المتوقع. طريقة العمل المفهومة: اختيار وضع (فاصل أو regex)، تزويد النمط أو الفاصل وتحديد حد للتقسيم إن وجد. تطبيق الإزالة/التقليم والتعامل مع الرموز الفارغة حسب التفضيلات. المحرك يعيد مصفوفة tokens وعدد الرموز token_count. تحافظ الأوامر على حروف اليونيكود؛ تدعم حالات الحد الشائعة مثل الفواصل المتتالية أو الحقول داخل علامات اقتباس بحسب الإعداد. تقسيم النص هو خطوة تمهيدية قبل التحليل أو التحقق. القيمة والاستخدامات: بخلاف السكريبتات المسببة للمشاكل، يوفر هذا الأداة سلوكًا مُتسقًا، ويدعم التقسيمات البسيطة والمعقدة بدون كود ويُدمج في تدفقات البيانات. سيناريوهات نموذجية تشمل تقسيم أسطر CSV المشابهة، إدخالات السجل أو النسخ، استخراج الحقول للتحقق أو تجهيز النص لمهام NLP. الخيارات المتقدمة تسمح للفرق بضبط سلوك التقسيم لزيادة الاعتمادية والإنتاجية في تدفقات البيانات الآلية.