Decoder Transformer PyTorch

تقدم هذه الأداة تدفق عمل decoder Transformer قابل للتكوين يُنفَّذ باستخدام PyTorch. تقوم بتحميل نموذج Decoder مُدرب مسبقاً أو مقدم من المستخدم من model_path، وتتحقق من توافق المُرمّز، وتحدد جهاز الحوسبة، وتعرض معلمات فك التشفير مثل max_length و temperature و top_k و top_p و num_beams. تركز على الاستدلال والتقييم ولا تتضمن أدوات تدريب أو تجهيز بيانات أو خطوط أنظمة ضبط دقيقة. المستخدمون المستهدفون هم باحثو ML ومهندسو البرمجيات وعلماء البيانات ومقيّمو النماذج الذين يعِدون prompts، يقارنون استراتيجيات فك التشفير ويدرسون الأداء مقارنة بالخطوط الأساسية.
ترتكز المنطق الأساسي على إدخال prompts وتوليد الرمزيات. عند وجود prompt، يقوم النموذج بتمرير أمامي ويختار الرمز التالي وفقاً لاستراتيجية فك التشفير المختارة. إذا كان num_beams > 1، تُستخدم beam search؛ وإلا فالتشفير الجشع هو الافتراضي. عندما do_sample صحيح، يتم تطبيق التوليد العشوائي مع temperature و top_k و top_p. يدعم prompts مفردة وتكديساً خفيفاً على أجهزة متوافقة، مع خيارات لإرجاع token_ids خام وScores لكل رمز لتحليل أعمق. كما يتعامل النظام مع حالات حافة الترميز والاقتطاع عندما يتجاوز prompts max_length.
القيمة الفريدة تكمن في عزل قرارات فك التشفير عن التدريب، مما يتيح تجارب متكررة وبروفايلز معيارية ونتائج متسقة. هذا الأداة مناسبة لتطوير API، ونمذجة تدفقات دردشة أو تلخيص، وتقييم استراتيجيات فك التشفير وقياس زمن الاستجابة عبر إعدادات مختلفة. أنها تدعم تجارب قابلة لإعادة الإنتاج من خلال إدخالات ومعايير ثابتة، وتصدير مخرجات كـ token_ids و scores للمراجعة والتكامل مع حلول التسجيل وتتبع التجارب. حالات الاستخدام النموذجية تتضمن توليد مستند إلى prompts، بحث حول توازن الجودة-التنوع، وتكرار سريع لسلاسل الاستدلال.