Token Checker

يقدم Token Checker تقديرات سريعة للترميز للنصوص المستخدمة مع نماذج الذكاء الاصطناعي. يقبل نصاً عاديًا، وطلبات توجيه برمزية، أو مقتطفات من المستندات، ويعيد إجمالي عدد الرموز، وميزانية رموز مقدّرة للنموذج المختار، وتوجيهات حول تقريبات التكاليف. يستهدف المطورين وعلماء البيانات ومديري المنتجات والباحثين الذين يحتاجون إلى رؤية ميزانيات الرموز قبل إجراء التجارب أو طرح الميزات أو التفاوض على حدود API. بتحويل النص إلى وحدات رموز، يساعد الفريق في التنبؤ بنمط الاستخدام وتجنب تجاوز التكاليف. من الناحية المفاهيمية، يتم تطبيق قواعد ترميز خاصة بالنموذج على Tokens بدلاً من الاعتماد على الكلمات. وهو يدعم ترميزات شائعة ويمكنه محاكاة العدّات لعدة نماذج للمقارنة. الميزات الأساسية: عدّ الرموز بدقة لكل إدخال، تكلفة مقدّرة لكل 1k رمز، تفصيل اختياري حسب المقاطع، ومخرجات قابلة للتصدير JSON أو CSV للوحات القيادة وأنابيب البيانات. مدخلات: نص (سلسلة، إلزامي)، نموذج (سلسلة، اختياري)، price_per_1k_tokens (عشري، اختياري). مخرجات: token_count (عدد صحيح)، estimated_cost (عشري)، model_token_rate (عشري) وتفصيل مقطع إذا تم تفعيله. التنسيق الرقمي افتراضي. يعتمد الحساب على قواعد Tokenizers عائلة النموذج؛ تحسب التكاليف كـ token_count × price_per_1k_tokens / 1000، مقرباً إلى منزلتين عشريتين. إذا لم يتم تحديد نموذج، يتم استخدام تقدير عام. المدخلات الفارغة تعطي 0 Tokens. إذا كان النص طويلاً، يمكن تقليصه في التقرير مع الحفاظ على عدد الرموز الفعلي. إذا فقدت بيانات السعر، تعود التقديرات إلى 0. يدعم الإنجليزية؛ الدولار الأمريكي USD كعملة افتراضية مع خيار التبديل. الرموز هي وحدات مجرّدة؛ التنسيق المحلي غير مطلوب إلا عند الطلب. افتراض: ترميز GPT-مشابه؛ لا يعتبر بديلاً عن عدّ رموز API الرسمي. لا توجد قيود API في الوقت الفعلي أو معدلات الطلب؛ لا إشارات واجهة مستخدم هنا.