Soda Data Quality Tool

الغرض ونية المستخدم: تقدم الأداة تقييمًا كميًا لجودة البيانات لمجموعات البيانات المستخدمة في التحليلات والتقارير والحوكمة. الجمهور المستهدف يشمل مهندسي البيانات، وأمناء البيانات، وفرق QA، وعلماء البيانات الذين يجب عليهم التحقق من جاهزية البيانات قبل لوحات البيانات ونماذج التعلم الآلي وتقارير الامتثال التنظيمي. تدعم الآداة التتبّع أثناء وصول البيانات، الهجرة، أو دورات الحوكمة الدورية وتساعد الفرق في ترتيب أولويات الإصلاح عبر إظهار أهم فجوات الجودة. النهج حتمي وشفاف وقابل لإعادة الإنتاج، مما يوفر أطر تدقيق لحوكمة جودة البيانات.

المنطق الأساسي والميزات: تنفّذ الأداة نموذج تقييم قائم على القواعد يشتمل على مدخلات ومخرجات مطلوبة. المدخلات المطلوبة تشمل معرّف مجموعة البيانات أو المسار، مخططًا محددًا وعينة من البيانات (أو مجموعة كاملة)؛ المدخلات الاختيارية تشمل الأوزان وإطاري القواعد الإقليميين. تشمل الميزات فحوصًا على مستوى الحقل للاكتمال والصلاحية والتنظيم، وفحوص اتساق على مستوى المجموعة، وتقييم مركّب (0-100) مع إشارات على مستوى الحقل. المخرجات: تقييم عام، وتقييمات أبعاد (الاكتفاء، الدقة، التناسق، الصحة)، وإشارات الحقل وتقرير معالجة الإصلاحات بصيغ JSON أو CSV. الخوارزميات تستخدم مجمعًا وزنيًا: Score = مجموع(weight_i * metric_i). هذا يعكس منظور SODA بدمج فحوص القواعد مع مقاييسالحوكمة.

المدخلات والمخرجات: تقبل الأداة dataset_id أو المسار، ومخططًا شكليًا، وقواعد جودة الحقول وتكوين أوزان اختياري. المخرجات تتضمن درجة شاملة واحدة (0-100)، درجات الأبعاد، إشارات الحقل وقسم الإصلاح. الشكل يمكن أن يكون JSON أو CSV للدمج مع فهارس البيانات أو لوحات الحوكمة. الوحدات: نسبة مئوية للدرجات؛ الطوابع الزمنية ISO 8601.

الأخطاء والحالات الحدية: إذا كانت المدخلات مفقودة أو غير صالحة، تبلغ الأداة عن العيب وتتأخر الحسابات حتى يتم حلها. إذا لم تتوفر مصدر البيانات، يتم إرجاع حالة خطأ مع تفاصيل تشخيصية. قد تُؤخذ عينات من البيانات الكبيرة؛ تعطي البيانات الخالية درجات حقل غير معرفة. تؤدي مهلة الوقت إلى نتائج جزئية مع ملاحظات.

الصناعة/المنطقة والتعريب: تدعم صيغ الأعداد والتواريخ المعتمدة محليًا وتلتزم بممارسات حوكمة البيانات الشائعة بما في ذلك بيانات وصفية قابلة للتدقيق والامتثال التنظيمي. الإعدادات الموضوعة للتعريب يمكنها تكييف النصوص والمراجع مع القوانين الإقليمية.

الافتراضات والاستثناءات: يفترض وجود وصول إلى عينات تمثيلية ومخطط محدد؛ يستبعد فحص المحتوى بكامل أو أي جانب من UI/عرض.