مشكلة تباين النتائج في حساب Confusion Matrix عند تدريب الذكاء الاصطناعي

ربما السبب هو العشوائية الموجودة في عملية تدريب النموذج، بمعنى أنه عند تدريب نموذج ذكاء اصطناعي، فغالبًا يتم تطبيق عملية تحسين (optimization) على البيانات المستخدمة للتدريب، مثل تعديل الوزن والمعاملات في النموذج، وبما أن هذه العملية تتضمن عناصر عشوائية، فمن المتوقع أن يكون لها تأثير على النتائج النهائية.

وبالتالي حتى عند تدريب نموذج معين على نفس مجموعة البيانات، فمن الوارد الحصول على نتائج مختلفة في كل مرة تقوم فيها بتشغيل الكود بسبب العشوائية الموجودة في عملية التدريب.

فإذا كنت ترغب في توحيد النتائج، تستطيع إعطاء البرنامج بذور عشوائية (random seeds) محددة قبل بدء عملية التدريب، مما سيضمن أنه سيتم تطبيق نفس الترتيب العشوائي في كل مرة تقوم فيها بتشغيل الكود، وذلك يضمن استقرار النتائج وتكرارها بشكل متسق.

في البداية نقول لدي مجموعة بيانات قم بتدريب نموذج عليها، و ليس قمت بتدريب بيانات، حيث أننا لا يمكن أن ندرب البيانات.

ال confusion matrix يتم حسابها بناء على توقعات النموذج الخاص بك، و بالتالي في حال استعملت نفس النموذج ( أي لم تعد تدريبه مرة أخرى) و نفس بيانات الدخل فيجب أن يكون لديك نفس المصفوفة حتماً.

بينما في حال غيرت البيانات فبالطبع سيتغير التوقع و ستتغير ال confusion matrix و مقدار التغير سيكون مرتبط بحجم هذه البيانات، فكلما زادت كلما قل هذا الاختلاف.

أيضاً في حال قمت بتدريب النموذج و حساب المصفوفة، ثم قمت بتدريب نموذج أخر (له نفس الهيكلية و على نفس البيانات) فستحصل على نموذجين مختلفين بعض الشيء عن بعضهما، سبب هذا الاختلاف يعود إلى عدة عوامل:

1. نحن نقوم بتهيئة النموذج بشكل عشوائي (أي نقوم بتهيئة الأوزان الخاصة به) و بالتالي نحن في كل نموذج سنبدأ عن نقطة معينة من الفضاء الذي نريد إيجاد القيمة الدنيا فيه (حيث نريد أن  يكون الخطأ أقل ما يمكن)، و لكن بشكل عام يكون لدينا أكثر من نقطة دنيا (قد لا تكون أمثلية) و كل نموذج قد يذهب إلى واحدة منهما.
2. مشكلة التباين الكبير، و هي مرتبطة بالعامل السابق، و تحدث عندما يكون الفارق في التوقعات كبيرة بين تدريبين لنفس النموذج، هذا يدل على أن النموذج الخاص بك غير جيد و يحتاج لبعض التعديلات.
3. قد لا يكون العاملان السابقان موجودين، أي قد يصل النموذجين إلى نفس النقطة الدنيا، و لكن بشكل عام النماذج لا تصل إلى النقطة تماماً، و إنما منطقة قريبة منها و بالتالي سيكون هناك اختلاف طفيف بين النموذجين.