هل إضافة Dropout و Batch Normalization في كل طبقة بالشبكة العصبية يؤثر سلبًا على النموذج؟

أكيد إضافة Dropout و Batch Normalization لكل طبقة في الشبكة العصبية قد يؤثر سلبا على أداء النموذج، حيث يلعب كل منهما دور مختلف في تحسين التدريب، فمثلا Dropout يساعد في تقليل overfitting عن طريق تعطيل بعض الوحدات العصبية عشوائيا، ولكن تطبيقه على كل طبقة قد يؤدي إلى فقدان كبير للمعلومات وإبطاء عملية التعلم، و في المقابل Batch Normalization يعمل على استقرار التوزيع وتسهيل التدريب، ولكنه قد يتعارض مع Dropout، حيث إن الأول يحاول تثبيت التوزيع بينما الثاني يضيف عشوائية، لذا يفضل استخدام Batch Normalization في الطبقات العميقة لتحسين استقرار النموذج، بينما يستخدم Dropout بحذر في الطبقات المخفية فقط، مع تجنب وضعه مباشرة بعد Batch Normalization، و الجمع بينهما بشكل غير مدروس قد يؤدي إلى بطء التدريب وضعف الأداء، لذا من الأفضل تجربة تكوينات مختلفة لمعرفة التوازن الأمثل الذي يناسب البيانات والنموذج.

بالطبع، Batch Normalization تعمل على تثبيت التوزيع الإحصائي للمدخلات عن طريق تعديل المتوسط والتباين للدفعة batch أثناء التدريب، وDropout يغير التوزيع بشكل عشوائي عن طريق إسقاط بعض الوحدات neurons، وذلك يتعارض مع جهود BN لتوحيد المدخلات.

بالتالي تقلبات أكبر في إحصائيات BN كالمتوسط والتباين، وصعوبة في تقارب النموذج بسبب عدم استقرار التوزيعات.

الترتيب الأمثل هو طبقة Dense ثم Batch Normalization ثم وظيفة التنشيط Activation ثم Dropout، وفي حال تطبيق Dropout قبل BN، فإن إسقاط الوحدات العشوائي سيؤثر على إحصائيات الدفعة التي تعتمد عليها BN، وسيؤدي إلى نتائج غير متوقعة.

عامًة جرب ترتيبات مختلفة، وخفِّض معدل الإسقاط مثل 0.2 بدلًا من 0.5 في حال تستخدم BN، ولو لاحظت تراجعًا في دقة التدريب underfitting أو تقلبات كبيرة، فقلل من استخدام Dropout أو BN.

تمام جدا

الف شكراا جدا لحضرتكم

جزاكم الله كل خير