اذهب إلى المحتوى

السؤال

نشر (معدل)

ما هو الفرق بين تنعيم L1 و L2، ومتى نستخدم كل منهما؟
What is the difference between L1 and L2 regularaization and when to use each one?

تم التعديل في بواسطة Ali Haidar Ahmad
ترجمة السؤال، وتوضيح العنوان

Recommended Posts

  • 0
نشر

كلاهما يستخدم لمحاربة (أو معالجة) مشكلة الضبط الزائد Overfitting.
L1 ( L1 lasso or norm):
يقوم بمحاربة ال OF عن طريق تصغير قيم الأوزان المرتبطة بالميزات feature الأقل أهمية باتجاه ال 0، مما يجعل تأثير بعض ال feature مهمل لأنه يجعل قيم بعض الأوزان صفرية تماماً، ويمكن اعتبار ذلك نوعاً من أنواع اختيار الميزات feature selection، ويعتمد على إضافة حد جديد الى تابع الكلفة (يُسمى معاقبة penalty) يمثل مجموع القيم المطلقة للأوزان مضروباً بمعامل تحكم لمدا (زيادتها تؤدي إلى زيادة تأثير هذه العملية وتصغيرها يؤدي إلى العكس، وهي قيمة بين ال 0 وال 1 وتعتبر من المعاملات العليا HyperParameter التي يجب ضبطها).
المعادلة المعبرة عنه:
photo_2022-02-22_15-54-41.jpg.b7ca6a59abce3131f789cf5955454596.jpg

أي أنها تعتمد على إضافة مجموع القيم المطلقة للأوزان مضروباً بمعامل تحكم (لمدا)، إلى تابع الكلفة المستخدم.
L2 (L2 ridge):
يقوم بمحاربة ال OF عن طريق تصغير قيم الأوزان ولكن لا يجعلها صفرية، ويعتمد على إضافة حد جديد إلى تابع الكلفة يمثل مجموع مربعات الاوزان مضروبا بمعامل تحكم لمدا.
المعادلة المعبرة عنه:
photo_2022-02-22_15-54-23.jpg.d85b49d0025ed110fef05a29ba1d0a2f.jpg
أي أنها تعتمد على إضافة مجموع مربعات للأوزان مضروباً بمعامل تحكم (لمدا)، إلى تابع الكلفة المستخدم.
هناك فروق أخرى يمكن استنتاجها من هذا الكلام ،مثل أن L1 أكثر متانة من L2 بسبب قدرته على التعامل مع القيم الشاذة، في حين أن L2 يعاني من مشكلة القيم الشاذة (أو المتطرفة).
أيضاً L1 يقوم ضمنيّاً بعملية feature selection، وهذا قد يكون له أثر سلبي  لبعض المهام، بينما L2 لا يقوم بذلك أبداً.
يعتبر أيضاً L1  تمثيل متناثر Sparse لأن عدد الأصفار يزداد نتيجة تصفير بعض الأوزان على عكس L2 الذي يعتبر كثيف Dense.

انضم إلى النقاش

يمكنك أن تنشر الآن وتسجل لاحقًا. إذا كان لديك حساب، فسجل الدخول الآن لتنشر باسم حسابك.

زائر
أجب على هذا السؤال...

×   لقد أضفت محتوى بخط أو تنسيق مختلف.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   جرى استعادة المحتوى السابق..   امسح المحرر

×   You cannot paste images directly. Upload or insert images from URL.

  • إعلانات

  • تابعنا على



×
×
  • أضف...