هو لو انا مسحت حوالي 90% من البيانات بسيب الnulls تاثير ده اي علي نموذج ؟

نعم هذا الأمر قد يكون له تأثير كبير وسلبي على أداء النموذج الذي تحاول تدريبه، و التأثير يعتمد على طريقة معالجة النموذج لهذه القيم المفقودة ومدى أهمية البيانات المحذوفة حيث أن حذف 90% من البيانات يعني أن النموذج سيحصل على كمية محدودة جدا من المعلومات لتعلم الأنماط، و بالتالي تحتاج إلى معالجة البيانات المفقودة بعناية وتقييم كيفية تأثير الحذف على الأنماط التي يحاول النموذج تعلمها.

بتاريخ 2 ساعة قال Chihab Hedidi:

نعم هذا الأمر قد يكون له تأثير كبير وسلبي على أداء النموذج الذي تحاول تدريبه، و التأثير يعتمد على طريقة معالجة النموذج لهذه القيم المفقودة ومدى أهمية البيانات المحذوفة حيث أن حذف 90% من البيانات يعني أن النموذج سيحصل على كمية محدودة جدا من المعلومات لتعلم الأنماط، و بالتالي تحتاج إلى معالجة البيانات المفقودة بعناية وتقييم كيفية تأثير الحذف على الأنماط التي يحاول النموذج تعلمها.

تمام جدا

الف شكراا جدا لحضرتك

بتاريخ 7 ساعة قال Ali Ahmed55:

السلام عليكم

هو لو انا مسحت حوالي 90% من البيانات بسيب الnulls تاثير ده اي علي نموذج ؟

ذلك يعتمد بشكل كبير على كمية البيانات المتبقية ونمط القيم المفقودة فإذا كانت القيم المفقودة عشوائية وتمثل نسبة صغيرة من الأعمدة أو الصفوف المتبقية، فإن التأثير قد يكون محدودا خاصة إذا تم استخدام تقنيات معالجة مثل إحلال القيم المفقودة (Imputation) باستخدام المتوسط، الوسيط، أو الفئة الأكثر شيوعا.

وأما إذا كانت القيم المفقودة تتركز في أعمدة أو صفوف رئيسية ذات تأثير كبير على النموذج فإن ذلك سيؤدي إلى فقدان التمثيل السليم للبيانات مما يقلل من دقة النموذج ويزيد من التحيز فإذا كانت نسبة البيانات المفقودة مرتفعة للغاية، فإن كمية البيانات المستخدمة لتدريب النموذج قد تصبح غير كافية، مما يؤدي إلى ضعف التعميم عند التنبؤ بالبيانات الجديدة. للتخفيف من هذا التأثير، يمكنك حذف الأعمدة أو الصفوف ذات القيم المفقودة بشكل مفرط، أو استخدام تقنيات مثل النماذج التي تتحمل القيم المفقودة (مثل أشجار القرار)، مع التأكد من أن البيانات المتبقية تعكس التوزيع الأصلي لتجنب انحراف النتائج.

بتاريخ 11 ساعة قال ياسر مسكين:

ذلك يعتمد بشكل كبير على كمية البيانات المتبقية ونمط القيم المفقودة فإذا كانت القيم المفقودة عشوائية وتمثل نسبة صغيرة من الأعمدة أو الصفوف المتبقية، فإن التأثير قد يكون محدودا خاصة إذا تم استخدام تقنيات معالجة مثل إحلال القيم المفقودة (Imputation) باستخدام المتوسط، الوسيط، أو الفئة الأكثر شيوعا.

وأما إذا كانت القيم المفقودة تتركز في أعمدة أو صفوف رئيسية ذات تأثير كبير على النموذج فإن ذلك سيؤدي إلى فقدان التمثيل السليم للبيانات مما يقلل من دقة النموذج ويزيد من التحيز فإذا كانت نسبة البيانات المفقودة مرتفعة للغاية، فإن كمية البيانات المستخدمة لتدريب النموذج قد تصبح غير كافية، مما يؤدي إلى ضعف التعميم عند التنبؤ بالبيانات الجديدة. للتخفيف من هذا التأثير، يمكنك حذف الأعمدة أو الصفوف ذات القيم المفقودة بشكل مفرط، أو استخدام تقنيات مثل النماذج التي تتحمل القيم المفقودة (مثل أشجار القرار)، مع التأكد من أن البيانات المتبقية تعكس التوزيع الأصلي لتجنب انحراف النتائج.

تمام جدا جدا

الف شكراا لحضرتك