هو لو فيه عمود انا مسحتو في بيانات التدريب هل يفضل بردو امسحو من بيانات الاختبار ؟

مرحبًا علي،

بالطبع يجب مسحه، عدم مسحه يفترض أن يعطيك خطأ. فمثلًا لو أنك قمت بتدريب النموذج على 10 أعمدة فهذا يعني أنه لديك أوزان مخصصة لهذه الأعمدة فقط، و في حال حاولت اختبار النموذج على 11 عمود يفترض أن يعطيك خطأ.

من الطبيعي مسح الأعمدة، فهي جزء من عملية اختيار الميزات المهمة و حذف غير المهمة، و وجود بيانات ناقصة بشكل كبير في عمود قد يدل أن العمود غير مهم.

في حال كان العمود رقمي، يمكنك تعويض مسح العمود بتعويض البيانات الناقصة ب 0 .. في تلك الحالة لن تؤثر على الوزن الخاص بذلك العمود، أي أن النموذج سيتعامل و كأن هذه العينة لا تحوي على هذه الميزة.

تحياتي,

وعليكم السلام ورحمة الله وبركاته.

يفضل بالطبع أن تقوم بإزالة نفس العمود من بيانات الاختبار. حيث عندما تقوم بإزالة عمود من بيانات التدريب فإن النموذج قد تدرب على البيانات بدون هذا العمود وإذا قمت بإبقاء نفس العمود في بيانات الاختبار فبنسبة كبيرة سيواجه النموذج صعوبة في التنبؤ بسبب الإختلاف في هيكل البيانات بين التدريب والاختبار. 

وبهذا فإذا لم تقم بمسح العمود فإن النموذج قد ينحاز لتلك البيانات في عمود الإختبار ويعطي لها وزن أكبر مما يسبب عدم دقة في نتيجة التنبؤ.

حتي لو كانت مسابقه علي كاغل فيه جوايز ماليه ؟

يعني مش ممكن هما يستخدمو النموذج علي 11 بدل 10 

بتاريخ 3 دقائق مضت قال Ali Ahmed55:

حتي لو كانت مسابقه علي كاغل فيه جوايز ماليه ؟

يعني مش ممكن هما يستخدمو النموذج علي 11 بدل 10 

كما سبق و أخبرتك، هناك طرق يمكنك استعمالها في حال كان العمود مهمًا في نظرك و ليس من المفيد حذفه. في النهاية هنا تأتي مهمتك في أن تجد أهم الأعمدة، فعملية معالجة البيانات مهمة جدًا مثل عملية تطوير النموذج.

بتاريخ الآن قال Kais Hasan:

كما سبق و أخبرتك، هناك طرق يمكنك استعمالها في حال كان العمود مهمًا في نظرك و ليس من المفيد حذفه. في النهاية هنا تأتي مهمتك في أن تجد أهم الأعمدة، فعملية معالجة البيانات مهمة جدًا مثل عملية تطوير النموذج.

تمام , جدا 

الف شكراااا جدا جدا لحضرتكم جمعيا