هل الكود data_train.isna().sum() يعتبر القيمة -1.0 كقيمة مفقودة، أم أنه يكتشف فقط NaN؟

isna تتعرف على NaN و None  وNaT (Not a Time - للتواريخ) كقيم مفقودة، ولا تعتبر -1.0 قيمة مفقودة بشكل افتراضي، حيث NaN هي قيمة خاصة تعني أنّ البيانات الرقمية مفقودة أو نتيجة عملية حسابية غير معرفة، بالتالي NaN في الغالب تعني أن الخلية كانت فارغة تمامًا في البيانات الأصلية، خصوصًا في الأعمدة الرقمية.

ولتضمين قيم أخرى مثل -1.0 كقيم مفقودة، يجب تحديد ذلك صراحًة من خلال استبدالها عن طريق np.nan

df.replace(-1.0, np.nan, inplace=True)

 أو إنشاء قناع مخصص:

missing_mask = (df == -1.0) | df.isna()
missing_count = missing_mask.sum()

تمام جدا جدا

الف شكراا جدا لحضرتكم جزاكم الله كل خير

وعليكم السلام ورحمة الله،

يجب أن نفهم جيدا أن الشيفرة التالية:

data_train.isna().sum()

تستخدم في مكتبة Pandas لحساب عدد القيم المفقودة (missing values) في كل عمود من أعمدة DataFrame.

ولكن من المهم أن نفهم أن هذا الكود لا يتعرف على القيمة -1.0 على أنها مفقودة، بل يتعرف فقط على القيم التي تم تمثيلها فعليا ك:

اقتباس

NaN (Not a Number) أو None

في حالة البيانات من نوع float أو object.

أي أنه وبمعنى آخر ف -1.0 هي قيمة عددية صالحة من وجهة نظر Pandas، حتى لو كانت تستخدم أحيانا كترميز يدوي للدلالة على نقص البيانات. أما NaN فهي ليست قيمة عددية، بل تمثل حالة غياب القيمة تماما، كأن تكون الخانة فارغة أو لا تحتوي على أي معلومة.

لذا في حال ما إذا أردت أن تعتبر -1.0 قيمة مفقودة، فيجب أن تقوم بتحويلها صراحة إلى NaN باستخدام دالة مثل:

replace(-1.0, np.nan)

لأن مفهوم NaN يعني أن الخلية لا تحتوي على أي قيمة تستخدم في التحليل أو النمذجة، بعكس رقم مثل -1 أو 0 الذي يبقى رقما قابلا للتعامل معه ما لم يتم تحويله يدويا إلى NaN.

الف شكراا جدا جدا لحضرتك

حزاك الله كل خير