1. هل الرسومات البيانية بتتجاهل Missing Values؟

يعتمد على الأداة ونوع الرسم، لكن في الغالب نعم، معظم الأدوات بتتجاهل القيم المفقودة بصمت، وهذا بيكون له تأثير على شكل الرسم.

Matplotlib / Seaborn / Pandas القيم NaN بتتجاهلها ولا بترسمها في الرسم الخطي (line plot) بيظهر فراغ (gap) في الخط مكان القيمة المفقودة في الـ scatter النقطة ببساطة ما بتظهر.

Excel بيخليك تختار تعرض الفراغات كـ gaps، أو كصفر، أو توصل الخط بين النقاط (Connect data points with line).

Tableau / Power BI غالباً بتتجاهل الـ null، وبعض الأدوات بتنبهك برسالة (مثل “N nulls” في Tableau).

ggplot2 (R) بيحذف الصفوف اللي فيها NA ويطلّع تحذير Removed N rows containing missing values.

لو الخط متصل بين نقطتين رغم وجود فجوة، بيوحي إن البيانات مستمرة و الـ Histogram والـ Boxplot القيم المفقودة بتستبعد من الحساب، فالشكل بيمثل فقط البيانات الموجودة، وممكن يكون متحيزاً لو الفقدان مش عشوائي.

الـ Bar chart مع التجميع المتوسطات والمجاميع بتحسب بدون القيم المفقودة، وهذا ممكن يغير النتيجة.

ليس دائما لكن في الغالب تتعامل معظم أدوات الرسم مع القيم المفقودة بتجاهلها أو بإظهارها كفراغ بدلا من الخطأ، وغالبا بدون تنبيه واضح، والسلوك يختلف حسب الأداة ونوع الرسم.

ففي Matplotlib مثلا يمكننا ملاحظة ظهور قيمة NaN في الرسم الخطي كفجوة تقطع الخط وفي scatter لا ترسم تلك النقطة وفي ggplot2 تحذف الصفوف التي فيها NA مع تحذير يذكر عددها وأما في Excel فتختار بنفسك بين عرض الفراغ أو اعتباره صفرا أو وصل النقاط بخط.

أما في الرسوم المبنية على التجميع (متوسط أو مجموع) فالأداة تحسب القيم الموجودة فقط كما يفعل pandas افتراضيا مع skipna=True فتتغير النتيجة دون أن يظهر ذلك في الرسم، وإذا كان الفقدان غير عشوائي فقد يصبح الرسم متحيزا. لذلك يجب عدّ القيم المفقودة قبل الرسم مثل df.isna().sum()) ثم يمكن معالجتها بالحذف أو التعويض أو التوضيح في الرسم، وعدم الاعتماد على سلوك الأداة الافتراضي.

ملاحظة أخرى بجاني ما تم شرحه أن وجود قيمة مفقودة (Missing Value) ليس بالضرورة مشكلة يجب التخلص منها أو تعويضها، بل قد يكون دليلاً على مشكلة أو ظاهرة مرتبطة بطريقة جمع البيانات نفسها.

فعند ظهور قيم مفقودة، لا ينبغي أن نتسرع في تعويضها بمتوسط أو وسيط أو أي قيمة أخرى بهدف جعل البيانات مكتملة؛ لأن هذا التعويض قد يغيّر التوزيع الإحصائي للبيانات ويؤثر في نتائج التحليل.

لذلك، يجب أولاً فهم سبب فقدان البيانات وطبيعته ومدى تأثيره على التحليل، ثم اتخاذ القرار المناسب .