ما هو تحليل البيانات الاستكشافية (EDA)؟

بتاريخ 4 دقائق مضت قال Ail Ahmed:

لسلام عليكم

هي اي تحليل البيانات الاستكشافية (EDA)؟

وعليكم السلام ورحمة الله وبركاته،

Exploratory Data Analysis 

عملية أولية لتحليل البيانات لفهم طبيعتها، واكتشاف الأنماط وتحديد العلاقات بين المتغيرات، والكشف عن القيم الشاذة أو البيانات المفقودة. و هدفها هو توفير فهم عميق للبيانات قبل الانتقال إلى النمذجة أو اتخاذ القرارات بناءً عليها.

و هى مفيدة و نحتاج اليها. بسبب:

• فهم فكرة واضحة عن طبيعة البيانات التي تعمل عليها، مما يساعد في صياغة الفرضيات.
• الكشف عن الأخطاء، القيم الشاذة، أو البيانات غير المكتملة التي قد تؤثر على التحليل.
• تحدي أنماط قد تؤثر على نتائج التحليل أو التنبؤ.
• تساعد في اتخاذ قرارات مستنيرة عند إعداد النماذج الإحصائية أو نماذج تعلم الآلة.

و دعنا نفرض مثال:

لنفترض أننا نحلل مجموعة بيانات تحتوي على مبيعات متجر. يمكن أن تشمل خطوات EDA ما يلي:

• التحقق من عدد المنتجات المباعة يوميًا.
• معرفة المنتج الأكثر مبيعًا.
• دراسة العلاقة بين العروض الترويجية وزيادة المبيعات.
• تحليل الفئات العمرية التي تشتري أكثر.

بالتوفيق

تلك عملية تحليل البيانات الخام لفهم خصائصها لمحاولة فهم البيانات وما هي أنواعها؟ ما هي النطاقات؟ ما هي التوزيعات؟، واكتشاف الأنماط أي هل هناك أي اتجاهات أو مجموعات؟ هل هناك أي قيم شاذة؟

ثم تحديد العلاقات بين المتغيرات، ثم تحضير البيانات للتحليل الإحصائي من خلال تنظيف البيانات، تحويلها، وتحديد المتغيرات ذات الصلة.

وذلك لفهم البيانات بشكل أفضل قبل إجراء أي تحليل إحصائي.

والآلية كالتالي:

1. جمع البيانات من مصادر مختلفة.
2. إزالة القيم المفقودة، تصحيح الأخطاء، وتوحيد البيانات.
3.  إنشاء الرسوم البيانية والرسوم التوضيحية، حساب الإحصائيات الوصفية.
4.  تحليل العلاقات بين المتغيرات، اختبار الفرضيات.
5. عرض النتائج في شكل واضح ومختصر.

ومن الأمثلة التطبيقية على ذلك:

•  الرسوم البيانية المبعثرة، الرسوم البيانية الصندوقية، الرسوم البيانية شريطية.
• الإحصائيات الوصفية مثل المتوسط، الانحراف المعياري، التباين، الوسط.
• تحليل المكونات الرئيسية (PCA)  وهي تقنية لتقليل الأبعاد.
• التجميع وهي تقنية لتصنيف البيانات إلى مجموعات.

وبشكل عملي، يتم توظيف ذلك في فهم سلوك العملاء، تحديد أفضل استراتيجيات التسويق، أو تحليل البيانات الطبية، اكتشاف الأنماط في الأمراض، أو تحديد المخاطر المالية، تحسين استراتيجيات الاستثمار.

تمام جدا الف شكراا لحضرتكم