توثيق مشروع تحليل بيانات

الأمر يتم على مستودع المشروع على GitHub حيث ستقوم بكتابة وصف للمشروع وطريقة استخدامه في ملف readme.md.

من الممكن اتباع منهجية CRISP-DM (Cross-Industry Standard Process for Data Mining) كإطار عمل رئيسي، مع تكييفها لتناسب المشروع، بمعنى سيتم سرد وصف المشروع من خلال مراحل دورة حياة المشروع كالتالي:

1- الهدف من المشروع Business Understanding أي تحديد المشكلة التي كنت تواجهها، وهي تحليل توزيع الزبائن الجغرافي لتحسين الحملات التسويقية أو التخصيص، ثم حدد كيف ستقيس نجاح المشروع، أي ما هي المقاييس التي ستعتمد عليها لتقييم أداء النموذج KPIs؟ كدقة تحليل التوزيع، الفائدة المتحققة من القرارات المبنية على التحليل، إلخ.

2- استيعاب البيانات وجمعها Data Understanding وذلك بجمع بيانات المتجر كعناوين الشحن، IP الزبائن، وسجلات الطلبات.

ثم تحليل أولي للبيانات لاكتشاف الأنماط أو المشكلات مثل قيم مفقودة في حقول البلدان، وذلك يُعرف باسم Exploratory Data Analysis - EDA

أي تحديد مصادر البيانات وأنواعها وجودتها أي وثق أي تحديات متوقعة في جودة البيانات وكيف ستتعامل معها (البيانات المفقودة، البيانات غير الدقيقة وخلافه).

3- تحضير البيانات Data Preparation من خلال تنظيف البيانات كتصحيح أسماء البلدان وحذف البيانات غير المكتملة، ثم دمج البيانات من مصادر مختلفة مثل CRM وسجلات المبيعات، ثم تحويل البيانات إلى تنسيق مناسب كترميز البلدان برموز ISO.

أي تحديد مرحلة تنظيف البيانات وتحويلها وتنفيذ تكامل البيانات في حال تم جمعها من مصادر مختلفة وكيف قمت بدمجها.

4- النمذجة Modeling باستخدام خوارزميات التجميع Clustering مثل K-Means أو خوارزميات التصنيف Classification حسب الهدف، والأدوات التي استخدمتها في ذلك مثل Python (Pandas, Scikit-learn) أو منصات مثل Tableau.

5- التقييم Evaluation أي وضح كيف ستقيم النموذج أو التحليل الإحصائي، مثل مقاييس Silhouette Score للتجميع.

6- النشر Deployment بتوضيح كيف قمت بدمج ذلك في المتجر، وهل سيتم عرضها في لوحة معلومات للمديرين؟ هل ستستخدم لتخصيص حملات تسويقية؟ هل ستدمج مع نظام إدارة علاقات العملاء (CRM)؟

ولو أردت تستطيع وضع أقسام توضح بها الأداء والموثوقية وأيضًا حالات الاستخدام Use Cases.

بتاريخ 11 دقائق مضت قال Esmail Pro:

- ماهي متطلبات النظام وايضا بشكل خاص ماهي المتطلبات الوظيفية ؟

بخصوص متطلبات النظام، فتنقسم إلى متطلبات وظيفية Functional Requirements وغير وظيفية Non-Functional.

الأولى يندرج أسفلها جمع البيانات كستيراد البيانات من قواعد بيانات المتجر مثل MySQL, PostgreSQL، ودمج بيانات من مصادر خارجية مثل APIs جغرافية لتحديد الموقع من IP.

ثم معالجة البيانات بتصنيف الزبائن حسب البلدان بدقة عالية وتوفير إمكانية تصفية البيانات حسب الفترات الزمنية.

ثم التصور والتحليل بعرض خرائط حرارية Heatmaps لتوزيع الزبائن، وتوليد تقارير تفصيلية (PDF/Excel) بنسب التوزيع.

ثم التكامل مع أدوات التسويق كـ Mailchimp لإرسال حملات مخصصة حسب المنطقة.

ثم الأمان لتأمين البيانات الحساسة كعناوين الزبائن وفقًا لـ GDPR في حال الاستخدام في منطقة أوروبا.

أما الغير وظيفية فهي:

• الأداء ستحتاج إلى معالجة البيانات في وقت لا يتجاوز 10 دقائق لكل مليون سجل.
• القابلية للتوسع بدعم زيادة حجم البيانات بنسبة 20% سنويًا.
• سهولة الاستخدام من خلال واجهة مستخدم بسيطة مع إمكانية تصدير البيانات بنقرة واحدة.
• التوافق والعمل على أنظمة تشغيل مختلفة Windows, Linux.