تقسيم البيانات الهرمية الى تدريب واختبار دون تسريب.

في حالة البيانات الهرمية عندما تكون هناك سجلات رئيسية (مثل العملاء أو الزلازل) تحتوي على سجلات فرعية (مثل المعاملات أو الملاحظات) يجب دائمًا تقسيم البيانات على مستوى السجل الرئيسي وليس السجل الفرعي.

عندما تقوم بتقسيم البيانات على مستوى السجلات الفرعية، قد يرى النموذج أثناء التدريب جزءًا من بيانات العميل نفسه أو الزلزال نفسه، ثم يُختبر على بيانات أخرى . هذا يجعل النموذج "يعرف" مسبقًا خصائص هذا العميل أو الزلزال، فيُظهر أداءً مرتفعًا زائفًا في الاختبار.

مثال:
إذا كان لدينا عميل له 10 معاملات، ووضعت 7 منها في التدريب و3 في الاختبار، فالنموذج سيتعلم نمط هذا العميل من التدريب، وبالتالي سيتنبأ بنتائج الاختبار بسهولة غير حقيقية.
أما إذا وضعت كل معاملات العميل إما في التدريب أو في الاختبار فقط، فسيكون النموذج مضطرًا لتعميم معرفته على عملاء جدد لم يسبق له رؤيتهم.

لذا نحتاج إلى تقسيم على مستوى الكيان الرئيسي (مثل العميل أو الزلزال) لتجنب تسرب البيانات وضمان أن النموذج يتعلم التعميم الحقيقي، وليس الحفظ أو التكرار.

 دائمًا يجب إجراء تقسيم التدريب والاختبار على مستوى السجل ككل بمعنى العميل، الزلزال، المريض، المنتج، وليس على مستوى السجل الفرعي.

فخلط وتقسيم جميع التسجيلات 1000 زلزال * 3 تسجيلات على الأقل = 3000+ تسجيل، سيؤدي إلى أن تسجيلات نفس الزلزال ستكون في التدريب والاختبار، وسيتعلم النموذج الخصائص الفريدة لزلزال معين، الأمر الذي يسمح له بالغش، وسيحقق أداء جيد بشكل مصطنع عند اختباره على تسجيل آخر لنفس الزلزال.

بينما الصحيح هو، لدينا قائمة بـ 1000 زلزال فريد، نقوم بتقسيمها إلى 800 زلزال للتدريب و 200 زلزال للاختبار، ثم نضع التسجيلات المرتبطة بـ 800 زلزال في مجموعة التدريب.

وجميع التسجيلات المرتبطة بـ 200 زلزال نضعها في مجموعة الاختبار.

لذا طالما البيانات هرمية أو مجمعة، فيجب أن يكون التقسيم على مستوى المجموعة ككل لضمان عدم وجود أي تداخل للمعلومات بين مجموعتي التدريب والاختبار.

بتاريخ 39 دقائق مضت قال Mustafa Suleiman:

 دائمًا يجب إجراء تقسيم التدريب والاختبار على مستوى السجل ككل بمعنى العميل، الزلزال، المريض، المنتج، وليس على مستوى السجل الفرعي.

فخلط وتقسيم جميع التسجيلات 1000 زلزال * 3 تسجيلات على الأقل = 3000+ تسجيل، سيؤدي إلى أن تسجيلات نفس الزلزال ستكون في التدريب والاختبار، وسيتعلم النموذج الخصائص الفريدة لزلزال معين، الأمر الذي يسمح له بالغش، وسيحقق أداء جيد بشكل مصطنع عند اختباره على تسجيل آخر لنفس الزلزال.

بينما الصحيح هو، لدينا قائمة بـ 1000 زلزال فريد، نقوم بتقسيمها إلى 800 زلزال للتدريب و 200 زلزال للاختبار، ثم نضع التسجيلات المرتبطة بـ 800 زلزال في مجموعة التدريب.

وجميع التسجيلات المرتبطة بـ 200 زلزال نضعها في مجموعة الاختبار.

لذا طالما البيانات هرمية أو مجمعة، فيجب أن يكون التقسيم على مستوى المجموعة ككل لضمان عدم وجود أي تداخل للمعلومات بين مجموعتي التدريب والاختبار.

شكرًا.

بتاريخ 41 دقائق مضت قال Mustafa Suleiman:

 دائمًا يجب إجراء تقسيم التدريب والاختبار على مستوى السجل ككل بمعنى العميل، الزلزال، المريض، المنتج، وليس على مستوى السجل الفرعي.

فخلط وتقسيم جميع التسجيلات 1000 زلزال * 3 تسجيلات على الأقل = 3000+ تسجيل، سيؤدي إلى أن تسجيلات نفس الزلزال ستكون في التدريب والاختبار، وسيتعلم النموذج الخصائص الفريدة لزلزال معين، الأمر الذي يسمح له بالغش، وسيحقق أداء جيد بشكل مصطنع عند اختباره على تسجيل آخر لنفس الزلزال.

بينما الصحيح هو، لدينا قائمة بـ 1000 زلزال فريد، نقوم بتقسيمها إلى 800 زلزال للتدريب و 200 زلزال للاختبار، ثم نضع التسجيلات المرتبطة بـ 800 زلزال في مجموعة التدريب.

وجميع التسجيلات المرتبطة بـ 200 زلزال نضعها في مجموعة الاختبار.

لذا طالما البيانات هرمية أو مجمعة، فيجب أن يكون التقسيم على مستوى المجموعة ككل لضمان عدم وجود أي تداخل للمعلومات بين مجموعتي التدريب والاختبار.

شكرًا على الاجابة