سؤال نظري: متى لا يصلح عمل cross validation مع البيانات؟

مرحبا,

إن تقنية Cross Validation لها العديد من طرق التطبيق (اي انواع جزئية منها)

1- Leave-one-out cross validation.
2- k-fold cross validation.
3- hold-out cross validation.

وهذه التقنيات جميعها يتبع استخدامها لعدد ال Data Sets لديك حيث يتم الاختيار بينها لتعطى أداء جيد بالنسبة لكلفة العمليات الحسابية و زمن التنفيذ.

Let m be the number of samples in your dataset.// m بفرض لديك عدد من مجموعات البيانات عددهم 

// الحالة الأولى
If m≤20 use Leave-one-out cross validation. 

// الحالة الثانية
If 20<m≤100 use k-fold cross validation with a relatively large k≤m
keeping in mind computational cost. // مع الإبقاء بالذهن كلفة العمليات الحسابية


// الحالة الثالثة
If 100<m≤1,000,000 use regular k-fold cross validation (k=5).
Or, if there is not enough computational power and m>10,000,
use hold-out cross validation.

// الحالة الرابعة
If m≥1,000,000 use hold-out cross validation,
but if computational power is available you can use k-fold cross validation (k=5)
if you want to squeeze that extra performance out of your model.

مرفقات الملف : صور رسومية توضيحية لعمل Cross Validation.

Cross Validation: هي عملية تجزئة البيانات التي سنعتمد عليها لإجراء تدريب و اختبار للنموذج الذي سنعتمده لتصنيف البيانات.

تقوم بالاعتماد على عدد من البيانات الجزئية و التبديل بينها في طوري التدريب و الاختبار و لها عدة أنواع كما ذكرت سابقا.

لايوجد إجابة دقيقة لسؤالك وهو يحتاج لمختصين للإجابة عليه (مختصي التنقيب عن البيانات) و (خبراء نمذجة و تحليل البيانات)

و عملية اختيار نمط التدريب و الإختبار تتبع للحالة الخاصة التي لديك.

مصادر قرأتها يمكنك الاستفادة منها:

1- https://www.researchgate.net/post/What_is_the_purpose_of_performing_cross-validation

2- https://stats.stackexchange.com/questions/104713/hold-out-validation-vs-cross-validation/104750#104750

3- https://stats.stackexchange.com/questions/104713/hold-out-validation-vs-cross-validation

4- https://stats.stackexchange.com/questions/320154/when-not-to-use-cross-validation?fbclid=IwAR3qJQ8GDaRYka9g90MTSk0XCS5OoNQ8yXlLEaHEBlGTWAMrkhMNnXK81kI