حذف ال Features ذات التباين القليل (أغلب قيمها مكررة) باستخدام الصف VarianceThreshold من Sklearn

هذا المنهج هو نهج من مناهج ال Feature Selection ويعمل على حذف ال Feature التي يكون تباينها أقل من عتبة محددة.حيث يزيل بشكل افتراضي كل ال Features التي يكون تباينها صفري (نفس القيم في كل العينات).
المثال التالي سيجعل الأمر واضح:
قمت بإنشاء مجموعة بيانات صغيرة وقمت بجعل ال feature الأولى منها ذات تباين قليل (أغلب قيمها أصفار)، ثم قمت بتطبيق عتبة threshold وقمت بتمريرها للكلاس VarianceThreshold بحيث أن شكل العتبة سأجعله من الشكل:

p(1-p)

في حالة وضعنا p=8 كما في مثالنا، فسيتم حذف ال Features التي تحوي قيم مكررة بنسبة أكبر أو تساوي 80%.
p=10 فسيتم حذف ال Features التي تحوي قيم مكررة بنسبة تساوي 100%.

from sklearn.feature_selection import VarianceThreshold
X = [[0, 0, 1],
     [0, 1, 0],
     [1, 0, 0],
     [0, 1, 1],
     [0, 1, 0],
     [0, 1, 1]]
print(X)
# هنا سنحذف الفيتشرز التي تتكرر قيمها بنسبة أكثر من ثمانون بالمئة
sel = VarianceThreshold(threshold=(.8 * (1 - .8)))
X=sel.fit_transform(X)
print(X)
'''
[[0 1]
 [1 0]
 [0 0]
 [1 1]
 [1 0]
 [1 1]]
'''

لاحظ كيف تم حذف أول feature.
مثال آخر:

from sklearn.feature_selection import VarianceThreshold
X = [[0, 0, 1,3],
     [0, 1, 0,3],
     [1, 0, 0,3],
     [0, 1, 1,3],
     [0, 1, 0,3],
     [0, 1, 1,3]]
print(X)
# هنا سنحذف الفيتشرز التي تتكرر قيمها بنسبة مئة بالمئة
sel = VarianceThreshold(threshold=(.10 * (1 - .10)))
X=sel.fit_transform(X)
print(X)
'''
[[0 0 1]
 [0 1 0]
 [1 0 0]
 [0 1 1]
 [0 1 0]
 [0 1 1]]
 '''