ماهي XGboost؟

بالنسبة ل XGBoost هي اختصارا لـ "Extreme Gradient Boosting" وهي مكتبة مفتوحة المصدر تستخدم في التعلم الآلي لتحسين أداء النماذج التنبؤية، و تعتمد على تقنية تحسين التدرج لبناء نماذج تعتمد على تجميع الأشجار بشكل متسلسل، حيث تحاول كل شجرة جديدة تقليل الأخطاء التي وقعت فيها الأشجار السابقة، حيث يتم ذلك من خلال حساب التدرج لتحديد الأخطاء التي يجب تصحيحها، وبالتالي يتم تحسين النموذج بشكل تدريجي، و تعتبر XGBoost واحدة من أفضل التقنيات في المسابقات العالمية للتعلم الآلي مثل Kaggle نظرا لسرعتها العالية وكفاءتها في التعامل مع البيانات الكبيرة والمعقدة.

لاستخدام XGBoost، يمكن تثبيتها عبر مكتبة Python باستخدام الأمر

pip install xgboost

بعدها يمكن استخدامها مع مكتبات مثل Scikit-learn لتدريب النموذج من خلال استدعاء واجهة مشابهة مثل XGBClassifier أو XGBRegressor، وضبط المعلمات مثل معدل التعلم وعدد الأشجار للحصول على أفضل أداء.

XGBoost أو  (Extreme Gradient Boosting) هو مكتبة مفتوحة المصدر تستخدم لتطبيق أسلوب تعزيز التدرج (Gradient Boosting)  ويستخدم بشكل رئيسي في تحليل البيانات الهيكلية والمنافسات في تعلم الآلة أما طريقة عمله فهي كالآتي بالنسبة لمفهوم التعزيز أي أنه يجمع بين عدة متعلمين ضعفاء (عادة أشجار قرار) لتكوين نموذج قوي وأيضا:

• Gradient Descent يستخدم للتقليل من الخسائر أي التقليل من دالة الخسارة.
• و Regularization ويتضمن تنظيم L1 وL2 لتجنب الإفراط في التكيف.
• التعامل مع القيم المفقودة: يمكنه التعامل مع القيم المفقودة بشكل طبيعي.
• Parallelization أو التوازي بحيث يستفيد من تعدد الأنوية في وحدة المعالجة المركزية لزيادة سرعة التدريب.

بالنسبة للتثبيت:

pip install xgboost

استيراد المكتبات:

import xgboost as xgb
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

تحميل البيانات:

data = pd.read_csv('your_dataset.csv')
X = data.drop('target', axis=1)
y = data['target']

تقسيم البيانات:

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

إنشاء DMatrix:

dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

تحديد المعلمات:

params = {
    'objective': 'binary:logistic',
    'max_depth': 3,
    'eta': 0.1,
    'eval_metric': 'logloss'
}

تدريب النموذج:

bst = xgb.train(params, dtrain, num_boost_round=100)

إجراء التنبؤات:

preds = bst.predict(dtest)
predictions = [1 if pred > 0.5 else 0 for pred in preds]

تقييم النموذج:

accuracy = accuracy_score(y_test, predictions)
print(f'Accuracy: {accuracy:.2f}')

XGBoost هو اختصار لـ Extreme Gradient Boosting، وهو خوارزمية متقدمة في تعلم الآلة تُستخدم لإنشاء نماذج قوية تعتمد على تقنية تعزيز التدرج (Gradient Boosting) والفكرة الأساسية هنا هي بناء سلسلة من الأشجار (Decision Trees) بحيث تعمل كل شجرة جديدة على تصحيح أخطاء التنبؤ التي وقعت فيها الأشجار السابقة ويتم تدريب هذه الأشجار واحدة تلو الأخرى، مع التركيز على تحسين النتائج تدريجيا.

الخوارزمية تعتمد على تقليل الخطأ (Loss Function) باستخدام التدرج (Gradient)، مما يعني أنها تحاول بشكل مستمر تحسين دقة التنبؤ عن طريق تحسين المناطق التي تكون فيها النماذج السابقة ضعيفة كما أنها تضيف ميزات مثل التنظيم (Regularization) لتجنب الإفراط في التعلم (Overfitting) وتدعم العمل على البيانات الكبيرة بكفاءة وسرعة لأنها تستخدم ميزات مثل التوازي (Parallelization).

 يمكنك مراجعة المزيد من هنا: