اخترت GPU P100 في إعدادات Kaggle، لكن الـ CPU يعمل بكامل طاقته أثناء التدريب كيف هذا ممكن؟

وعليكم السلام ورحمة الله،

هذا سلوك طبيعي ففي بعض الأحيان عند اختيار GPU مثل P100 سيتم استخدامه لحسابات التدريب الأساسية للنموذج، لكن الكثير من العمليات مثل تحميل البيانات، التحويلات، وتحضيرات أخرى تظل تعمل على ال CPU.

لذلك من الممكن جدا أن يظهر استهلاك ال CPU مرتفعا باللون الأحمر حتى وإن كنت تستخدم GPU للتدريب.

لكن يجب التأكد من أن الكود الخاص بك يقوم بنقل النموذج والبيانات إلى ال GPU باستخدام .to('cuda') في PyTorch كالتالي:

import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model = MyModel().to(device)

الأمر يعتمد على ما تقوم به، kaggle توفر استخدام مجاني للمعالجات الرسومية وهي  NVIDIA TESLA P100 وأيضًا T4  و TPU V3-8 بشكل مجاني لمدة 30 ساعة أسبوعيًا.

المكتبات مثل pandas  و scikit-learn لا تستخدم المعالجات الرسومية وتستخدم الـ CPU فقط، أيضًا أمور أخرى مثل تحميل المكتبات وخلافه.

أما مكتبات مثل TensorFlow وPyTorch فتستخدم المعالج الرسومي GPU وستجد أنه  يتم استخدام المعالج الرسومي عند تنفيذ كود من خلال تلك المكتبات لزيادة سرعة المعالجة في حال قمت بتفعيل ميزة Accelerator في Kaggle.

وعليكم السلام ورحمة الله وبركاته.

هذا يعتمد على الأكواد التي تقوم بتنفيذها . حيث المكتبات والأكواد التي تحتاج إلى التنفيذ على المعالجات الرسومية سيتم تلقائيا تشغيلها على المعالجات الرسومية التي قمت بتحديدها . 

أما إذا كانت الأكواد بسيطه أو تستخدم مكتبات لا تحتاج إلى lمعالجات رسومية او لا تدعم توزيع العمليات بشكل صحيح على ال GPU فهنا سيتم إستخدام ال CPU .

لذلك هل يمكنك توضيح ما هي المكتبات التي تعمل عليها ؟ فلو كنت تعمل على مكتبة وPyTorch أو TensorFlow ولم يتم إستخدام ال GPU فيبدوا أنه هناك مشكلة لديك في إعدادات البيئة الخاصة بك .

أما إذا كنت تسخدم مكتبات أخرى أو أكواد بسيطة لا تحتاج إلى معالجات رسومية فهنا لا مشكلة في ذلك.

انا بستخدم XGBClassifier

بتاريخ 37 دقائق مضت قال Ali Ahmed55:

انا بستخدم XGBClassifier

إن XGBoost يعتمد بشكل أساسي على الـ CPU للتدريب حتى إذا تم تفعيل ال GPU.

حيث بالرغم من أن XGBoost يدعم التشغيل على الـ GPU بداية من الإصدار 1.0 إلا أن الكثير من العمليات مثل تحميل البيانات و فرزها  وإنشاء الهياكل الداخلية تتم على ال CPU.

ويرجى التأكد من أن XGBoost يستخدم الـ GPU بشكل صحيح حيث يجب عليك تعيين المعامل  tree_method إلى gpu_hist أو gpu_exact. هكذا :

from xgboost import XGBClassifier

model = XGBClassifier(
    tree_method='gpu_hist',  # استخدام ال GPU
    gpu_id=0,               # تحديد ال GPU إذا كان هناك أكثر من واحد
    predictor='gpu_predictor'  # استخدام ال GPU للتنبؤ 
)

حيث أن  tree_method='gpu_hist' يستخدم خوارزمية تعتمد على ال GPU لبناء الأشجار. و predictor='gpu_predictor': يستخدم ال GPU لعملية التنبؤ.

ويمكنك قراءة الشرح التالي لمزيد من التفاصيل حول إستخدام XGBoost  على الkaggle وعلى ال GPU :

• https://www.kaggle.com/discussions/general/236940
• https://www.kaggle.com/code/vinhnguyen/accelerating-xgboost-with-gpu

بتاريخ 16 دقائق مضت قال محمد عاطف17:

 

إن XGBoost يعتمد بشكل أساسي على الـ CPU للتدريب حتى إذا تم تفعيل ال GPU.

حيث بالرغم من أن XGBoost يدعم التشغيل على الـ GPU بداية من الإصدار 1.0 إلا أن الكثير من العمليات مثل تحميل البيانات و فرزها  وإنشاء الهياكل الداخلية تتم على ال CPU.

ويرجى التأكد من أن XGBoost يستخدم الـ GPU بشكل صحيح حيث يجب عليك تعيين المعامل  tree_method إلى gpu_hist أو gpu_exact. هكذا :

from xgboost import XGBClassifier

model = XGBClassifier(
    tree_method='gpu_hist',  # استخدام ال GPU
    gpu_id=0,               # تحديد ال GPU إذا كان هناك أكثر من واحد
    predictor='gpu_predictor'  # استخدام ال GPU للتنبؤ 
)

حيث أن  tree_method='gpu_hist' يستخدم خوارزمية تعتمد على ال GPU لبناء الأشجار. و predictor='gpu_predictor': يستخدم ال GPU لعملية التنبؤ.

ويمكنك قراءة الشرح التالي لمزيد من التفاصيل حول إستخدام XGBoost  على الkaggle وعلى ال GPU :

• https://www.kaggle.com/discussions/general/236940
• https://www.kaggle.com/code/vinhnguyen/accelerating-xgboost-with-gpu

اه الGPU بقا بالون الحمر وكمان الCPU

كده شغل صح ؟

بتاريخ الآن قال Ali Ahmed55:

اه الGPU بقا بالون الحمر وكمان الCPU

كده شغل صح ؟

نعم من المفترض أنه يتم إستخدام ال gpu هكذا صحيح.

تمام جدا

الف شكراا جدا لحضرتكم 

جزاكم الله كل خير

بتاريخ 22 دقائق مضت قال محمد عاطف17:

 

إن XGBoost يعتمد بشكل أساسي على الـ CPU للتدريب حتى إذا تم تفعيل ال GPU.

حيث بالرغم من أن XGBoost يدعم التشغيل على الـ GPU بداية من الإصدار 1.0 إلا أن الكثير من العمليات مثل تحميل البيانات و فرزها  وإنشاء الهياكل الداخلية تتم على ال CPU.

ويرجى التأكد من أن XGBoost يستخدم الـ GPU بشكل صحيح حيث يجب عليك تعيين المعامل  tree_method إلى gpu_hist أو gpu_exact. هكذا :

from xgboost import XGBClassifier

model = XGBClassifier(
    tree_method='gpu_hist',  # استخدام ال GPU
    gpu_id=0,               # تحديد ال GPU إذا كان هناك أكثر من واحد
    predictor='gpu_predictor'  # استخدام ال GPU للتنبؤ 
)

حيث أن  tree_method='gpu_hist' يستخدم خوارزمية تعتمد على ال GPU لبناء الأشجار. و predictor='gpu_predictor': يستخدم ال GPU لعملية التنبؤ.

ويمكنك قراءة الشرح التالي لمزيد من التفاصيل حول إستخدام XGBoost  على الkaggle وعلى ال GPU :

• https://www.kaggle.com/discussions/general/236940
• https://www.kaggle.com/code/vinhnguyen/accelerating-xgboost-with-gpu

طيب ا.محمد  هل يوجد فرق مابين الgpu_hist و  gpu _exact ؟