ما هي Optuna؟ وما هي أوجه الاختلاف الرئيسية بينها وبين كل من GridSearchCV و RandomizedSearchCV؟

تلك  مكتبة مفتوحة المصدر مُخصصة لتحسين المعلمات الفائقة Hyperparameter Tuning في نماذج التعلم الآلي، وتعتمد على خوارزميات تحسين متقدمة منها Bayesian Optimization وTree-structured Parzen Estimator (TPE) وخوارزميات التطور CMA-ES.

وذلك لتوجيه البحث نحو القيم المثلى للمعلمات بشكل فعال، خاصةً في المساحات عالية الأبعاد أو المعقدة.

الإختلاف يكمن في أنّ GridSearchCV أثناء البحث تفحص كل التركيبات الممكنة، وغير فعّالة مع كثرة المعلمات، ومن حيث التعقيد فهي بسيطة لكن محدودة مع دعم محدود كذلك للتوازي، ومتاحة في  Scikit-Learn، ومناسبة للمشاريع الصغيرة وفي حال تريد دقة مطلقة.

بينما RandomizedSearchCV تختار عيّنات عشوائية من التوزيعات، وأفضل من GridSearch، لكنها تعتمد على الحظ، وهي متوسط التعقيد مع دعم محدود للتوازي ومتاحة في Scikit-Learn أيضًا، مناسبة لو تريد حل وسط بين السرعة والدقة.

أما Optuna تستخدم تحسينًا تسلسليًا يتكيف مع النتائج السابقة، وهي الأكثر كفاءة، خاصةً مع النماذج المُكلفة، وتدعم مساحات معقدة كالتبعيات الشرطية بين المعلمات، وتدعم التوازي المُتقدم والتجارب الموزعة، لكن تتوفر من خلال مكتبة خارجية وتحتاج تكاملًا إضافيًا بالتالي تعقيد أكبر في الإعداد مقارنةً بما سبق وتحتاج استيعاب لخوارزميات التحسين، بالتالي مناسبة للمشاريع المعقدة وعندما تحتاج لكفاءة عالية.

تمام جدا

الف شكراا جدا لحضرتك

جزاك الله كل خير