Yasmeen Almutaani نشر 9 ديسمبر أرسل تقرير نشر 9 ديسمبر السلام عليكم ورحمة الله وبركاته إن كان لدي عدد كبير من البيانات ما يقارب 1000 وأود تدريب GPT عليه، لمهمة التلخيص وتصنيفه حسب تصنيف معين في ال Dataset كما انني اريد من النظام الرد على المستخدم بناءً على التصنيف فما هي الخطة المناسبة والآلية التي اتبعها للتدريب بشكل صحيح وبدون إهدار للموارد وإن امكن توضيح الية التدريب من ملف CVS 2 اقتباس
0 عبد الوهاب بومعراف نشر 9 ديسمبر أرسل تقرير نشر 9 ديسمبر قم بإعداد بياناتك في ملف CSV يحتوي على النصوص، التلخيصات، والتصنيفات، ثم قسمها إلى مجموعات تدريب واختبار، و استخدم Fine-Tuning لتخصيص نموذج GPT-3.5 أو GPT-4 عبر OpenAI API أو مكتبة Hugging Face، مع OpenAI حول البيانات إلى تنسيق JSONL وابدأ التدريب باستخدام واجهة CLI، أما مع Hugging Face قم بتحميل نموذج مسبق التدريب مثل GPT-2، وجهز بياناتك باستخدام مكتبة datasets، ثم استخدم Trainer لتدريب النموذج محليا، و بعد التدريب استخدم النموذج للرد على المستخدم وفقا للتصنيفات، وأيضا لتوفير الموارد اختر نماذج أصغر أو قلل حجم البيانات أثناء التدريب، وقيم أداء النموذج باستخدام مجموعة اختبار لتحسين النتائج. اقتباس
0 ياسر مسكين نشر 9 ديسمبر أرسل تقرير نشر 9 ديسمبر لتدريب نموذج GPT على بيانات التلخيص والتصنيف بكفاءة ودون إهدار للموارد، يمكنك استخدام استراتيجية التخصيص (Fine-Tuning) لنموذج جاهز مثل GPT-2 أو GPT-3.5 بداية يمكنك البدء بإعداد بياناتك في ملف CSV بحيث يحتوي على النصوص، التصنيفات، والملخصات المطلوبة، مع تقسيم البيانات إلى 80% للتدريب، و20% للاختبار والتحقق ولكن تأكد من تنظيف البيانات بإزالة التكرار والأخطاء وبعد ذلك ستتمكن من استخدام أدوات مثل مكتبة Hugging Face لتخصيص النموذج على بياناتك لعدد محدود من الدورات التدريبية (Epochs) لتوفير الوقت وبعد إتمام التدريب يأتي الدور على اختبار النموذج للتأكد من دقته ثم توظيفه في النظام ليقوم بتلخيص النصوص والرد على المستخدمين وفقا للتصنيفات المحددة. اقتباس
0 Yasmeen Almutaani نشر 11 ديسمبر الكاتب أرسل تقرير نشر 11 ديسمبر بتاريخ On 9/12/2024 at 11:40 قال عبد الوهاب بومعراف: قم بإعداد بياناتك في ملف CSV يحتوي على النصوص، التلخيصات، والتصنيفات، ثم قسمها إلى مجموعات تدريب واختبار، و استخدم Fine-Tuning لتخصيص نموذج GPT-3.5 أو GPT-4 عبر OpenAI API أو مكتبة Hugging Face، مع OpenAI حول البيانات إلى تنسيق JSONL وابدأ التدريب باستخدام واجهة CLI، أما مع Hugging Face قم بتحميل نموذج مسبق التدريب مثل GPT-2، وجهز بياناتك باستخدام مكتبة datasets، ثم استخدم Trainer لتدريب النموذج محليا، و بعد التدريب استخدم النموذج للرد على المستخدم وفقا للتصنيفات، وأيضا لتوفير الموارد اختر نماذج أصغر أو قلل حجم البيانات أثناء التدريب، وقيم أداء النموذج باستخدام مجموعة اختبار لتحسين النتائج. حسنًا ولكن للتدريب على GPT يوجد خطط كثيرة ماهو الأنسب لما ذكرت من مقدار البيانات واللآلية التي وضحتها فقد تهت بين الخطط ولم استوعب معناها إن امكن توضيح خطط الاشتراك لي والانسب منها لهذه المهام اقتباس
السؤال
Yasmeen Almutaani
السلام عليكم ورحمة الله وبركاته
إن كان لدي عدد كبير من البيانات ما يقارب 1000
وأود تدريب GPT عليه، لمهمة التلخيص وتصنيفه حسب تصنيف معين في ال Dataset
كما انني اريد من النظام الرد على المستخدم بناءً على التصنيف
فما هي الخطة المناسبة
والآلية التي اتبعها للتدريب بشكل صحيح وبدون إهدار للموارد
وإن امكن توضيح الية التدريب من ملف CVS
3 أجوبة على هذا السؤال
Recommended Posts
انضم إلى النقاش
يمكنك أن تنشر الآن وتسجل لاحقًا. إذا كان لديك حساب، فسجل الدخول الآن لتنشر باسم حسابك.