يزيد بن شيحه نشر الجمعة في 14:33 أرسل تقرير نشر الجمعة في 14:33 السلام عليكم عملت مشروع LLM من خلال تنزيل مودل llama 3.1 على قوقل كولاب برو والمعالج هو A100 GPU ولكن في كل مرة تواجهني مشكلة CUDA out of memory ولم استطع حلها وبحثت على الانترنت ولكن لا فائدة جميع الحلول لم تفي بالغرض طبعا مشروعي هو اعطاء النموذج لوائح وتعليمات في RAG وبعدها يجيب على سؤال العميل بناء على البيانات التي في RAG 2 اقتباس
0 Mustafa Suleiman نشر الجمعة في 14:45 أرسل تقرير نشر الجمعة في 14:45 اضغط على runtime بالأعلى ثم اختر change runtime واختر TPU والتي توفر لك مساحة ذاكرة كبيرة مقارنًة بالـ GPU، ثم أعد تشغيل الكود من البداية. اقتباس
0 محمد_عاطف نشر الجمعة في 14:54 أرسل تقرير نشر الجمعة في 14:54 وعليكم السلام ورحمة الله وبركاته. في جزء ال runtime يرجى إستخدام أولا T4 GPU وإذا ظلت المشكلة يمكنك تجربة إستخدام ال TPU ومن ثم إعادة تشغيل الكود اقتباس
السؤال
يزيد بن شيحه
السلام عليكم
عملت مشروع LLM من خلال تنزيل مودل llama 3.1 على قوقل كولاب برو والمعالج هو A100 GPU
ولكن في كل مرة تواجهني مشكلة CUDA out of memory ولم استطع حلها وبحثت على الانترنت ولكن لا فائدة جميع الحلول لم تفي بالغرض
طبعا مشروعي هو اعطاء النموذج لوائح وتعليمات في RAG وبعدها يجيب على سؤال العميل بناء على البيانات التي في RAG
2 أجوبة على هذا السؤال
Recommended Posts
انضم إلى النقاش
يمكنك أن تنشر الآن وتسجل لاحقًا. إذا كان لديك حساب، فسجل الدخول الآن لتنشر باسم حسابك.