السلام عليكم
عملت مشروع LLM من خلال تنزيل مودل llama 3.1 على قوقل كولاب برو والمعالج هو A100 GPU
ولكن في كل مرة تواجهني مشكلة CUDA out of memory ولم استطع حلها وبحثت على الانترنت ولكن لا فائدة جميع الحلول لم تفي بالغرض
طبعا مشروعي هو اعطاء النموذج لوائح وتعليمات في RAG وبعدها يجيب على سؤال العميل بناء على البيانات التي في RAG