كيف اقلل من هلوسة النموذج ؟

وعليكم السلام ورحمة الله وبركاته.
تقليل الـ Temperature وحده لا يكفي (كما لاحظت أنت) ولكن نحتاج لطرق أفضل وأكثر تأثيراً لتقليل الهلوسة مثل استخدام تقنية ال RAG فبدلاً من أن تطلب من النموذج أن يجيب من ذاكرته (التي قد تكون غير دقيقة)، تعطيه المعلومات الصحيحة .

أيضاً هندسة الأوامر  Prompt Engineering تمكنك من تقليل الهلوسة بشكل كبير

وعليكم السلام ورحمة الله تعالى وبركاته،

تقليل هلوسة النموذج لا يعتمد فقط على Temperature فهذا عامل صغير أما الطريقة الأكثر فعالية وبشكل مباشر هي إعطاء النموذج سياقا واضحا وتعليمات دقيقة ومصادر محددة فكلما كان سؤالك عاما أو مفتوحا زادت احتمالية الهلوسة لذلك يمكنك استخدام أسلوب Prompting منظم مثل:

• Role + Task + Constraints + Examples

هذه الأساليب تقلل الهلوسة أكثر بكثير من تغيير ال Temperature لأنها تجعل النموذج يركز على المعلومات الموجودة بدل أن يخترع تفاصيل من عنده.

وعليكم السلام ورحمة الله،

لتقليل الهلوسة بفعالية أنصحك باستخدام Retrieval-Augmented Generation (RAG) لتزويد النموذج بمصادر موثوقة ثم اكتب تعليمات واضحة ومحددة تطلب من النموذج الاعتماد على المعلومات المقدمة فقط والاعتراف بعدم المعرفة كما يمكنك التقليل من ال top_p إلى 0.1-0.3 بدلا من Temperature فقط.

وأيضا استخدم presence_penalty وfrequency_penalty لتقليل التكرار والمعلومات المختلقة.

وليس هذا فقط لانه توجد حلول أخرى كوضع قيود صريحة في البرومبت مثل "لا تخمن" أو "قل 'لا أعرف' إذا كنت غير متأكد"  وهذه الطرق مجتمعة أكثر فعالية من Temperature وحده.

بتاريخ On 25‏/11‏/2025 at 09:40 قال يزيد بن شيحه:

 كيف اقلل من هلوسة النموذج واضبط نتائجه بطرق سهله وواضحة، جربت اقلل Temperatureولكن لام يظهر لي اي تحسين يذكر 

استخدم تقنية "سلسلة التحقق" (Chain of Verification - CoVE)مع نظام RAG. صممت CoVE خصيصًا لمكافحة الهلوسة(Hallucination) في نماذج الذكاء الاصطناعي .

تعمل CoVE في أربع خطوات بسيطة:

الخطوة 1: توليد إجابة أولية (GENERATION OF AN INITIAL RESPONSE)

يبدأ النموذج بصياغة إجابة أولية بناءً على استعلام المستخدم.

في أنظمة RAG، يتم ذلك عن طريق استرداد المستندات ذات الصلة من قاعدة بيانات (مثل Vector Database) واستخدامها كأساس للإجابة.

الخطوة 2: صياغة أسئلة التحقق (Formulation of Verification Questions)

 بناءً على الاجابة الأولية التي تم إنشاؤها، يقوم النموذج بابتكار أسئلة محددة.

الهدف من الأسئلة:

اختبار الدقة: التحقق من صحة الحقائق والبيانات المذكورة.

اختبار العمق: تحديد ما إذا كانت هناك جوانب في الإجابة يمكن تحسينها أو تحتاج إلى تفاصيل إضافية.

حيث يقرر النموذج ما الذي يحتاج إلى فحص وتدقيق.

الخطوة 3: استرداد معلومات إضافية (Retrieval of Additional Information)

 يستخدم النموذج آلية الاسترداد (Retrieval) مرة أخرى، ولكن هذه المرة ليس للإجابة على سؤال المستخدم الأصلي، بل للإجابة على أسئلة التحقق التي صاغها بنفسه.

 لكل سؤال تحقق، يبحث النموذج في قاعدة البيانات عن المستندات التي تحتوي على الإجابة الدقيقة.

الأهمية: إذا لم يجد النموذج دليلاً يدعم معلومة ما في إجابته الأولية، فهذا يدحض تلك المعلومة ويثبت أنها كانت خاطئة. هذه هي لحظة اكتشاف الخطأ.

الخطوة 4: مراجعة الاستجابة الأولية (Revision of the Initial Response)

 بناءً على الأدلة الداعمة أو المتناقضة التي تم العثور عليها في الخطوة 3، يقوم النموذج بتعديل إجابته.

و يكون لديه سيناريوهان:

إذا كانت المعلومات دقيقة: قد يقوم النموذج بإضافة تفاصيل أو توضيحات لجعل الإجابة أكثر ثراءً وموثوقية.

إذا كانت المعلومات خاطئة: يقوم النموذج بتصحيح الخطأ أو حذفه تمامًا.

النتيجة النهائية: يتم إرسال الإجابة النهائية المُنقحة والمُحسَّنة إلى المستخدم.

 

مثال: السؤال أو الاستعلام : "من هو مؤسس شركة آبل؟"

الإجابة الأولية: "ستيف جوبز".

صحيح جزئيًا... لكن هل هو المؤسس الوحيد؟

 الخطوة 2: صياغة أسئلة التحقق — "اسأل : هل هذا دقيق؟"

بعد كتابة الإجابة، لا يتوقف النموذج، بل يطرح على نفسه أسئلة صغيرة ومحددة لتقييم دقة ما كتبه مثل:

"هل كان ستيف جوبز فقط مؤسس آبل؟"
"هل كان هناك شركاء؟"
"متى وأين تأسست الشركة؟"

هذه الأسئلة ليست عامة، بل موجهة لاختبار نقاط ضعف في الإجابة.

الخطوة 3: استرجاع معلومات جديدة : "ابحث عن إجابات لهذه الأسئلة"

النموذج يعيد استخدام قاعدة البيانات (أو الإنترنت أو المستندات المرتبطة به) للبحث عن إجابات دقيقة لكل سؤال تحقق.

إذا وجد أدلة تدعم الإجابة → يؤكد صحتها.

إذا وجد أدلة تناقضها → يُعدّل الإجابة أو يحذف الجزء الخاطئ.
بعد البحث:

"آبل تأسست عام 1976 بواسطة ستيف جوبز، ستيف Возنياك، ورونالد واين."

→ إذًا، الإجابة الأولى غير كاملة!

الخطوة 4: المراجعة : "عدّل الإجابة وقدم النسخة الصحيحة"

النموذج يدمج كل ما تعلمه من خطوات التحقق ويُعدّل الإجابة الأولية.

يضيف تفاصيل، يحذف أخطاء، ويُقدّم إجابة نهائية أكثر دقة، شاملة، وموثوقة.

 الإجابة النهائية:

"تأسست شركة آبل عام 1976 بواسطة ثلاثة أشخاص: ستيف جوبز، ستيف Возنياك، ورونالد واين. رغم أن جوبز هو الأكثر شهرة، إلا أنه لم يكن المؤسس الوحيد."

 

فكأنك تجيب على جميع أسئلة الامتحان، ثم تعود وتراجع كل إجاباتك للتأكد من أنك أجبت عليها بشكل صحيح قبل تسليم ورقتك. 

هذه بالضبط تقنية COVE ، تجعل الذكاء الاصطناعي يُراجع نفسه، ويصحح أخطاءه، ويُنتج إجابة أدق وأكثر موثوقية.

 

يمكن توجيه النموذج لتنفيذ هذه العملية من خلال أمر (Prompt) يشبه هذا:

"بالنظر إلى سؤال المستخدم حول [موضوع محدد]، قم بإنشاء استجابة أولية بناءً على المستندات المستردة. بعد ذلك، قم بصياغة أسئلة تحقق للتحقق من دقة الاستجابة. أحضر معلومات إضافية للإجابة على هذه الأسئلة. في النهاية، قم بمراجعة الاستجابة الأولية بناءً على هذا التحقق لضمان الدقة والعمق. قدم الإجابة المراجعة للمستخدم.

مثال اخر:

السؤال:

هل كان كريستوفر كولومبوس أول من وصل إلى أمريكا؟

الخطوة 1: توليد إجابة أولية (استرجاع عام واسع)

يُعتقد عمومًا أن كريستوفر كولومبوس كان أول أوروبي يصل إلى الأمريكيتين عام 1492، مما فتح الباب أمام الاستكشاف والاستعمار الأوروبي للقارة.
قاد رحلته بإيعاز من ملكي إسبانيا، وهبط في جزر الكاريبي، معتقدًا أنه وصل إلى جزر الهند الشرقية.

هذه إجابة  مبسطة وقد تكون مضللة جزئيًا.

الخطوة 2: صياغة أسئلة التحقق (نُحدد نقاط الضعف ونطرح أسئلة دقيقة)

بناءً على الإجابة، نطرح الأسئلة التالية:

• هل كان كولومبوس أول إنسان يصل إلى أمريكا؟
• هل كان أول أوروبي يصل إلى أمريكا؟
• متى وصل شعب آخر (مثل الفايكينغ) إلى أمريكا؟
• هل وصل السكان الأصليون من آسيا قبله؟
• أين هبط كولومبوس بالضبط — وهل كان ذلك "أول اتصال" بين أوروبا والأمريكتين؟

الخطوة 3: استرجاع معلومات إضافية (البحث الدقيق لكل سؤال على حدة)

نُجري استرجاعًا موجّهًا لكل سؤال:

هل كان أول إنسان؟
 لا. السكان الأصليون (الهنود الحمر) وصلوا إلى الأمريكتين عبر جسر بيرينغ البري من آسيا منذ 15,000–20,000 سنة قبل الميلاد.

هل كان أول أوروبي؟
 لا. الفايكينغ بقيادة ليف إريكْسون وصلوا إلى نيوفاوندلاند (كندا) نحو سنة 1000 م — أي قبل كولومبوس بـ500 عام.

هل هناك أدلة مادية؟

 نعم! تم اكتشاف موقع لينس أوكس ميدوز (L’Anse aux Meadows) في كندا عام 1960، وهو مستوطنة فايكينغ أُثبِت أنها تعود إلى 1000 م تقريبًا.

هل عرف الأوروبيون عن رحلات الفايكينغ؟
 لا، لأن هذه المعلومات ظلت محلية ولم تُسجّل في الخرائط الأوروبية الرئيسية، فكولومبوس لم يكن على علم بها.

هل رحلة كولومبوس لها أهمية تاريخية؟
 نعم، لأنها بدأت التبادل بين العالم القديم والجديد (كولومبيان إكستشينج) وفتحت باب الاستعمار الأوروبي على مصراعيه وهو ما لم يفعله الفايكينغ.

الخطوة 4: مراجعة الإجابة الأولية

كولومبوس لم يكن أول من وصل إلى أمريكا.

السكان الأصليون سكنوا الأمريكتين منذ آلاف السنين قبله.

الفايكينغ — بقيادة ليف إريكسون  وصلوا إلى كندا نحو عام 1000 م، أي قبل كولومبوس بخمسة قرون، كما يُثبت ذلك موقع لينس أوكس ميدوز الأثري.

ومع ذلك، فإن رحلة كولومبوس عام 1492 كانت ذات تأثير تاريخي هائل، لأنها أطلقت عصرًا جديدًا من الاستكشاف الأوروبي، الاستعمار، والتفاعل المستمر بين أوروبا والأمريكتين — وهو ما جعله المكتشف من منظور الغرب، رغم أنه لم يكن الأول فعليًا.

ما الذي يُظهره هذا المثال عن COVE؟

الإجابة الأولية كانت صحيحة جزئيًا لكنها حذفت سياقًا تاريخيًا مهمًا.

عبر طرح أسئلة تحقق دقيقة، كشفنا:

أخطاء مطلقة ("أول من وصل").

تحيّز ثقافي خفي (إهمال شعوب غير أوروبية).

حقائق علمية وأثرية تغيّر الفهم.

الإجابة النهائية أصبحت أكثر دقة، عدالة، وثباتًا على الأدلة.

 

تقنية CoVE تهدف إلى منع نوعين رئيسيين من الهلوسة:

1. هلوسة الحقائق البسيطة (Factual Hallucination)

حيث يخطئ النموذج في تفاصيل واقعية يمكن التحقق منها بسهولة فآلية التحقق في CoVE فعالة جدًا في اكتشاف وتصحيح هذه الأخطاء.

أمثلة:

معلومات شخصية خاطئة:

هلوسة: "هيلاري كلينتون ولدت في نيويورك."

سؤال التحقق: "أين ولدت هيلاري كلينتون؟"

التصحيح: ولدت في شيكاغو.

تواريخ وأرقام غير صحيحة:

هلوسة: "حدثت معركة حطين عام 1188."

سؤال التحقق: "في أي عام وقعت معركة حطين؟"

التصحيح: وقعت عام 1187.

خلط المفاهيم:

هلوسة: "ألبرت أينشتاين هو من اكتشف البنسلين."

سؤال التحقق: "من هو مكتشف البنسلين؟"

التصحيح: ألكسندر فلمنج.

كيف تمنعها CoVE؟ من خلال توليد أسئلة تحقق مباشرة ("أين ولد...؟"، "متى حدث...؟"، "من فعل...؟")، تجبر التقنية النموذج على البحث عن إجابة دقيقة ومحددة لهذه التفاصيل، مما يكشف الخطأ بسهولة.

2. هلوسة السياق أو "التلفيق" (Contextual Hallucination)

هذا النوع أكثر تعقيدًا، حيث لا تكون المعلومة خاطئة بالكامل، ولكن النموذج يضيف تفاصيل أو سياقات غير موجودة لجعل القصة تبدو أكثر ثراءً أو اكتمالاً. قد يربط بين حقيقتين لا علاقة لهما ببعضهما.

أمثلة:

إضافة تفاصيل غير مثبتة:

هلوسة: "عندما وقع إسحاق نيوتن قانون الجاذبية، كان يأكل تفاحة حمراء لامعة سقطت من شجرة بجوار نافذة مكتبه." (الحقيقة هي قصة التفاحة نفسها مجرد حكاية شائعة، والتفاصيل الإضافية من اختراع النموذج).

سؤال التحقق: "هل هناك مصدر موثوق يصف تفاصيل التفاحة التي ألهمت نيوتن؟"

التصحيح: لا يوجد دليل تاريخي موثوق يدعم هذه التفاصيل.

ربط أحداث لا علاقة لها ببعض:

هلوسة: "تأثر ليوناردو دافنشي في رسم الموناليزا بالاضطرابات السياسية في فلورنسا، مما جعل ابتسامتها غامضة لتعكس حالة عدم اليقين في ذلك الوقت." (هذا تحليل ملفق يربط بين حدثين دون دليل).

سؤال التحقق: "ما هي الأدلة التي تربط بين الاضطرابات السياسية في فلورنسا وابتسامة الموناليزا؟"

التصحيح: هذا مجرد تفسير نظري وليس حقيقة تاريخية مثبتة.

كيف تمنعها CoVE؟ أسئلة التحقق هنا تكون أكثر عمقًا ("ما هو الدليل على...؟"، "هل يوجد مصدر يدعم هذا الادعاء؟"). هذا يجبر النموذج على البحث عن علاقات سببية وأدلة داعمة، وعندما لا يجدها، يدرك أن التفاصيل التي أضافها كانت مجرد "تلفيق" ويقوم بإزالتها أو تعديلها.

الخلاصة: تعمل "سلسلة التحقق" كشبكة أمان من مستويين:

المستوى الأول: تصطاد الأخطاء الواقعية الواضحة.

المستوى الثاني: تكشف التفاصيل المُختلقة والروابط الوهمية التي يضيفها النموذج لتبدو إجابته أكثر إقناعًا.

بهذه الطريقة، تزيد CoVE من موثوقية النموذج بشكل كبير وتجعله مصدرًا أكثر أمانًا للمعلومات.