• 0

كيف احسب التشابه الدلالي للجمل في بايثون

السلام عليكم 

احتاج لحساب التشابه الدلالي semantic similarity  بين نصين في لغة بايثون 

كيف استطيع استخراج الافعال من الجملة وقياس التشابة مع افعال الجملة الثانية وكذلك للاسماء والصفات وغيرها من اقسام الجمل 

على سبيل المثال تنفيذ المعادلة في كود بلغة بايثون 

similarity= sim verb+sim noun 

ارجو المساعدة 

انشر على الشّبكات الاجتماعية


رابط هذه المساهمة
  • 0

يتم تنفيذ أغلب الأعمال القائمة علي تحليل النصوص في البرمجة بكتابة أكواد برمجية تحتوي على الخطوات المنطقية و بمساعدة تقنيات مثل RegEx او Regular expression يمكن الوصول إلي نتائج جيده جداً و ذلك يعتمد و بشكر كبير قوة شفرتك البرمجية.

تمّ تعديل بواسطة zonasabri

انشر على الشّبكات الاجتماعية


رابط هذه المساهمة
  • 0

تتو فر العديد من المكتبات في بايثون للعمليات المختلفة التي من الممكن القيام بها ضمن مجال معالجة اللغات الطبيعية ومعالجة النصوص.

يوجد مكتبتين مهمتين: 

  • مجموعة أدوات اللغات الطبيعية (Natural Language Toolkit (NLTK:
    • وهي مكتبة مجانية مفتوحة المصدر، تتضمن المهام الأساسية في معالجة اللغات الطبيعية والنصوص من الحصول على الوحدات اللغوية (Tokenization) إلى التجذيع (stemming) وصولاً التنبؤ بأقسام الكلام (Part of Speech tagging) و الاستنتاج الدلالي (semantic reasoning) وغيرها العديد من المهام اللغوية.

ويمكن التثبيت بهذا الأمر:

pip install --user -U nltk

* ولكن تطلب المكتبة توفر المكتبة العددية لبايثون numpy، لذا في حال عدم توفرها مسبقا على الجهاز يجب تثبيتها:

pip install --user -U numpy

يمكن الاطلاع على الموقع الرسمي للمكتبة حيث يتوافر توثيق جيد لها.

 

  • مكتبة جينسم Gensim:
    • وهي مكتبة مجانية مفتوحة المصدر كذلك، تتضمن توابع تساعد على تحديد التشابه الدلالي فيما بين النصوص، 

   ويمكن التثبيت بهذا الأمر :

pip install -U gensim

* هذه المكتبة كذلك تتطلب توافر المكتبة العددية لبايثون numpyويمكن الاطلاع على الموقع الرسمي للمكتبة و حيث يتوافر توثيق جيد لها.

انشر على الشّبكات الاجتماعية


رابط هذه المساهمة

يجب أن تكون عضوًا لدينا لتتمكّن من التعليق

انشاء حساب جديد

يستغرق التسجيل بضع ثوان فقط


سجّل حسابًا جديدًا

تسجيل الدخول

تملك حسابا مسجّلا بالفعل؟


سجّل دخولك الآن