استخدام نموذج Word2Vec لقياس التشابه بين الكلمات باستخدام NLTK في بايثون

في الواقع هذا النموذج معرّف ضمن gensim لذا ستحتاجها، جمباً إلى جمب مع word_tokenize و sent_tokenize في nltk. المثال التالي سيوضح لك كيفية القيام بذلك:

# استيراد الوحدات اللازمة
from nltk.tokenize import sent_tokenize, word_tokenize
import gensim
# Word2Vec استيراد نموذج 
from gensim.models import Word2Vec
# الآن ينبغي عليك تحديد مسار المستند النصي الذي تريد تدريب النموذج عليه
text_data = open("d:\\data.txt", "r")
file = text_data.read()
# استبدال الأسطر الجديدة ب فراغ
f = file.replace("\n", " ")
# الإعلان عن قائمة فارغة لنضع بها البيانات المستخرجة من الملف النصي
data = []
# الآن سنقوم بالمرور على كل جملة في النص
for i in sent_tokenize(f):
    # الإعلان عن قائمة لوضع الكلمات المكونة للجملة ضمنها
    temp = []
    # تقسيم الجملة إلى كلمات
    for j in word_tokenize(i):
        # إضافتها
        temp.append(j.lower())
    # نضيف الجملة كعينة إلى البيانات
    data.append(temp)

# وتدريبه CBOW سنقوم الآن بتعريف نموذج 
model1 = gensim.models.Word2Vec(sentences=data, min_count = 1,vector_size = 100, window = 5)
# يمكنك حفظ النموذج لاستخدامه لاحقاً بالشكل التالي
# model.save("CBOW.model")
# Word2Vec.load("word2vec.model") لتحميله لاحقاً يمكنك استخدام 
# الآن يمكنك استخدامه لقياس التشابه بين أي كلمتين
# wonderland و  alice على سبيل المثال 
print("Cosine similarity between 'alice' " +
        "and 'wonderland' - CBOW : ",
model1.similarity('alice', 'wonderland'))
"""
Cosine similarity between 'alice' and 'wonderland' - CBOW :  0.90824929840
"""

وبشكل مشابه يمكنك استخدام نموذج SkipG:

# وتدريبه Skip Gram بنفس الطريقة سنقوم ببناء نموذج 
model2 = gensim.models.Word2Vec(data, min_count = 1, vector_size = 100,
                                        window = 5, sg = 1)