استخراج كل الأسماء nouns من ملف نصي باستخدام NLTK في بايثون

إياد أحمد · 16 ديسمبر 2021

أريد طريقة فعالة (ذات تعقيد زمني مقبول) لاستخراج الأسماء Nouns من ملف نصي؟
لقد كتبت الكود التالي لكنه كما تلاحظون يستخدم الحلقات المتداخلة:

import nltk
text = open(path).read()
all_nouns = []
for sentence in nltk.sent_tokenize(text):
     for w,post in nltk.pos_tag(nltk.word_tokenize(str(sentence))):
         if (post == 'NNPS' || pos == 'NNS' || post == 'NNP' || post == 'NN'):
             all_nouns.append(w)

Ali Haidar Ahmad · 16 ديسمبر 2021

يمكنك القيام بذلك بالشكل التالي، وبتعقيد خطي O(n) كما يلي:

import nltk
text = '''Natural language processing (NLP) is a field of computer science, artificial intelligence, and computational linguistics concerned with the inter
actions between computers and human (natural) languages..'''
# تابع لاختبار فيما إذا كانت كلمة ما هي اسم
is_noun = lambda pos: pos[:2] in ['NN','NNP','NNS','NNPS']
# تقسيم النص إلى كلمات
tokenized = nltk.word_tokenize(text)
# استخراج الأسماء
# سنستخدم حلقة واحدة فقط
nouns = [word for (word, pos) in nltk.pos_tag(tokenized) if is_noun(pos)] 
print (nouns)

كما تجد الملاحظة إلى أن استخدام دوال مثل append و insert يعتبر خيار أبطأ، لذا من الأفضل تجنبها.

استخراج كل الأسماء nouns من ملف نصي باستخدام NLTK في بايثون

السؤال

إياد أحمد

1 جواب على هذا السؤال

Recommended Posts

Ali Haidar Ahmad

انضم إلى النقاش

إعلانات

تابعنا على

الرئيسية

تابعنا

دروس ومقالات

أسئلة وأجوبة

كتب

دورات

بطاقات هدية