تقسيم النص إلى جمل باستخدام NLTK في بايثون

يمكنك استخدام الدالة sent_tokenize من NLTK لتقسيم النصوص إلى جمل، على سبيل المثال الجملة التالية:

INPUT:
"Life is like riding a bicycle. To keep your balance, you must keep moving."\
OUTPUT:
'Life is like riding a bicycle.'
'To keep your balance, you must keep moving.'

الحل:

# استيراد الوحدات 
import nltk
from nltk.tokenize import sent_tokenize
# تحديد النص
txt = "Life is like riding a bicycle. To keep your balance, you must keep moving."
# تقسيم النص إلى جمل 
sent = sent_tokenize(txt)
print(sent)
# ['Life is like riding a bicycle.', 'To keep your balance, you must keep moving.']

يمكنك كذلك استخدام tokenize لتقسيم الجمل بشكل تلقائي كالتالي:

#تحميل المكتبة
import nltk.data

#تحميل ملف النص
tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')
fp = open("test.txt")
data = fp.read()
#فصل الملف الى جمل
print ('\n-----\n'.join(tokenizer.tokenize(data)))