قراءة الملفات الكبيرة عبر chunks في بايثون

يمكنك إستخدام هذا الكود

url="https://raw.githubusercontent.com/selva86/datasets/master/BostonHousing.csv" # رابط الملف
response = requests.get(url, stream = True)

text_file = open("data.txt","wb") # إنشاء الملف المحلي
for chunk in response.iter_content(chunk_size=1024):
    text_file.write(chunk) #كتابة جزء في الملف حتى إكمال الملف


text_file.close() # إغلاق الملف

يمكنك عمل ذلك من خلال استخدام yield كالتالي

def read_in_chunks(file_object, chunk_size=1024):
    
    while True:
        data = file_object.read(chunk_size)#يمكننا تحديد الحجم المطلوب قرائته chunk_size باستخدام المعامل 
        if not data:
            break
        yield data


with open('really_big_file.dat') as f:
    for piece in read_in_chunks(f):
        process_data(piece)

تقوم yield بإكمال العمل بدلاً من البداية من الصفر فلن تقوم بقراءة الملف من البداية بل تكمل من حيث توقفت