إنشاء مصفوفات ضخمة باستخدام numpy
مكتبة numpy مفيدة للغاية في التعامل مع المصفوفات والأرقام، يمكنها التعامل مع مصفوفات كبيرة للغاية قد تصل إلى 1000 × 1000 بدون ادنى مشكلة، لكن يبدو أني أواجهة مشكلة عند التعامل مصفوفات أكبر من هذا (5000 × 5000 على سبيل المثال) بالتأكيد بسبب حجم الذاكرة العشوائية الصغير لدي، هل توجد طريقة أفضل لإنشاء مصفوفات غاية في الضخامة (مليون صف × مليون عمود على سبيل المثال)، دون الحاجة إلى مساحة ذاكرة عشوائية ضخمة؟
كما وضح محمد في التعليق السابق فإنه يمكنك تخزين الملف على صيغة HDF سواء باستخدام ال h5py أو ال pytables
من خلال h5py يمكنك حفظ البيانات في ملف كالتالي
import numpy as np
import h5py
data_to_write = np.random.random(size=(100,20)) # إنشاء مصفوفة
#إنشاء ملف
with h5py.File('name-of-file.h5', 'w') as hf:
hf.create_dataset("name-of-dataset", data=data_to_write)
#قراءة ملف
with h5py.File('name-of-file.h5', 'r') as hf:
data = hf['name-of-dataset'][:]
أو من خلال numpy يم