同时存储多个数组时出现内存错误

Question

我试图将30227(1024 x 1024)张图像的像素数据通过连接在一个列表中存储起来，形成我的训练数据。但是，在Jupyter笔记本中，当我这样做时，我收到了Out of memory错误。以下是我使用的代码行。

 train_data = []
 mm_scaler  = MinMaxScaler()
 for file_id in data['patientId']:
     file_name = train_images_path+"\\"+file_id.strip()+".dcm"
     if os.path.exists(file_name):
          image_data = mm_scaler.fit_transform(pydicom.dcmread(file_name).pixel_array)
          train_data.append(image_data)

有没有其他方法可以将这些数据存储在一起，以后可以用于训练我的模型？请帮助我

Answer 1

当系统有限制时，就会出现内存不足的错误，你可以看看这个。此处

对于数据的存储，你可以从以下方面获得帮助 联系 和 这个

我没有任何.dmc文件来复制这个错误，但我会建议在导入阵列中的图像后执行最大限度的缩放，你可以将其作为矩阵操作而不是阵列操作来执行，这将花费更少的时间。