我的整数列表列表很大,不同级别的列表长度不同,否则我将使用numpy存储。我现在使用以下命令存储整数列表的最后一级array('i', listofinteger)
以节省内存。总大小约为5G(如果我直接使用列表而不是array('i')
,则约为20G)。当我使用pickle加载文件时,它大约需要30G内存,并且加载完成后不会释放该内存。即使删除所有数据,它仍需要25G以上的内存。仅在python存在后才释放内存
任何解决方案如何解决?为什么泡菜仍然保留着记忆?
关于如何存储数据的任何建议?