Python - 在超出 RAM 的流中创建 Zip

Question

我正在尝试在目录中动态创建一个 zip 文件，并通过 Flask 应用程序将其返回给用户。下面的内容非常适合较小的目录，但我也想通过充满图像的大型目录（> 20GB）来实现这一点。

def return_zip():
    dir_to_send = '/dir/to/the/files'
    base_path = pathlib.Path(dir_to_send)
    data = io.BytesIO()
    with zipfile.ZipFile(data, mode='w') as z:
        for f_name in base_path.iterdir():
            z.write(f_name, arcname=f_name.name)
    data.seek(0)
    return send_file(data, mimetype='application/zip', as_attachment=True, attachment_filename='data.zip')

在大型目录上尝试此操作时，整个系统崩溃，是否有任何方法可以在流中创建超出系统内存的 zip？

我不想将 ZIP 写入磁盘，然后将其发送给用户，然后从磁盘中删除它，因为这只会增加 R/W 操作，从而磨损所有内容所在的存储驱动器。

操作系统在 SSD 上运行（与要压缩的图像不是同一驱动器），也许其中一部分可以变成虚拟 RAM？我不太擅长记忆。

任何想法将不胜感激！

Ubuntu 20.04、带 Flask 的 Python3、2TB 存储驱动器和带有 8GB RAM 的 250GB 操作系统 SSD。

Answer 1

遗憾的是，Python 本身完全无法传输 ZIP 数据。它将整个 ZIP 保留在内存中，直到完成生成 ZIP 文件...直到整个 ZIP 完全写入磁盘为止，它不会释放内存。

但是，

有两个现代的、维护的 Python 3 库，用于生成内存使用量较低的实时流 ZIP 数据。

• https://github.com/sandes/zipfly：项目于 2020 年 3 月启动，但自 2020 年 7 月以来一直处于低维护模式，但看起来很稳定；遗憾的是，它需要磁盘路径作为输入（它不能使用现有的内存缓冲区/流作为输入）；这个库基本上也是一个黑客，它只是替换了流写入器，使其不断地将数据刷新到磁盘。它很有名，但我个人不会使用它。
• https://github.com/uktrade/stream-zip：由英国政府承包商于 2021 年 12 月制作的新项目，此后一直在积极维护，并且其制作精良，具有 ZIP 标准的深厚技术知识（作者甚至用纯Python编写了a Deflate64编码器/解码器），并且它具有CI工作流程的自动化测试，因此代码库是可靠的；它使用 zlib 通过快速的本机 C 代码直接生成压缩块；该库的 API 允许您实时生成输入数据（从流中读取等），如果您想从文件描述符对象（文件句柄）读取“实时”数据，您可以查看此项目评论以获取解释介绍如何制作节省内存的实时数据读取器，以及如何改变每个文件的压缩级别。有了这个库，您可以制作极其高效的 ZIP。我个人使用这个库创建一个 8 GB ZIP 文件，其中 Python 始终只使用 6 MB RAM，因为我以 128K 块的形式传输输入数据和输出（压缩 ZIP），这一切都归功于这个库！而且速度超级快！ （将其与 Python 的本机 zipfile 库进行比较，后者在同一进程中使用 12.5 GB RAM，哈哈。）

最后，如果您也需要流式解压，那么同一作者的这个相关项目是最好的（写得很好，安全且符合 ZIP 标准）：

• https://github.com/uktrade/stream-unzip/tree/main