AWSGlue：使用 pyhthon-gnupg 解密大文件（50GB）

Question

背景： 我们正在接收 PGP 加密的文件，需要使用 pyhon-gnupg 模块在 AWS Glue 中解密

问题： AWSGlue 与 PySpark 能够解密高达 2GB 的文件，但我们在 S3 存储桶中收到高达 50GB 和 1TB 的大文件，AWSGlue 抛出错误，例如“命令失败，退出代码 10”

我们如何使用 AWSGlue PySpark 和 python-gnupg 解密大文件

当前代码：

import gnupg
gpg = gnupg.GPG()
gpg.import_keys(private_key)
with self._fs.open(s3FileSourcePath, 'rb') as fd:
  decryptedFile = gpg.decrypt_file(fd, passphrase=secret_dict['PassPhrase'])

Answer 1

嗨，我想在 Glue 中进行加密。您说它适合您，但不适用于非常大的文件。是对的吗？你能发布其余的代码吗？