如何使用 pyarrow 和 parquet 加密 pandas Dataframe

Question

我想使用模块化加密将 pandas 数据帧加密为镶木地板文件。我认为最好的方法是将数据帧转换为 pyarrow 格式，然后使用 ModularEncryption 选项将其保存到镶木地板中。像这样的东西：

import pandas as pd
d = {'col1': [1, 2], 'col2': [3, 4]}
df = pd.DataFrame(data=d)
import pyarrow as pa
schema = pa.Schema.from_pandas(df)
pa.parquet.write_table(df,"test.parquet",encryption_properties=enc_prop)

我的问题是，我被 encrypton_properties 创建困住了。 有谁知道如何创建它们吗？

非常感谢， 塞布

Answer 1

Apache Arrow 存储库中有一个 示例 python 文件，其中包含

写入加密 Parquet 和读取加密 Parquet 的示例 使用由 Hashicorp Vault KMS 管理的主密钥进行镶木地板。

更多信息：

• Parquet 模块化加密（列式加密）一般文档：https://arrow.apache.org/docs/python/parquet.html#parquet-modular-encryption-columnar-encryption
• 写入加密文件的测试：https://github.com/apache/arrow/blob/45918a90a6ca1cf3fd67c256a7d6a240249e555a/python/pyarrow/tests/parquet/test_encryption.py#L68-L98

希望有帮助。