使用密钥将 Pandas Dataframe 存储到 S3

Question

我们如何使用 parquet 格式的密钥将数据帧存储到 S3？我可以在下面的代码中添加哪些参数？

filename=file_name+'.parquet'
df.to_parquet('s3://path/'+filename)

将 parquet 文件存储到 S3 时使用密钥的参数/逻辑

Answer 1

您可以使用您的访问凭据作为

storage_options

选项中的标头

to_praquet

像这样：

s3_storage_options = {
    'key': 'acces_key',
    'secret': 'secret_key'
}
df.to_parquet('s3://bucket_name/file_name.parquet', storage_options=s3_storage_options)