使用 DuckDB-Python API 将 Dataframe 作为 Parquet 文件写入 S3 存储桶中

Question

我有一个包含 5 GB 数据的 DuckDB Dataframe，我想将其作为 Parquet 文件写入 S3 Bucket，我看到了 DuckDB 命令，但无法找到相同的 python API，非常感谢他提供的任何帮助

Answer 1

有

duckdb.DuckDBPyRelation.write_parquet

方法，如 Python API 参考中记录的那样。

请注意，您需要使用和配置 HTTPFS 扩展来写入 S3。我假设 Python

write_parquet

 方法与 S3 写入支持配合得很好，但我自己还没有尝试过。事实证明并非如此，您始终可以直接使用 

duckdb.sql()

 使用 SQL API 来完成此操作。