如何将 Delta 文件格式转换为仅 Parquet 文件

Question

Delta Lake 是默认存储格式。我了解如何将 parquet 转换为 Delta。

我的问题是有什么方法可以将其恢复为镶木地板。有什么选择吗？

我需要的是我在写入时想要单个镶木地板文件。不需要额外的日志文件！

Answer 1

如果您在桌子上运行真空并删除日志文件夹，您最终会得到常规镶木地板文件。

Answer 2

如果您想从达美航空返回 Parquet，您需要：

1. 摆脱旧版本的数据。
2. 清理 delta_log 文件夹。

对于 1，您可以运行以下命令

VACUUM <table> RETAIN 0 HOURS

。但有一项安全检查可以防止您在 168 小时（7 天）以内运行吸尘器。为了避免这种情况，您可以设置以下 Spark 属性：

spark.conf.set("spark.databricks.delta.retentionDurationCheck.enabled", "false")

对于2，只需删除文件夹即可。

更多信息：https://delta.io/blog/remove-files-delta-lake-vacuum-command/