DeltaTable更新分区列值并删除旧的Blob分区?

问题描述 投票:0回答:1

我正在使用here中所述的Python中的merge命令更新Delta表。该表已经被“ Number”列预先分区,但是这些是我实际上正在更新的值。因此,合并应该将数据分类到新分区中。但是,如果我运行合并,它将基于新的“ Number”值创建新分区,同时还将旧分区保留在Blob存储中(请参阅蓝色圆圈)。有没有办法删除或覆盖旧分区?

enter image description here

dataframe apache-spark partitioning
1个回答
0
投票

因此,我没有意识到由于版本控制系统而保留了旧分区。可以使用DeltaTable清除功能删除旧分区。

© www.soinside.com 2019 - 2024. All rights reserved.