S3 中的 Iceberg 元数据文件夹大小不断增长

问题描述 投票:0回答:1

表有小插入,但我们正在寻找选项,让 Athena Iceberg 表的 S3 中的元数据文件夹不增长。尝试使用

optimize_rewrite_delete_file_threshold = 1
vacuum_max_snapshot_age_seconds=60
的配置值。

运行两个

OPTIMIZE & VACUUM
命令,但元数据文件夹大小并未减少。

此外,无法将属性

write_max_metadata_files_to_keep
设置为 Athena 表。但是,AWS 文档称它将减少元数据文件夹的大小,但无法将此属性设置为表,并且失败并出现错误
unsupported table property key

amazon-web-services amazon-s3 amazon-athena apache-iceberg
1个回答
0
投票

我也面临着同样的问题;你有什么解决办法吗?

© www.soinside.com 2019 - 2024. All rights reserved.