AWS Glue Catalog作业上的MSCK Repair Command

问题描述 投票:0回答:2

我们是否可以安排AWS Glue作业执行MSCK修复命令,以便将新添加的分区的元数据添加到Glue目录中?

Can Glue ETL脚本可以在不调用Athena的情况下执行MSCK REPAIR TABLE命令吗?

amazon-web-services aws-glue
2个回答
0
投票

这是通过Glue Crawlers实现的。如果您创建爬网程序,它将根据新字段更新表并添加新分区。


0
投票

您可以调用batch_create_partition()API来执行此操作。它不需要昂贵的操作,如MSCK REPAIR TABLE或重新爬行。以下是我的代码示例的详细答案 -

https://stackoverflow.com/a/52239022/2414855

© www.soinside.com 2019 - 2024. All rights reserved.