我们是否可以安排AWS Glue作业执行MSCK修复命令,以便将新添加的分区的元数据添加到Glue目录中?
Can Glue ETL脚本可以在不调用Athena的情况下执行MSCK REPAIR TABLE命令吗?
这是通过Glue Crawlers实现的。如果您创建爬网程序,它将根据新字段更新表并添加新分区。
您可以调用batch_create_partition()API来执行此操作。它不需要昂贵的操作,如MSCK REPAIR TABLE或重新爬行。以下是我的代码示例的详细答案 -
https://stackoverflow.com/a/52239022/2414855