aws数据管道触发awsglue爬虫

Question

我有一个带有 EMR 活动的 Aws 数据管道，它在 S3 上写入数据。在此过程结束时，它还会将一些元数据写入该位置的特定 S3 文件夹。

有没有办法从数据管道定义中触发 Aws Glue 爬网程序 - 它扫描最后一个 S3 位置，以便创建 Aws Athena 表？

我在 Aws Data Pipelines 文档中尚未找到执行此操作的方法。

Answer 1

也许您可以使用

ShellCommandActivity

并致电

aws glue start-crawler

。

Answer 2

是的，您可以从 AWS Data Pipeline 中触发 AWS Glue 爬网程序来扫描包含元数据的 S3 位置并创建 AWS Athena 表。为此，您可以利用 AWS Data Pipeline 中的“ShellCommandActivity”来执行 AWS CLI 命令。