如何在 Azure Data Factory Managed Airflow 中自动导入新的 DAG？

Question

一旦我们从 Storage 中的 Container 导入文件，如果任何文件被修改或排除，或者如果 Container 中有新文件，自动导入是有意义的。

但目前这项工作是手动的，所以如果我修改容器中的 DAG，我必须转到 Managed Airflow 并一次又一次地执行“导入文件”。

有没有办法设置自动刷新同步或用于构建等效解决方案的 API？

Answer 1

您可以使用导入 DAG REST API 进行自动化：

POST https://management.azure.com/subscriptions//resourcegroups//providers/Microsoft.DataFactory/factories//airflow/sync?api-version=2018-06-01

请求正文 {“IntegrationRuntimeName”：“Airflow1”，“LinkedServiceName”：“AzureBlobStorage1”，“StorageFolderPath”：“airflow/”，“CopyFolderStructure”：true，“Overwrite”：true}

Answer 2

添加到 Abhishek Narain 的正确答案中，DAG REST API 遵循标准的 HTTP 202 模式，因此响应的标头包含“位置”URI，可以使用 GET 请求轮询导入状态。