在 GCP 上的 Cloud Composer 中自动触发 Airflow DAG,无需使用 Cloud Functions

问题描述 投票:0回答:1

Stack Overflow 社区您好,

我目前正在开发一个项目,每当 .csv 文件上传到 Google Cloud Storage (GCS) 存储桶时,我需要在 Google Cloud Platform (GCP) 上的 Cloud Composer 中自动触发 Airflow DAG。但是,我的组织有一个限制,阻止为此目的使用 Cloud Functions。

我已经使用 Cloud Functions 成功实施了一个解决方案,但由于组织限制,我需要探索既高效又经济的替代方法。对于在不依赖云功能的情况下实现这一目标的任何指导或建议,我将不胜感激。

如果您遇到过类似的场景,或者对如何在不使用 Cloud Functions 的情况下设置此文件上传触发器有想法,您的见解将非常有价值。

提前感谢您的帮助!

如前所述,我知道如何使用 Cloud Functions 执行此操作,但这在我的组织中是禁止的,因此我需要找到替代方法。

google-cloud-platform google-cloud-functions google-cloud-storage airflow google-cloud-composer
1个回答
0
投票

我能想到的是使用基于时间的 DAG 进行轮询

在 Airflow 中设置一个定期运行的 DAG(例如每 5 分钟一次)。 在 DAG 中,使用 GoogleCloudStorageListOperator 列出 GCS 存储桶中的文件。 将当前文件列表与先前存储的列表进行比较。 如果出现新文件,则触发必要的下游 Airflow 任务或不同的 DAG。

希望这有帮助:)

参考:https://airflow.apache.org/docs/apache-airflow/1.10.12/_api/airflow/contrib/operators/gcs_list_operator/index.html

© www.soinside.com 2019 - 2024. All rights reserved.