Trigger Cloud Composer DAG，带有发布/订阅消息

Question

我正在尝试创建要通过发布/订阅消息触发的Cloud Composer DAG。Google提供了以下示例，每当Cloud Storage存储桶中发生更改时，该示例就会触发DAG：https://cloud.google.com/composer/docs/how-to/using/triggering-with-gcf

但是，起初他们说you can trigger DAGs in response to events, such as a change in a Cloud Storage bucket or a message pushed to Cloud Pub/Sub。我花了很多时间试图弄清楚该怎么做，但没有结果。

您能帮忙还是给我一些指示？谢谢！

Answer 1

要扩展已经发布的公共文档页面，您可以将Cloud Function配置为在每次将消息发布到Cloud Pub / Sub主题时运行。在another public documentation page中有关于此的更多信息。

要将功能附加到主题，请在部署功能时设置--trigger-topic标志：

gcloud functions deploy $FUNCTION_NAME --runtime $RUNTIME --trigger-topic $TOPIC_NAME

Answer 2

有两种通过发布/订阅事件触发DAG的方法。

1. 您可以在DAG的开头放置PubSubPullSensor。每当PubSubPullSensor可以拉出发布/订阅消息时，就会触发DAG。它将执行DAG中的其余任务。
2. 您也可以创建一个Cloud Function that acts as Pub/Sub trigger。并将Composer DAG triggering logic放在Cloud Function触发器内。当消息发布到发布/订阅主题时，Cloud Function应该能够触发Composer DAG。