运行前在Airflow中添加if语句

问题描述 投票:0回答:1

我有一个运行良好的 Airflow DAG,这些就是任务

T1 = deletes all files from GCS
T2 = Runs SQL query 1 and outputs to a table within BigQuery 
T3 = Runs SQL query 2 and outputs to a table within BigQuery
T4 = Runs SQL query 3 and places a copy of this output as csv into the GCS that was emptied in T1
T5= Copies and Appends the reference numbers from the file in T4 to a history table in BigQuery.

现在我正在尝试添加一个检查以查看是否是该月的最后一个星期二;

  • 如果是,代码将进入 T1>>T2>>T3 等
  • 否则它会停止并且不运行任何任务。

我尝试过 Bash,但没有成功

python google-bigquery airflow directed-acyclic-graphs
1个回答
0
投票

这可以使用传感器来实现。传感器将等待事件发生并继续运行下游任务。对于您的用例,最好的选择可能是创建一个用于检查条件的python 传感器

© www.soinside.com 2019 - 2024. All rights reserved.