Airflow 重新启动调度程序后所有 DAG 都会排队

Question

我已经为 ETL 管道部署了一个 Airflow 集群，其中包含以下组件：

• 气流2.5
• PostgresSQL
• 芹菜执行者
• Redis

集群运行良好，但我注意到每次重新启动 Airflow 调度程序时，所有 DAG 都会永远排队，直到我在工作节点中手动重新启动 Airflow 服务。

背后的原因是什么？ 是否有任何配置可以自动将所有排队的 DAG 转为运行状态？

更新于2023-09-04 重新启动调度程序后，我可以从 celery 日志中看到此错误消息：

[2023-09-04 22:44:32,063: ERROR/MainProcess] consumer: Cannot connect to redis://:***:6379/5: Connection closed by server..
Trying again in 20.00 seconds... (1/100)

不幸的是，我相信我遇到了与此线程中讨论的完全相同的问题。 https://github.com/celery/celery/discussions/7276

Answer 1

在您的 DAG 中，您的 start_Date 和追赶值是多少？

dag = DAG(
'my_dag',
start_date=datetime(2023, 1, 1),
catchup=True,
# other parameters...

）

请阅读更多关于气流追赶

的内容