Airflow 将数据流任务标记为失败，但实际上成功了

Question

我正在使用 gcloud。

使用 Composer，我有一个气流环境，可以安排不同的任务管道。

其中一个管道包括：

1. 为数据流作业准备的一些任务
2. 数据流作业
3. 一些将利用工作结果的任务

为每个步骤配置DAG以等待前面的步骤成功。

我有一个问题，数据流任务在气流中被标记为失败，因此后续步骤不会执行。然而，当我检查数据流中的作业时，它似乎已经成功了。

这是我在气流中拥有的所有（剪切）日志：

这是一个已知问题吗？

Answer 1

我也面临着类似的问题。我目前正在解决一个问题，使我的数据流作业不受多次运行的影响，以便我可以在气流中启用退休。