GCP Dataflow 流作业/管道（不成功）耗尽超过 24 小时至 48 小时

Question

我有一个从 Cloud Spanner 变更流中读取数据并将其写入 GCS 的 Dataflow 作业。

我在 36-48 小时前开始排空作业，但作业从未离开排空状态。

然后我还取消了最初启动数据流作业的管道。即使取消管道（当作业正在耗尽时），在额外的 24 小时后，作业仍然在耗尽，并产生成本。

似乎完全没有 SLA - 作业没有失败或卡住，它只是看起来作业无法正常地耗尽/解决。我知道我可以取消并强制取消它，但令人担忧的是默认的正常关闭在健康/正常条件下不起作用。

对这里发生的事情有什么建议吗？

Answer 1

数据流流作业未成功排空有两个可能的原因：

1. 您的代码中有一个错误，导致排水管卡住。排水必须强制取消并修复代码错误（如果有）。
2. 您使用的模板可能有一个可分割的DoFn，其中不支持排水。

此处的解决方法是检查您正在使用的代码和模板，并确认它是否正在调用 Splittable DoFn。您可以使用 Dataflow Runner v2 代替，因为它支持 Drain 并重新运行作业。

Answer 2

默认的 Spanner Change Streams to Bigquery 模板当前不支持排出作业。