向管道发出正常关闭信号

Question

我目前正在使用 Beam 2.3.0。我花了两天时间研究如何使用 DirectRunner 优雅地关闭管道。 将 blockOnRun 设置为 false 并调用 cancel 只会终止管道，并且可能会丢失数据。我想知道是否可以像数据流运行程序那样先排空管道，然后再杀死它。

Answer 1

Beam 模型级别尚不存在此功能。唯一实现类似功能的运行程序是 Dataflow 的 Drain 功能。有一个关于使其成为通用 Beam API 的提案正在讨论。

Answer 2

我已经在从 Kafka 读取的管道中实现了关闭。我不确定您的来源是什么，但只要来源具有某种暂停功能，您就可以应用相同的原则。在 Medium 中查看此文档。