检查点在不执行操作员时中止

Question

我们有2个来源。

1. 来自对象的内存源
2. 卡夫卡流订阅源

它们都在某个时刻连接起来

Source(from objects) -> Map1 -> CoMap -> Sink
Source(Kafka) -> Map2 -> Map3 -> CoMap -> ...

Map1操作员被迫不平行

出于某种原因，有时我们会得到这种日志消息：

INFO  Checkpoint triggering task Source: Source(from objects) -> Map1 (1/1) is not being executed at the moment. Aborting checkpoint.

我们并不关心Source(from objects) -> Map1链的检查站。我们可以在那里禁用检查点或以某种方式禁用它们的恢复吗？

Answer 1

问题是由于一些操作员完成而没有运行。当操作员未运行时，不会发生检查点。

解决方案是实现自定义SourceFunction并在发送所有元素后永久阻塞线程