Flink 标记源迟到事件

问题描述 投票:0回答:1

我们正在构建一个 Flink 应用程序,它使用来自不同 Kafka 主题的事件。此应用程序在源上使用有界无序水印策略。在正常执行期间,一切都按预期进行,我们不会得到任何迟到的数据(基于水印),但在检查点/保存点恢复时,无论我们增加无序界限多少,我们都会得到迟到的事件。有谁遇到过这种情况吗

apache-flink flink-streaming
1个回答
0
投票

水印没有检查点,因此恢复后,必须根据检查点后处理的事件重新建立水印。如果一个或多个源在该时间点或多或少处于空闲状态,这可以解释为什么行为与重新启动之前的情况相比如此不同。

© www.soinside.com 2019 - 2024. All rights reserved.