使用Flink在过去10分钟内处理kafka消息？

Question

我们正在考虑在过去5到10分钟内使用Flink SQL对实时kafka数据进行临时分析。为了实现这一点，我们似乎需要扩展Kafka连接器，使其只在给定的时间段内读取消息，并使用它来生成有限的输入源。

我想知道是否有另一种方法。任何建议都将非常受欢迎。

Answer 1

Flink Kafka连接器以各种方式支持setting the start position，包括myConsumer.setStartFromTimestamp(...)。 Kafka表连接器appears to support these same options。

如果您想使用Flink的SQL客户端，您可能需要编写一个瘦包装器来处理从10分钟前开始计算时间戳并相应地设置起始Kafka偏移量。