在springboot应用程序中间歇性消费kafka消息

Question

我有以下用例：

我的应用程序无法处理的消息（可能是由于与网络等相关的一些间歇性问题）正在写入 kafka 主题。

我想使用 cron/计划任务定期读取这些消息，然后处理它们。

到目前为止，我已经在我的springboot中使用了KafkaListener来满足我的kafka相关需求，并且运行良好。

但是，我找不到使用 KafkaListener 间歇性读取消息的方法。

春天有办法做到这一点吗？如果有人可以链接到文档或教程或描述实现我想做的事情的方法，我会很高兴。

Answer 1

您需要手动管理消费进程。如果您禁用

autostartup

的

KafkaListener

功能，这是可能的。

对此有两种讨论。见下图：

有没有Spring Schedule读取Kafka topic的例子？

带有 Kafka 消费者的 Spring Boot 作业调度程序

Answer 2

尝试使用idleBetweenPolls参数，它可以让你定期读取

参见 https://docs.spring.io/spring-kafka/api/org/springframework/kafka/listener/ContainerProperties.html#setIdleBetweenPolls(long)