Kafka 消费者报告创建

问题描述 投票:0回答:0

我有 4 个消费者 pod 读取和处理来自主题的数据,该主题通过每天读取文件发送大约 1000 条记录

所以我的工作是以这样一种方式配置消费者逻辑,即在 4 个不同的 pod 处理 1000 条记录结束时,我需要发送一封带有单个附件的电子邮件,其中包含所有 1000 条记录的状态它得到处理或不是。

我面临的问题是,由于有多个 pod,消息会自动被每个 pod 消耗,并且报告将被发送多次。

  1. 存储在文件中并附加记录将不起作用,因为可能存在死锁问题。

  2. 将结果存储在数据库中并运行作业,唯一的方法!???

java report kafka-consumer-api spring-kafka
© www.soinside.com 2019 - 2024. All rights reserved.