获取卡夫卡分区中的最后一条记录偏移量

问题描述 投票:0回答:2

我想获取主题分区中的最后一个记录偏移量。使用者中有endOffsets方法。通常,endOffsets - 1可以正常工作。但是在事务性生产者主题的情况下,可能包含没有记录的偏移量。并且endOffsets - 1将指向没有记录的偏移量。那么,在这种情况下,我应该如何计算最后的记录偏移量?

更有趣的是,如果我同时拥有一个简单的事务型生产者该怎么办?是否有任何可靠的方法可以忽略所有这些复杂性而获得最后的记录偏移量?

java apache-kafka kafka-consumer-api offset
2个回答
0
投票

如果您为消费者使用新的消费者组,则默认情况下它将从最新的偏移量开始。auto.offset.reset=latest配置对此负责。

[This article解释了有关此主题以及您应该为消费者考虑的其他重要配置。


0
投票

我最终意识到,在当前版本的java使用者中,没有可靠且简单的方法可以做到这一点。我在Kafka的问题跟踪器中为此创建了功能请求:https://issues.apache.org/jira/browse/KAFKA-10009

© www.soinside.com 2019 - 2024. All rights reserved.