给出偏移量列表,从特定的Kafka分区读取偏移量的最快方法是什么?

问题描述 投票:0回答:1

假定给定一个数字列表,这些数字代表某些记录在某些主题(主题,分区)中的偏移量。将它们映射到相应记录的最优化方法是什么?

P.S。相邻的数字之间可能有很长的差距,但有时它们趋于紧密地结合在一起。因此您不能假设任何特定的模式。

apache-kafka
1个回答
1
投票

假设使用Java API,您可以使用consumer.seek方法转到这些偏移量并阅读消息。

[您可能还希望调整轮询大小以不一次获取500条记录,或者至少禁用自动偏移提交

© www.soinside.com 2019 - 2024. All rights reserved.