如何以编程方式获取Python中每个Kafka主题分区的最新偏移量

Question

我是Kafka的新手，并且希望获得每个分区的Kafka主题的位置。我在文档https://kafka- python.readthedocs.io/en/master/apidoc/KafkaAdminClient.html#kafkaadminclient中看到，可以通过函数KafkaAdminClient.list_consumer_group_offsets使用偏移量，但我看不到这种位置的方法。

有人知道我如何得到它吗？

Answer 1

如果您要查找的是每个分区的最后一个偏移量，则将执行以下操作：

from kafka import TopicPartition
from kafka.consumer import KafkaConsumer


consumer = KafkaConsumer(bootstrap_servers = "localhost:9092" )
partitions= = [TopicPartition('myTopic', p) for p in consumer.partitions_for_topic('myTopic')]
last_offsets_per_partition = consumer.end_offsets(partitions)