了解Kafka结束偏移和已提交偏移

Question

我想使用Pyhon和Kafka客户端获取Kafka主题的已提交偏移量和结束偏移量（位置），>

而且我想知道为什么主题+消费者组本身（KafkaAdminClient.list_consumer_group_offsets(consumer_group)）会收到偏移量

当位置被消费者+主题的分区（KafkaConsumer.end_offsets(partitions)）接收时。

有人知道吗？

我想使用Pyhon和Kafka客户端获取Kafka主题的已提交偏移量和结束偏移量（位置），我想知道为什么主题+消费者组本身（KafkaAdminClient ....）会收到偏移量。 [

我不完全理解这个问题，但是两个调用都以相同的信息返回，但是潜在的分区数量不同。因此两者都用于不同的场景。

使用list_consumer_group_offsets(group_id, group_coordinator_id=None, partitions=None)，您还可以限制一组分区而不是全部分区的返回值。基本上，此调用没有上下文，因此需要将使用者组作为参数传递。

KafkaConsumer有一个消费群体和在构建过程中传递的主题。与另一个调用的区别在于，此过滤器仅筛选特定使用者所消费的主题。

同样，两者都返回非常相似的数据，但是每个都在不同的情况下有用。

Python文档非常清楚，但是您必须了解kafka是如何在内部工作的，因为它有点复杂。该API不会以任何方式明确说明如何使用kafka。

Answer 1

我不完全理解这个问题，但是两个调用都以相同的信息返回，但是潜在的分区数量不同。因此两者都用于不同的场景。