Kafa：Kafka如何为每个消费者组存储和检索偏移量？

Question

我并不是完全在寻找API来完成此操作，而是内部实现细节。

我知道，Kafka的最新版本在特殊的Kafka主题中存储了针对消费者群体的抵消额__consumer_offset。

我的问题是：

此主题中的数据结构到底是什么？

当消费组死亡并出现时，卡夫卡如何在主题分区中补偿该消费组上次消费到的偏移？ 据我所知，Kafka主题不适合用于查找数据：例如：用于类似：的查询

Select *offset* from __consumer_offset where consumer-group-name=*consumer-group* and topic=*topic-1*

基本上，我想知道__consumer_offset的内部详细信息或用于消费者偏移量管理的任何内容。

我阅读了此Wiki页面https://cwiki.apache.org/confluence/display/KAFKA/Offset+Management，但无法理解内存中的数据结构部分。

我并不是完全在寻找API来完成此操作，而是在内部实现细节。我知道，Kafka的最新版本在特殊的Kafka主题中存储了消费者群体的偏移量...

Answer 1

每个消费者组都基于其哈希在__consumer_offsets主题中分配了特定的分区。