kafkamirrormaker2消费群体在哪里

Question

我已将镜像制造商 2 源连接器添加到我的连接集群中：

{
  "name": "test_mirror",
  "config": {
    "connector.class": "org.apache.kafka.connect.mirror.MirrorSourceConnector",
    "tasks.max": 1,
    "source.cluster.alias": "thirdparty",
    "target.cluster.alias": "kafka",
    "source.cluster.bootstrap.servers": "thirdparty:9092",
    "target.cluster.bootstrap.servers": "kafka:9092",
    "topics": "test",
    "sync.topic.acls.enabled": false,
    "refresh.topics.enabled": false,
    "refresh.groups.enabled": false,
    "offset-syncs.topic.replication.factor": 1,
    "replication.factor": 1
  }
}

这按预期工作，我可以在我的集群上使用主题

thirdparty.test

。

但是，当我检查两个集群时。我没有看到任何与镜子相关的消费者群体。

kafka-consumer-groups.sh --bootstrap-server localhost:9092 --all-groups --describe

这是如何运作的？它如何复制数据而不在源和/或目标上创建消费者组？

Answer 1

Kafka Connect 源连接器将偏移量存储在其配置的偏移量主题中，而不是存储在 __consumer_offsets 主题中。只有水槽连接器才可以，

但这与外部组的同步无关。更重要的是，如果 MirrorMaker2 致力于 __consumer_offsets 主题，它需要额外的逻辑来过滤自己的偏移量，同时镜像其他组