将__consumer_offsets迁移到新集群的最佳方法是什么?

问题描述 投票:0回答:1

我处于将大型集群迁移到新数据中心的阶段。我正在使用MirrorMaker工具对主题进行镜像。我需要将__consumer_offset主题迁移到新集群。移动此主题的过程是什么?

我的消费者财产

bootstrap.servers=<server_dns>:9092
exclude.internal.topics=false
client.id=mirror_maker_consumer_all
group.id=mirror_maker_consumer_all

producer.properties

bootstrap.servers=<bootstrap_servers>:9092
acks = 1
batch.size = 10000
timeout.ms = 3000
client.id=mirror_maker_consumer_offsets

我正在运行num.streams = 10和whitelist ='。*'的镜像制作器>

我处于将大型集群迁移到新数据中心的阶段。我正在使用MirrorMaker工具对主题进行镜像。我需要将__consumer_offset主题迁移到...

apache-kafka cloudera apache-kafka-mirrormaker
1个回答
0
投票

使用MirrorMaker,您无法镜像该主题。群集之间的偏移量通常不同,因此该主题中的数据在新群集中没有意义。

© www.soinside.com 2019 - 2024. All rights reserved.