我可以复制了已复制的跨越另一个集群卡夫卡的话题?

问题描述 投票:0回答:1

我有3个卡夫卡集群,我已经复制在另一簇的话题。第1个主题为“测试”

第2组test.replica ..我心中已经群集复制3这个话题,但是当我将数据发送到主题“测试”我可以从主题读取数据“test.replica”主题test.replica.replica似乎是空的

第3组test.replica.replica

连接器

{
    "name":"test-z1-z2",
    "config":{
            "connector.class":"io.confluent.connect.replicator.ReplicatorSourceConnector",
            "tasks.max":"4",
            "key.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
            "value.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
            "src.kafka.bootstrap.servers":"localhost:9092",
            "src.zookeeper.connect":"localhost:2181",
            "dest.zookeeper.connect":"localhost:2182",
            "topic.whitelist":"test",
            "topic.rename.format":"test.replica",
            "confluent.license":""
    }
}

{
        "name":"test-z2-z3",
        "config":{
                "connector.class":"io.confluent.connect.replicator.ReplicatorSourceConnector",
                "tasks.max":"4",
                "key.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
                "value.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
                "src.kafka.bootstrap.servers":"localhost:9093",
                "src.zookeeper.connect":"localhost:2182",
                "dest.zookeeper.connect":"localhost:2183",
                "topic.whitelist":"test.replica",
                "topic.rename.format":"test.replica.replica",
                "confluent.license":""
        }
}

第1组

[root@localhost bin]# ./kafka-topics --list --zookeeper localhost:2181
__confluent.support.metrics
__consumer_offsets
__consumer_timestamps
test

集群2

[root@localhost bin]# ./kafka-topics --list --zookeeper localhost:2182
__confluent.support.metrics
__consumer_offsets
test.replica
[root@localhost bin]# 
[root@localhost bin]# ./kafka-topics --list --zookeeper localhost:2183
__confluent.support.metrics
__consumer_offsets
test.replica.replica

生产数据

[root@localhost bin]# seq 10 | ./kafka-console-producer --broker-list localhost:9092 --topic test
>>>>>>>>>>>

消费副本

[root@localhost bin]# ./kafka-console-consumer --bootstrap-server localhost:9093 --topic test.replica
1
2
3
4
5
6
7
8
9
10

尝试其他副本

[root@localhost bin]# ./kafka-console-consumer --bootstrap-server localhost:9094 --topic test.replica.replica

(no Data)

我想将数据发送到一个集群,并从那里在其他集群再次复制它。

apache-kafka replication confluent
1个回答
0
投票

这是可能已经到了经纪人复制的数据,而你在最新的偏移指向。

您可以添加--from-beginning从一开始偏移消耗。

真正的检验是使用OffsetShell看题目的实际偏移。此外,目的地主题是正确创建的,所以复制至少正在那一部分。

这也是不明确的,如果你的连接器CONFIGS是相同的连接群集的一部分。你在不同的端口上运行connect-disributed,不同bootstrap.servers呢?

© www.soinside.com 2019 - 2024. All rights reserved.