Kafka Connect:两个 Sink 和两个 Source 连接器读/写同一主题,导致循环问题?

问题描述 投票:0回答:1

我们有一个本地部署(不同位置)和atlas mongo db,我们希望在这些数据库之间进行双向数据同步。它似乎有效,但我们正在尝试预测任何无限循环情况。

在当前的 POC 中,我们有

  • (Atlas) 连接具有 Atlas Source 和 Sink 连接器的工作人员
  • (Mongo onprem)连接具有 Mongo Source 和 Sink Connector 的工作人员
  • 写入相同的内容,我们称之为 Mongo-Sync 主题。

这会导致循环问题吗? atlas 添加数据并将其发送到 kafka 主题,然后同一侧的接收器尝试处理它,导致出现问题?

使用两个主题(每个主题处理数据流的一侧)是否是更好的解决方案?

mongodb apache-kafka apache-kafka-connect
1个回答
0
投票

这个问题解决了吗?我也在寻找类似的解决方案。请尽快回复。

© www.soinside.com 2019 - 2024. All rights reserved.