具有 1 个分区的 kafka 主题。 1 个生产者已在向该分区生产。如果我添加另一个制作人,我会遇到什么问题

问题描述 投票:0回答:1

我有一个有 1 个分区的主题。 其中一个系统充当生产者并将数据发送到该分区。 我想添加另一个不同的系统作为生产者并仅将数据发送到该分区。 这有什么影响呢。 是否存在与偏移、重试或确认相关的任何问题。 如果 shutdown hook 应用于一个生产者,其他生产者会受到影响吗?这里面要注意什么?


如果我再添加 1 个分区,并且两个生产者继续使用不同的密钥进行生产(A 代表生产者 1,B 代表生产者 2),那么它会产生基于哈希的任何问题,两者都会进入不同的分区。这是更好的解决方案吗?它对偏移量和确认的影响。如果 shutdown hook 应用于一个生产者,其他生产者会受到影响吗?


在消费者方面,继续第一部分(两个生产者都生产到同一分区) 如果消费群体不同,消费者应该不会有什么问题。

apache-kafka kafka-consumer-api kafka-producer-api
1个回答
0
投票
  1. 所有数据都到达同一个分区。生产者之间不受彼此影响。
  1. 哈希值不能保证最终出现在不同的分区中;可能会发生冲突,这会导致与一个分区主题相同的情况,然后您只有一个空的第二个主题。同样,生产者不受他人行为的影响
  2. 正确
© www.soinside.com 2019 - 2024. All rights reserved.