当多个生产者向Broker写入相同的消息时,Broker会做什么?还有一个相关的问题(由于150个字符的限制)

问题描述 投票:0回答:1

生产者A将消息写入Broker A(分区1),生产者B将相同的消息写入Broker A(分区1)。消息或经纪人会怎么样?

我猜是因为有相同的消息,制作人B停止相同的消息,并继续下一部分消息?

我还有一个问题如果你想发送一个电影文件,例如,发送给Kafka Cluster,我可以制作4个制作人并让他们将该电影的不同部分发送到集群吗?例如,制作人A发送电影的第一部分,制作人B发送电影的第二部分,依此类推。 (因为这似乎比一个生产者更有效。)

apache-kafka producer-consumer kafka-producer-api producer
1个回答
2
投票
  1. 如果2个生成器向Kafka发送相同的消息,则消息将被写入两次。 Kafka不会检查邮件的内容。如果你在制片人中两次调用send(),你会得到2条消息在Kafka。
  2. 如果要发送大量数据,建议使用多个生成器来分割工作。此外,Kafka并非真正设计用于处理> 1GB的消息,因此将大文件拆分为较小的块是个好主意。请注意如何拆分数据,因为您可能需要在消费者方面重新组装它们!
© www.soinside.com 2019 - 2024. All rights reserved.