物联网 - 多个Kafka生产者将消息发布到同一主题

问题描述 投票:1回答:2

我正在尝试开发基于IoT的应用程序,其中多个设备将生成数据并将其发送到Kafka代理。这些设备的可能数量约为60-70万。

可能有5-10种不同的设备类型,但是,每种类型的设备数量将是千,例如每个20-40万。

我想了解Kafka主题用法,它应该支持这些设备(平均20-40万台设备)。

另外,请告诉我这种应用程序是否需要基于MQTT的实现。

提前致谢,

Avinash Deshmukh

apache-kafka mqtt kafka-producer-api
2个回答
1
投票

分区数量主要影响消费者方面,因为它是读取消息的并行度单位。在生产者方面,考虑因为每个领导者分区由代理托管,生产者必须连接到不同的代理以写入不同的分区,因此需要多个TCP连接。

关于MQTT,这意味着您必须运行MQTT代理,然后运行Kafka Connect与相关的MQTT连接器。根据您拥有的设备类型,它会有意义。 MQTT协议最适合作为轻量级协议的嵌入式/物联网设备,因此对于低功耗设备而言,它比在设备堆栈上使用Kafka协议更有意义。但是,如果您在边缘使用IoT网关从场上的多个设备收集消息然后发送到Kafka,也可能取决于它。


0
投票

我想了解Kafka主题用法,它应该支持这些设备(平均20-40万台设备)。

说实话,我不明白这个问题。你在问主题大小吗?分区数量?您是否打算让您的设备直接访问Kafka群集?

另外,请告诉我这种应用程序是否需要基于MQTT的实现。

Apache Kafka不支持MQTT本身。你在谈论任何类型的商业解决方案吗?

© www.soinside.com 2019 - 2024. All rights reserved.