kafka可以像pubsub一样,按需动态创建consumergroup吗?

问题描述 投票:0回答:1

如果你有数以万计的消费者,每个消费者都需要自己的最新消息副本,并且消费者数量不断进出而波动,kafka可以支持这个用例吗?

我能想到的唯一方法是每次新的消费者(设备、服务器)需要时动态注册一个新的消费者组,并在每次现有的消费者(设备、服务器)不需要时销毁该消费者组,并有一项服务定期检查是否有任何未使用的消费者组并删除它们

在kafka中创建消费者组时,开销只是指向消息日志的指针,kafka是否可以扩展数万甚至数百万的消费者组

或者这对 kafka 来说是一个糟糕的用例,我们应该使用任何替代方案。

apache-kafka publish-subscribe
1个回答
0
投票

您只需要使用消费者组来提交偏移量并扩展消费者

如果您有唯一的单个“设备”,则没有理由创建“组”,特别是如果您只需要“最新消息”

但是,如果您处于 IOT 环境中,那么 MQTT 通常与 Kafka 或 NATS 结合使用

© www.soinside.com 2019 - 2024. All rights reserved.