消费者方消息的调节

问题描述 投票:0回答:1

我是kafka的初学者,已经开发了kafka消息的消费者,现在看起来不错。尽管在测试消费者时有一个要求,但在消费者方面可能会需要一些消息限制。

使用者(.net核心,使用融合),在接收到消息之后,调用api,并且api处理消息。作为此过程的一部分,它对数据库的读写次数很少。情况是,消费者每天可能会收到数百万或至少几千条消息。这将使DB端的负载成为处理的一部分。

因此,我正在考虑对在kafka使用者上接收消息进行一些限制,以免DB过载。我已经检查过该选项,但似乎不是我想要的。例如,在10分钟内,消费者只能接收10万条消息。这样的事情。

有人可以建议如何在kafka使用者上实施消息限制,或者有什么更好的方法可以解决此问题?

apache-kafka kafka-consumer-api confluent
1个回答
0
投票

我进行了更多调查,并从专家那里了解到:“限制消费者方面并不容易实现,因为kafka消费者的实现方式是,只要在kafka主题中提供了消息就可以读取和处理消息。因此,速度是在卡夫卡世界中受益:)“

似乎我在kafka消费者方面不能做太多事情。我想从另一面看,可能是将读取(复制到副本)和写入数据库分开可能会有所帮助。

© www.soinside.com 2019 - 2024. All rights reserved.