负载测试一个kafka消费者

问题描述 投票:2回答:1

我想弄清楚如何加载测试一个kafka消费者,在我的应用程序中,消费者从kafka读取消息,并做了很多工作,大部分是在数据库中写东西。

在我的应用中,消费者从kafka中读取消息,并做了很多工作,其中大部分是在数据库中写东西.由于这对我的团队来说是一个重要的过程,我希望能够加载测试消费者,并能够有一些报告,以了解消费是如何做的.这样做的最终目标是在我们的CI中生成报告,我们将能够看到相同负载的消息消费的演变。

遗憾的是,我真的不知道如何才能实现这样的事情。你能告诉我如何实现这个功能吗?

目前,我正在考虑将生产主题复制到一个专门的环境中,每次我想执行我的负载测试时,我都会移动偏移量,这将无法帮助我获得消耗报告。

谢谢你阅读我。

apache-kafka load-testing
1个回答
0
投票

有一个单独的 "负载测试 "主题是个好主意。根据主题保留策略(sizetime),你可以直接删除你要测试的应用程序的消费者偏移量,让它从 "最早 "开始消费。

我不知道你的架构,但我强烈建议持续监控你的应用。编写适当的指标,并关注它们。在AWS上运行时,CloudWatch将是明显的选择。但还有很多其他服务,你可以将度量数据发布到这些服务中(Grafana Cloud,New Relic等)。

如果你想持续运行负载测试作为CI管道的一部分,你应该选择固定的输入。例如使用一组固定的10万条你用于测试的消息。否则你的结果不会是确定性的,而且很难比较。如果你的 "核心 "数据处理可以在不依赖Kafka本身的情况下运行,这真的很有帮助。输入不可知,消息可能来自一个文件,一个数据库或一个Kafka主题。

© www.soinside.com 2019 - 2024. All rights reserved.