使用Kafka和Storm进行负载测试

Question

我们的系统接受发布请求，并将json正文发送到kafka主题，并且该主题已配置为拓扑的spout，并且拓扑生成了到kafka主题的输出消息。我如何对这个系统进行负载测试？系统每秒处理的消息数。

我打算使用jmeter进行负载测试

Answer 1

[JMeter是我们想到Web API的性能或负载测试时想到的一个，但是您也可以检查诸如LoadRunner等的替代方案。

但是，从Kafka和Storm的角度来看，您需要编写storm kafka spout来读取和提交偏移量，并且可能需要一些监视工具来检查和验证其在负载下的行为，例如

• 吞吐量（消息/秒）的数据大小。
• 消息数量的吞吐量（消息/秒）。
• 生产者方面的表现
• 消费者方面的表现

[我尝试过Yahoo Kafka Manager，它是开源的并且可以达到目的，请尝试一下：https://github.com/yahoo/kafka-manager，但是也有其他监视工具Kafka Monitoring tool in Production

如果您只想关注Kafka负载性能基准测试，则在kafka发行版下的以下命令将非常有帮助：

• kafka-producer-perf-test.sh
• kafka-consumer-perf-test.sh

更多详细信息：https://gist.github.com/ueokande/b96eadd798fff852551b80962862bfb3