将 Apache Kafka 从 2.7 升级到 3.7 后性能测试结果下降很多

Question

将 Kafka 从 2.7 升级到 3.7 后，我们用 Kafka 的

kafka-producer-perf-test.sh

对一个主题进行基准测试。性能测试结果的规模发生变化。例如，延迟从 5 毫秒变为 60 毫秒。

bin/kafka-topics.sh --bootstrap-server X:9092  --create --topic perf-test compression.type=snappy --config min.insync.replicas=2 --config retention.ms=84000000 --partitions 9 --replication-factor 3  --command-config /Y

Answer 1

经过调查，我们发现这个结果并不是因为Kafka版本本身的变化，而是因为更新了运行测试的客户端，

kafka-producer-perf-test.sh

因此请记住，在将此 bash 文件从版本 2.8 升级到 3.0 时，有一些更改不允许您比较测试结果。下面列出了这些更改。

1. 更改了

   ack=all, enable.idempotence=false

的默认值
2. 基准有效负载发生了变化，如下所述。 KAFKA-12611