我正在设置新的Kafka集群,为了测试目的,我创建了1个分区和3个副本的主题。
现在,我通过生产者并行发送消息说每秒50K消息。我在一个组内创建了一个消费者,它每秒只能获取30K消息。
我可以更改主题级别,分区级别,使用者级别配置。
我通过grafana + prometheus监控一切。
任何想法哪个配置或其他什么可以帮助我消费更多的数据?
提前致谢
Kafka消费者根据所使用的消费者配置轮询代理以获取消息并获取可供消费的任何消息。通常,如果增加吞吐量是您的目标,那么在单个轮询请求中传输尽可能多的数据是有效的。但是,在单个轮询中传输的数据量取决于消息的大小,记录的数量以及控制等待消息可用时间的一些参数。
通常,您可以使用以下一个或多个consumer configurations来影响吞吐量:
fetch.min.bytes
max.partition.fetch.bytes
fetch.max.bytes
max.poll.records
fetch.max.wait.ms