我正在运行一个测试,kafka消费者正在从一个主题的多个分区读取数据。在进程运行时,我添加了更多分区。使用者线程从新分区读取数据大约花费了5分钟。我发现此配置为“ topic.metadata.refresh.interval.ms”,但这仅适用于生产者。消费者也有类似的配置吗?
当我们向现有主题添加更多分区时,便开始了重新平衡过程。
消费者组中的每个消费者都被专门分配一个或多个主题分区,而重新平衡是在消费者之间重新分配分区所有权。
发生重新平衡的情况是:
new partitions are added
我们需要提供两个参数来减少重新平衡的时间。
request.timeout.ms
max.poll.interval.ms
以下提供更多详细信息。