比kafka中的消费者分区少,如何优化该消费者组的其他消费者

问题描述 投票:0回答:1

让我们假设我有四个分区,一个消费者组有二十个消费者。因此,只有四个消费者将工作,而有十六个消费者将处于饥饿状态。如何优化其他16个消费者,以便我们让每个消费者都在工作,或者我们如何优化这种情况?

apache-kafka kafka-consumer-api spring-kafka kafka-producer-api
1个回答
1
投票

这是期望的行为。卡夫卡使用者保证给定分区中的每个记录将按顺序使用;如果一个分区在一个给定的组中有一个以上的使用者,那么它将不再受阻。

此外,消费者组可以通过主题的任何给定分区来检查其进度。如果同一组的多个消费者竞争,则记录偏移量将变得毫无意义。

[我猜您希望在扩展应用程序节点时确定您的使用者组的大小,但是请记住,组中额外的使用者也会增加弹性(在这种情况下,可能比您讨价还价的多!)] >

© www.soinside.com 2019 - 2024. All rights reserved.