为什么Kafka Consumer的性能与最新的偏移和最早的偏移不同？

Question

获取请求是相同的。

maxWait: 100ms
minBytes: 1
fetchSize: 1048576

当我从最早的偏移消耗时，它非常快，可以达到每秒10,000条记录。但是，当我从最新的偏移消耗时，它非常慢并且可以是每分钟10,000个记录。

谁知道为什么？

Answer 1

在earliest模式下，Kafka将数据存储在磁盘上，在每个获取数据中，它可以获取1048576KB的数据（直到读取磁盘上的所有数据），但在latest模式下，Kafka会监听新数据，这也取决于生产者数据生成率。在latest模式中，Kafka将等待maxWate并收到所有新数据。所以这是一种自然的行为。