Kafka Compacted Topic：定期重置消费者偏移量

Question

我想将实体信息存储在Apache Kafka 压缩主题中。因此，某些具有相同键的值可能会被更新。

假设生产者发送一条带有消费者已经处理过的密钥的消息（据我所知，该消息将与具有相同密钥的消息具有相同的偏移量）。有没有办法定期重置消费者抵消额？我使用Spring Kafka。我知道我只需使用新的组 ID 重新运行实例即可从头开始阅读该主题。但我想知道当生产者将它们发送到压缩主题时，如何使用相同的键检索新值。

Answer 1

在压缩主题中，每条新消息都有一个新的偏移量，即使该消息与该主题上的另一条消息具有相同的键，在压缩之后，Kafka 将只保留每个键的最后一条消息，但不会更改其偏移量。

不要将压缩视为每次生成新消息时的瞬时操作，它是当主题分区满足一些特定条件时执行的过程，例如脏率，或不活动段文件中的记录等

我邀请您访问此页面