从kafka topic构建变更历史

问题描述 投票:0回答:0

我在 Kafka 中有一个主题,其中有我想在消费者中建立更改历史记录的记录。

要做到这一点,每当一条消息附加到主题并为现有记录添加新值时(即消息的键已经存在于主题中),我的消费者将检索具有相同键的所有消息并构建一个最后两条消息的值之间的差异。

我不能使用无限保留,因为主题会变得太大,所以我希望使用压缩,但我找不到一种方法来确保旧消息不会在消费者之前从日志中删除开始阅读它。

有没有一种方法可以配置清理以实现此目的?或者我应该对这个用例采取不同的方法吗?

apache-kafka kafka-consumer-api
© www.soinside.com 2019 - 2024. All rights reserved.