来自kafka主题的独特消息，并在一定时间间隔内

Question

我有一个kafka主题，由不同的生产者以每秒1500条消息的速度产生消息，每条消息具有两个固定的密钥RID和Date，（每个消息的其他密钥也有所不同）]

是否可以在主题中引入1分钟的延迟，并在1分钟的窗口中仅使用唯一的消息。

[示例-在一分钟内可能有大约9万条消息，其中可能有1000条（随机值）消息，RID为1，日期为2020年1月1日。{"RID": "1" , "Date": "2020-01-01", ....}

完成1分钟后，我只想消耗1000条消息中的1条消息（随机产生1000条消息中的任何一条）。

注意：该主题有3个分区。

Answer 1

我不确定您的问题，但似乎您需要compaction log

它将从主题中删除最旧的消息，只需要配置主题的压缩并将RID记录用作标识符。