设置Kafka的保留期限

Question

我正在尝试将 kafka 主题的保留期设置为 1000 毫秒，以删除其中不需要的消息。 我用过

bin/kafka-configs.sh --zookeeper my-zookeeper:2181 --alter --entity-type topics --entity-name my_logger --add-config retention.ms=1000,segment.bytes=14

该命令工作正常，当我描述主题时我可以看到新值，但当我使用

检查它时，消息并未从主题中删除

 bin/kafka-consumer-groups.sh --bootstrap-server my-bootstrap-server --group my-connector --describe

我可以看到 LAG 值仍然相同并且没有改变。

我在这里做错了什么？如何触发保留期？

Kafka版本是2.3.0

Answer 1

您还应该更改 log.roll.ms。

log.roll.ms：每个分区分为段日志（log.segment.bytes）。
此配置控制一段时间后，即使段文件未满，Kafka也会强制日志滚动，以确保保留可以删除或压缩旧数据。默认情况下，每 7 天推出一个新的日志段。