Kafka-streams:设置要删除的内部主题清理策略不起作用

问题描述 投票:3回答:1

我使用kafka流减少功能,它创建一些状态存储更改日志kafka内部主题(如app-KSTREAM-REDUCE-STATE-STORE-0000000002-changelog)。

我想设置保留字节并将清除策略更改为删除以防止存储已满。所以我在kafka流代码中设置了以下配置:

Properties props = new Properties();
props.put(StreamsConfig.TOPIC_PREFIX + TopicConfig.RETENTION_BYTES_CONFIG, Constants.INTERNAL_TOPICS_RETENTION_BYTES);
props.put(StreamsConfig.TOPIC_PREFIX + TopicConfig.CLEANUP_POLICY_CONFIG, TopicConfig.CLEANUP_POLICY_DELETE);
KafkaStreams streams = new KafkaStreams(builder.build(), props);

但是,生成新主题时,只有保留配置应用于新生成的内部主题,清理策略仍然是紧凑的。

这样做有什么缺失的步骤吗? (或者是否可以设置要删除的内部主题清理策略?)

我使用kafka版本1.0.0和kafka-streams版本1.0.0

apache-kafka apache-kafka-streams
1个回答
3
投票

感谢国章在kafka mailing list的回答:

您描述的问题似乎是一个自1.1.0以来解决的旧错误(作为https://jira.apache.org/jira/browse/KAFKA-6150中修复的一部分)。

...您无需升级代理即可使用较新的Streams库版本。

将kafka-streams版本升级到1.1.0修复了该问题。

© www.soinside.com 2019 - 2024. All rights reserved.