卡夫卡:消费者无法从主题中读取记录

问题描述 投票:0回答:2

我们正在使用Kafka流将数据写入接收器主题。我正在运行avro-consumer命令行来检查sink主题中是否有数据:

bin / kafka-avro-console-consumer --topic sink.output.topic --from-beginning --new-consumer --bootstrap-server

我在kafka流应用程序运行时同时运行消费者时看到数据,但如果我停止消费者并在几分钟后再次运行,我看不到任何数据。几种可能性:

1)这是因为kafka流每次将记录推送到下沉时都会从输出主题中删除记录吗?

2)或者这仅仅是与消费者有关的问题?

apache-kafka apache-kafka-streams
2个回答
0
投票

我认为这是因为--from-beginning仅在消费者尚未建立抵消时使用。您是否尝试过使用--offset earliest


0
投票

从您的描述问题似乎与保留时间有关。第二次运行时可能已删除数据。您可以配置保留时间

示例:log.retention.hours = 168

© www.soinside.com 2019 - 2024. All rights reserved.