KSQL：KSQL服务器重新启动后丢失Kstream数据

Question

我使用查询“使用（kafka-topic =“ myTopic”，format =“ avro”创建流base_stream来创建流。该主题拥有800GB以上的数据，并且在不断增长。

问题：

1. Kafka是否在新流中复制来自基础主题的数据？还是只是相同的数据？

2. base_stream在重新启动KSQL服务器时丢失了其数据。有什么办法可以保留这些数据？因为，如果每次重新启动KSQL服务器时都必须重新同步/重新创建base_stream，则可能要花费很多时间！

3. 我知道可以从“ base_stream”创建持久流，但是，我们将在2个流中复制数据

感谢您的答复，谢谢！

Answer 1

我知道可以从“ base_stream”创建持久流，但是，我们将在2个流中复制数据

存储很便宜。我见过很多TB的主题。如果您能够随着时间的推移发出聚合窗口以减小大小，则可以在主题

上启用压缩以及保留策略。

base_stream在重新启动KSQL服务器时丢失了其数据。有什么办法可以保留这些数据？

您在现有主题上创建了一个信息流。流中没有需要恢复或丢失的实际数据，这回答了问题1