Flink SQL实时数据和历史数据

问题描述 投票:1回答:2

我正在开发一个应用程序,该应用程序要在输入流源(Kafka)和历史数据上运行Flink SQL。我最初的想法是将流源中的所有消息存储在状态后端(例如AWS S3)中。在这种情况下,我的DataStream表示S3中的新事件和历史事件?我想对所有数据运行SQL。有任何想法或建议吗?

apache-flink flink-streaming flink-sql
2个回答
0
投票

0
投票
最有可能的候选人似乎是Hbase。

到目前为止,总体答案。


也许最好从这里开始,但是对于您希望使用S3的人来说,很高兴知道Cloudera Data Platform将很快包含一个S3支持的Hbase解决方案。

免责声明:我是Cloudera的一名员工,是Kafka,Hbase和Flink的推动者

© www.soinside.com 2019 - 2024. All rights reserved.