我正在开发一个应用程序,该应用程序要在输入流源(Kafka)和历史数据上运行Flink SQL。我最初的想法是将流源中的所有消息存储在状态后端(例如AWS S3)中。在这种情况下,我的DataStream表示S3中的新事件和历史事件?我想对所有数据运行SQL。有任何想法或建议吗?
到目前为止,总体答案。
免责声明:我是Cloudera的一名员工,是Kafka,Hbase和Flink的推动者