附表火花结构化流媒体

问题描述 投票:0回答:1

是否有可能安排spark流媒体作业只在特定时间运行? 比如说从早上8点到晚上8点?集群在夜间运行,造成不必要的成本。

我怎么能重新初始化我每天流的三角洲表?

非常感谢

apache-spark spark-streaming
1个回答
0
投票

你可以使用 "ONCE "触发器 语义,并使用调度器(如ozie)在所需的时间启动你的流媒体应用程序。它将处理新的数据,并在处理完成后优雅地关闭。

另一个建议可以在这里找到

你说的 "重新初始化三角表 "是什么意思?

© www.soinside.com 2019 - 2024. All rights reserved.