Spark Streaming作业完全在HD Insights上7天后失败,没有错误日志

问题描述 投票:0回答:1

我们得到的唯一错误日志是:由于ApplicationMaster尝试使appattempt_1575912755011_0035_000005超时,因此应用程序application_1575912755011_0035失败了5次。申请失败。

原因是什么?分辨率是多少?

apache-spark hadoop spark-streaming hortonworks-data-platform hdinsight
1个回答
0
投票

检查是否与此相关:https://docs.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-troubleshoot-application-stops

如果没有帮助,您可以尝试使用Quest(内置的易于使用的火花流)在Qubole中运行流作业,或按原样运行Spark流:https://docs.qubole.com/en/latest/user-guide/data-engineering/quest/quest-intro.html

最好,我的]]

© www.soinside.com 2019 - 2024. All rights reserved.