在Spark-cluster上。有一个参数可以控制spark作业的最小运行时间

Question

我的Spark程序将首先确定输入数据路径是否存在，如果不存在，则安全退出。但退出后，yarn将重试该作业。因此，我猜一个参数将控制作业的最小运行时间。在Spark-cluster上。有一个参数可以控制spark作业的最小运行时间，即使任务成功但小于该时间，也会触发重试。

---------第一次编辑后--------------

我将重试次数变为1，现在我不必考虑重试次数。在我的程序的主要方法中只有一个句子System.out.println('MyProgram');。日志显示一切都很好，但纱线认为这是一个失败的工作。我很困惑。

Answer 1

不会。如果你的工作以零以外的exit status结束，则会发生重试。