如何设置Spark应用程序退出状态?

问题描述 投票:5回答:2

我正在编写一个spark应用程序并使用spark-submit shell脚本运行它(使用yarn-cluster / yarn-client)

正如我现在看到的,spark-submit的退出代码是根据相关的纱线应用决定的 - 如果SUCCEEDED状态为0,否则为1。

我想要选择返回另一个退出代码 - 对于我的应用程序成功发生一些错误的状态。

可能吗?从应用程序返回不同的退出代码?

我试过使用System.exit()但没有成功......

谢谢。

apache-spark yarn exit-code spark-submit
2个回答
0
投票

可以在客户端模式下使用,但不能在群集模式下使用。您有一个集群模式的解决方法。

我对这个question的回答应该对你有帮助。


0
投票

如果您在群集模式下运行,则spark-submit会立即将提交ID作为json的一部分返回,并且不会等待应用程序状态。在此之后,您可以通过查询状态

 spark-submit --status [submission ID] 

如果在本地或独立模式下运行,您应该能够从spark-submit进程获取退出代码。

© www.soinside.com 2019 - 2024. All rights reserved.