如何通过livy杀死火花/纱线工作

Question

我试图通过livy使用rest api提交spark工作。但是如果我多次运行相同的脚本，它会运行具有不同作业ID的作业的多个实例。我正在寻找一种方法来杀死同名的火花/纱线作业，然后开始一个新的。 Livy文档说（https://github.com/cloudera/livy#batch）删除批处理作业，但是livy会话不返回应用程序名称，只返回应用程序ID。

还有另一种方法吗？

Answer 1

Livy服务器停止时处于活动状态的会话可能需要手动终止。使用集群管理器中的工具来实现该目标（例如，yarn命令行工具）。

运行以下命令以查找通过Livy启动的交互式作业的应用程序ID。

纱线应用 - 清单

运行以下命令以终止这些作业。

纱线应用 - 杀死“应用ID”

参考：“https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-known-issues#livy-leaks-interactive-session”。

Answer 2

您可以使用LivyClient API使用Livy Server提交spark作业。 LivyClient API有一个停止方法，可以用来杀死作业。

LivyClient.close（真）;