如何从CLI终止Spark作业？

Question

Killing Spark job using command Prompt

这是我希望可以回答我的问题的主题。但是所有四个答案都说明了如何终止整个应用程序。

我如何停止工作？例如计数吗？

我可以通过在Spark Web UI中单击相应任务上的“ kill”来执行此操作。我想必须可以列出正在运行的作业并也可以直接通过CLI与之交互。

实际上，我正在使用Gye端点上的PySpark在笔记本电脑上工作。如果我终止了该应用程序，则整个端点都将消失，并且必须启动一个新集群。我只是想停止工作。在笔记本电脑中取消它只会断开同步，并且作业将继续运行，从而阻止了其他任何命令的执行。

Answer 1

如果资源管理器是yarn，那么在终端中，您也可以使用yarn命令取消该工作。列出正在运行的应用程序的第一个命令：

：纱线应用-list

这将列出正在运行的spark应用程序以及其他应用程序。确定了应用程序后，获取其应用程序ID，然后通过粘贴ID复制下面的代码：

：纱线应用程序-kill applicationid

Answer 2

列出Linux中的作业并杀死它。

我会做ps -ef | grep spark-submit如果开始使用spark-submit。从输出中获取PID，然后杀死-9

Answer 3

杀死正在执行的工作：

1. 打开Spark应用程序用户界面。
2. 转到jobs标签。
3. 在job中找到running jobs。
4. 单击kill链接并确认。