Spark UI 的阶段终止是否会导致数据重新处理？

Question

在 Spark UI 中，具有杀死正在运行的阶段的功能：

当使用此按钮杀死阶段时，与该阶段关联的任务将被重新处理吗？或者他们会被跳过？

我注意到，当一个阶段被杀死时，相关的作业也会被杀死，这让我认为没有发生重新处理，但我想知道是否有官方文档或明确说明这一点的东西（或者如果有人尝试过这个功能并知道它是如何工作的）。

Answer 1

在活动阶段中，可以使用终止链接来终止活动阶段 - 如您所示。

App 也会被杀死，因此不会发生 Stage 的重新处理。当前处理路径也不能跳过；这不太符合逻辑，除非您有一个具有更多独立处理路径的应用程序。

请注意，只有在失败的阶段，才会显示失败原因。当然，您仍然可以看到历史服务器的输出。

也就是说，证实你的观察。