火花作业是否可以暂停和恢复？

Question

暂停火花作业（在以YARN作为群集管理器的火花上，然后从被暂停的位置恢复它是否可行？

Answer 1

无法在YARN中暂停/停止正在运行的作业。如果要暂停或从特定执行点重新启动，则理想的方法是将作业分解为多个较小的作业，然后使用业务流程管理器（例如Airflow或Oozie）来控制此活动。对于Oozie，您可以执行以下操作

oozie job -oozie http://localhost:8080/oozie -suspend 14-20090525161321-oozie-joe

可在此处找到更多详细信息-https://oozie.apache.org/docs/3.1.3-incubating/DG_CommandLineTool.html#Suspending_a_Workflow_Coordinator_or_Bundle_Job