目前EMR集群会在最后一个作业完成后自动终止。 我们有服务将新作业(步骤)发送到现有正在运行的 EMR 集群。 由于集群启动需要时间和成本 我们想要的是让 EMR 集群在最后一个工作完成后等待 5 分钟,这样服务仍然可以寻找这个正在运行的集群,而不是初始化一个新的集群。
有人知道这是否可行以及如何配置?
谢谢
谷歌并没有在网上找到确切的答案。
使用带有空闲超时的自动终止策略。请注意 EMR 用于确定集群是否空闲的条件。
您可以使用RunJobFlow.AutoTerminationPolicy.IdleTimeout
属性设置超时。 EMR 将使用一组条件来检查集群是否空闲,如果在您指定的时间内满足条件,EMR 将终止集群。例如,条件之一是 HDFS 利用率(使用的存储)必须低于 10%。这意味着,如果应用程序使用 HDFS,它们或单独的步骤可能需要清理 EMR 的空间,以将集群视为空闲。有关完整且最新的条件集,请参阅页面使用自动终止政策。 此外,请参阅页面
控制集群终止和StepConfig。 ActionOnFailure 属性以获取更多信息。