如何配置 AWS EMR 在上次作业完成后等待一段时间

问题描述 投票:0回答:1

目前EMR集群会在最后一个作业完成后自动终止。 我们有服务将新作业(步骤)发送到现有正在运行的 EMR 集群。 由于集群启动需要时间和成本 我们想要的是让 EMR 集群在最后一个工作完成后等待 5 分钟,这样服务仍然可以寻找这个正在运行的集群,而不是初始化一个新的集群。

有人知道这是否可行以及如何配置?

谢谢

谷歌并没有在网上找到确切的答案。

amazon-emr
1个回答
0
投票

使用带有空闲超时的自动终止策略。请注意 EMR 用于确定集群是否空闲的条件

您可以使用

RunJobFlow.AutoTerminationPolicy.IdleTimeout

 属性设置超时。 EMR 将使用一组条件来检查集群是否空闲,如果在您指定的时间内满足条件,EMR 将终止集群。例如,条件之一是 HDFS 利用率(使用的存储)必须低于 10%。这意味着,如果应用程序使用 HDFS,它们或单独的步骤可能需要清理 EMR 的空间,以将集群视为空闲。有关完整且最新的条件集,请参阅页面
使用自动终止政策

此外,请参阅页面

控制集群终止StepConfig。 ActionOnFailure 属性以获取更多信息。

© www.soinside.com 2019 - 2024. All rights reserved.