AWS EMR Presto群集突然终止错误:由于竞价,作业流中的所有从属都终止了

问题描述 投票:0回答:2

我在使用AWS EMR PrestoDB时遇到麻烦。我启动了一个集群,其中主节点为协调器,核心节点为工作器。核心节点是竞价型实例。但是,主节点是按需的。群集启动5周后,我收到此错误消息

Terminated with errorsAll slaves in the job flow were terminated due to Spot

是不是如果所有从属都终止,将使群集本身终止吗?我看到了现货定价历史,但没有达到我设定的最高价格。

我已经做了什么?我已经检查了转储到s3的日志。我没有找到有关终止原因的任何信息。只是说

Failed to visit ... <many directories>
amazon-emr presto
2个回答
0
投票

为了避免由于现货定价/中断而导致数据丢失,需要通过快照,频繁复制到s3或保留EBS卷来备份数据。参考:https://aws.amazon.com/premiumsupport/knowledge-center/spot-instance-terminate/

您的群集应仍处于启动状态,但没有任务节点。在群集->详细信息->硬件下,您可以添加任务节点。Adding task nodes

类似情况:AWS EMR Error : All slaves in the job flow were terminated

使用Spot时,您可能要使用实例终止通知,并设置最高价格:https://aws.amazon.com/blogs/compute/new-amazon-ec2-spot-pricing/


0
投票

我正在回答自己的问题。根据presto社区,AWS EMR Presto集群中必须至少有一个主节点正在运行。但是由于终止了,所以整个集群也终止了。

© www.soinside.com 2019 - 2024. All rights reserved.