我在使用AWS EMR PrestoDB时遇到麻烦。我启动了一个集群,其中主节点为协调器,核心节点为工作器。核心节点是竞价型实例。但是,主节点是按需的。群集启动5周后,我收到此错误消息
Terminated with errorsAll slaves in the job flow were terminated due to Spot
是不是如果所有从属都终止,将使群集本身终止吗?我看到了现货定价历史,但没有达到我设定的最高价格。
我已经做了什么?我已经检查了转储到s3的日志。我没有找到有关终止原因的任何信息。只是说
Failed to visit ... <many directories>
为了避免由于现货定价/中断而导致数据丢失,需要通过快照,频繁复制到s3或保留EBS卷来备份数据。参考:https://aws.amazon.com/premiumsupport/knowledge-center/spot-instance-terminate/
您的群集应仍处于启动状态,但没有任务节点。在群集->详细信息->硬件下,您可以添加任务节点。Adding task nodes
类似情况:AWS EMR Error : All slaves in the job flow were terminated
使用Spot时,您可能要使用实例终止通知,并设置最高价格:https://aws.amazon.com/blogs/compute/new-amazon-ec2-spot-pricing/
我正在回答自己的问题。根据presto社区,AWS EMR Presto集群中必须至少有一个主节点正在运行。但是由于终止了,所以整个集群也终止了。