如何并发运行EMR集群步骤?

问题描述 投票:7回答:2

你好,我有一个EMR集群。 每当我向它提交 "步骤 "时,它都会按顺序运行它们。 有没有什么方法可以同时运行 "步骤"?

或者说,如果想要并发,合适的用例是同时旋转多个集群吗?

amazon-web-services amazon-ec2 emr
2个回答
4
投票

每个步骤都是在整个集群中并发处理的。 所以,真的如果你有可以并发完成的工作,你可以考虑将其全部放在同一个步骤中(每个步骤可以有1个或多个Hadoop作业)。

通常情况下,当你想确保在进入下一步之前完成所有需要为下一步做的处理时,你可以使用步骤。一个很好的例子是,当您在处理加密数据时,可能会有一个步骤来解密数据,一个步骤来处理数据,还有一个额外的步骤来在持久化之前重新加密数据。


0
投票

从2019年11月起,EMR支持并行运行步骤。https:/aws.amazon.comabout-awswhats-new201911amazon-emr-now-allows-you-to-run-multiple-steps-in-parallel-cancel-running-steps-and-integratewith-aws-step-function。. 根据本文档,您必须使用EMR 5.28.0或更高版本。

© www.soinside.com 2019 - 2024. All rights reserved.