如何先顺序运行EMR步骤,然后并行运行?

问题描述 投票:0回答:1

enter image description here

[借助Step Function等编排引擎可以轻松实现此过程,但是由于某些原因,我们无法使用。在这里,我想了解我们是否可以进行某种代码操作,以便在步骤2之后并行执行运行,其中步骤3和步骤4将并行运行,而在步骤4之后将依次执行步骤5。

任何参考文献,到目前为止,我怎么能做到这一点?谢谢

amazon-web-services concurrency amazon-emr java.util.concurrent
1个回答
0
投票

正如您所说的,由于某种原因不能使用步进功能,可以尝试Oozie。

Oozie是用于管理Apache Hadoop作业的工作流调度程序系统。它也是一个EMR托管服务,一键安装。 Oozie作业是有向无环图(DAG)。

© www.soinside.com 2019 - 2024. All rights reserved.