[借助Step Function等编排引擎可以轻松实现此过程,但是由于某些原因,我们无法使用。在这里,我想了解我们是否可以进行某种代码操作,以便在步骤2之后并行执行运行,其中步骤3和步骤4将并行运行,而在步骤4之后将依次执行步骤5。
任何参考文献,到目前为止,我怎么能做到这一点?谢谢
正如您所说的,由于某种原因不能使用步进功能,可以尝试Oozie。
Oozie是用于管理Apache Hadoop作业的工作流调度程序系统。它也是一个EMR托管服务,一键安装。 Oozie作业是有向无环图(DAG)。