是否可以通过没有Lambda的AWS STEP FUNCTION对AWS EMR执行Step Concurrency?

问题描述 投票:0回答:1

这是我的场景,我正在尝试创建4个AWS EMR集群,其中将为每个集群分配2个作业,因此就像使用Step Function编排的4个集群和8个作业。

我的流程应该像:

4个群集将同时并行运行8个作业,每个群集将并行运行2个作业。

现在,AWS最近启动了此功能,可以使用EMR中的StepConcurrencyLevel在单个群集中同时运行2个(或更多)作业,以减少群集的运行时间,这可以使用EMR控制台AWS CLI(或)甚至通过AWS lambda。

但是,我想使用AWS Step Function及其状态机语言(如此处引用的格式https://docs.aws.amazon.com/step-functions/latest/dg/connect-emr.html]在单个集群中并行启动2个(或)更多作业的过程,>

我已经尝试引荐许多站点来执行此过程,在那里我通过控制台(或)通过AWS lambda中的boto3格式获取解决方案,但是我无法找到通过Step Function执行该解决方案的解决方案本身...

对此有任何解决方案吗??

预先感谢。.

这是我的场景,我正在尝试创建4个AWS EMR集群,其中将为每个集群分配2个作业,因此就像使用Step Function精心编排的4个集群和8个作业。我的流程...

amazon-web-services amazon-emr aws-step-functions
1个回答
0
投票

所以,我又浏览了几个网站,找到了解决我问题的方法...

© www.soinside.com 2019 - 2024. All rights reserved.