这是我的场景,我正在尝试创建4个AWS EMR集群,其中将为每个集群分配2个作业,因此就像使用Step Function编排的4个集群和8个作业。
我的流程应该像:
4个群集将同时并行运行8个作业,每个群集将并行运行2个作业。
现在,AWS最近启动了此功能,可以使用EMR中的StepConcurrencyLevel在单个群集中同时运行2个(或更多)作业,以减少群集的运行时间,这可以使用EMR控制台AWS CLI(或)甚至通过AWS lambda。
但是,我想使用AWS Step Function及其状态机语言(如此处引用的格式https://docs.aws.amazon.com/step-functions/latest/dg/connect-emr.html]在单个集群中并行启动2个(或)更多作业的过程,>
我已经尝试引荐许多站点来执行此过程,在那里我通过控制台(或)通过AWS lambda中的boto3格式获取解决方案,但是我无法找到通过Step Function执行该解决方案的解决方案本身...
对此有任何解决方案吗??
预先感谢。.
这是我的场景,我正在尝试创建4个AWS EMR集群,其中将为每个集群分配2个作业,因此就像使用Step Function精心编排的4个集群和8个作业。我的流程...
所以,我又浏览了几个网站,找到了解决我问题的方法...