编排和 EMR

问题描述 投票:0回答:0

我想在 emr 集群中运行多个 spark 作业,这些作业相互之间有一定的依赖关系,一旦一切完成,最后一个 sstep 应该触发一个 lambda,它将启动另一个带有一堆 spark 作业的 emr 集群。然后,一旦第二个 emr 集群中的最后一个作业完成,我需要启动另一个 emr 集群(再次使用不同的 lambda)和一堆 spark 作业。所有流程完成后,我将使用 SNS 发送通知。可以使用步进功能实现这种级别的编排吗? 谢谢!!!

apache-spark amazon-emr aws-step-functions
© www.soinside.com 2019 - 2024. All rights reserved.