连接 CDK 和 SageMaker 管道

Question

假设您在 AWS 上托管了一些服务，并使用 CDK 作为基础设施即代码解决方案。您已使用 SageMaker 管道独立创建了机器学习资源。连接这些资源的推荐方法是什么？

我可以看到人们可能希望在 CDK 中定义一项新服务以与 SageMaker 管道定义的资源顺利对接的许多原因。

也许我把它弄得太复杂了，它就像创建两个包（CDK 和 SM Pipeline）一样简单，两者都使用相同的 AWS 帐户，并使用 ARN 在资源之间传递引用。

Answer 1

不确定我是否正确理解您的问题，但如果您指的是 CDK 项目和 SageMaker Pipelines 项目如何并行工作，我认为 SageMaker Pipelines 项目是您版本、更改和交付更改的代码，这还需要资源，例如 S3 存储桶、IAM 角色、CI/CD 管道，用于交付您对 SageMaker Pipelines 代码所做的更改。

我一直在使用以下方法，其中我将模型构建和模型部署代码分离在单独的存储库中，主要是因为对每个代码所做的更改不是同时进行的。对于每个存储库，我都有一个 CI/CD 管道来交付更改。下图显示了架构的样子：

为了运行 SageMaker Pipelines 代码，因为它是需要执行的代码

python src/run_pipeline.py

，我为此使用 codebuild，并且我的 CI/CD 管道定义了一些供 IAM 角色使用的环境变量、S3 存储桶等。您在 SageMaker Pipelines Workflow 框之外看到的资源是使用 CDK 构建的。

我现在无法共享 CDK 的代码，但我可能会在接下来的几周内将类似的代码放入我的个人存储库中。