在 AWS SageMaker 中的不同实例上运行预处理和推理

Question

我试图弄清楚是否有一种方法可以在 Sagemaker 中的不同实例上运行预处理和推理。现在，我部署了一个在 GPU 实例上运行的图像模型，我的想法是将预处理与推理分开，并将其放在更便宜的 CPU 实例上，以（希望）节省成本。

我尝试遵循具有不同容器的多个模型教程，但看起来两个作业都在同一个实例上运行。

有谁知道如何在一个端点内但在两个不同的实例上运行预处理和推理？或者也许知道更好的方法。

Answer 1

如今，在单个 SageMaker 终端节点上拥有异构实例类型的唯一方法是使用不同的生产变体。您必须精心安排向自己发送请求的变体。

https://docs.aws.amazon.com/sagemaker/latest/dg/model-ab-testing.html#model-testing-target-variant

Answer 2

你可以做什么：

1. 如果您需要批量推理，可以使用 SageMaker 训练异构集群 进行推理（而不是训练）。
2. 创建一个在 EC2 中进行预处理的管道，然后将结果转发到 SageMaker 端点。
3. SageMaker 中有许多可用的 ML GPU 实例类型，请选择具有正确的 CPU-GPU 功率组合的实例类型（例如 G5 系列）。并在实例内部实现内部队列，以在预处理和 GPU 计算之间进行缓冲。