使用部署在 eks 上的 Flask API 替换 sagemaker 推理 cal 的想法

Question

为了节省成本，我们将训练管道部署为 eks 上的 docker 容器，并将 model.pkl 文件保存在 S3 上。我们在 eks 上运行 Flask 微服务，它加载模型并提供推理调用。

谈到监控和警报，我们已经为 Flask Ms. 准备了 Kibana 和警报设置。

将此解决方案与在 sagemaker 上部署和开发机器学习模型进行比较。

从长远来看，我们是否在这个解决方案中遗漏了任何东西？

Answer 1

SageMaker 推理提供开箱即用的体验（例如 boto3 API），涵盖广泛的用例和要求，例如自动扩展、批量转换、无服务器推理和异步推理等。您问题的答案是取决于您的推理需求（性能、模型大小、流量等）未来如何扩展，以及您是否想依靠开箱即用的功能来实现它们。

Answer 2

您可以通过 SageMaker 训练作业训练模型。通过 SageMaker 培训作业，您基本上可以选择一个可用容器或自带容器。或者，如果您在其他地方接受过培训，您也可以携带自己的预训练模型工件并选择一个推理容器来部署到您选择的 SageMaker 托管选项。

借助 SageMaker Inference，您可以使用不同的推理选项：

• 端点驱动：这是当您需要调用持久端点时（选项有实时、异步和无服务器）
• 批量：对大量数据运行批量转换作业。

SageMaker 上预训练的 SKLearn 部署示例：https://towardsdatascience.com/deploying-a-pre-trained-sklearn-model-on-amazon-sagemaker-826a2b5ac0b6