有没有办法使用校准数据微调通用模型，然后对 AWS SageMaker 模型进行推理？

Question

我在 SageMaker 上保存了一个带有模型权重的 ML 结构。有没有一种方法可以让我能够通过校准数据（基于单个用户）调用 SageMaker 端点、更新模型的权重以及使用更新后的模型对新测试数据进行推理，所有这些都在一次调用中完成？

我正在尝试为多个用户执行此操作。

目前只能想到创建一个新的端点进行微调，然后在推理完成后删除该端点。

Answer 1

为什么要在端点上微调模型？

1. 通常您会使用训练作业进行微调，一旦您对微调后的模型感到满意，您就可以将新模型版本无缝部署到端点。
2. 默认情况下，SageMaker 端点支持蓝绿部署。其他部署策略可以在此处查看：https://aws.amazon.com/blogs/machine-learning/take-advantage-of-advanced-deployment-strategies-using-amazon-sagemaker-deployment-guardrails/
3. 如果您想为不同用户连接多个模型，您可以考虑使用 SageMaker 多模型端点。 https://docs.aws.amazon.com/sagemaker/latest/dg/multi-model-endpoints.html