将模型评估指标存储到 Sagemaker

Question

目前我正在将 Sagemaker 设置为我们团队的 ML Ops 平台，我们希望将模型评估指标与模型本身一起存储。

现在我们正在使用 boto3 sagemaker 客户端创建模型： https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker.html#SageMaker.Client.create_model

但我不知道如何向其附加指标，因此我们可以运行模型评估并存储指标以跟踪它们。

目标是在 Sagemaker 中拥有模型，以便我们可以将其部署为端点。

提前致谢！

Answer 1

如果您使用

create_model_package

API 在模型注册表中注册模型，则可以将指标附加到模型。 API 中有一个名为

ModelMetrics

的参数可供您使用。指标必须存储在 S3 中的文件中，并且您将在此 API 调用中提供 S3 URI。

https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateModelPackage.html

Answer 2

我也遇到同样的问题，请问你解决了吗？