Amazon Sagemaker-将模型注册表与处理作业创建的模型集成

Question

我为 ML Ops 创建了一个管道，在其中训练模型并将模型放置在 S3 存储桶中。 我还创建了一个处理作业，将模型注册到 sagemaker 模型注册表。我面临的问题是，即使我有模型质量指标，当我注册模型时，我也无法将其与模型注册表集成。

我有一个 json 文件，其中包含以下格式的模型指标：

{"mae":<value>, ...}

我将此 json 的 S3URI 作为模型指标参数传递到 create_model_package 中。我使用的格式有问题吗？
我正在关注 https://docs.aws.amazon.com/sagemaker/latest/dg/model-monitor-model-quality-metrics.html 作为 json 格式的参考。 但是，当我在 sagemaker studio 的模型注册表中查找模型指标时，它无法加载它。我无法找到任何有关所需格式的信息，因此我可以使用自己的自定义生成的指标来显示在 sagemaker studio 上。

Answer 1

您确定您遵循的格式正确，如您链接的页面上所述？例如，指标应遵循以下 JSON 格式：

evaluation_report = {
    "metrics": {
        "metric_1_name": {"value": 0.5, "standard_deviation": 0.5},
        "metric_2_name": {"value": 0.5, "standard_deviation": "NaN"},
    }
}

您描述的格式似乎不正确，您需要每个指标的键“value”和“standard_deviation”，它可以具有您想要的任何名称。顶级键（在上述情况下为“指标”）应该不重要。

请注意，标准偏差值可以是“NaN”，例如用于分类指标。