如何在 Azure 上将神经机器翻译检查点部署为端点和微服务

Question

我发现训练后在 AzureML 上部署简单的机器学习模型很简单，例如，我们可以将训练后的模型序列化到单个 .pkl 文件中。然而，对于神经机器翻译模型，特别是在微调预训练模型时，我们最终会得到多达 11 个文件。这些文件可以上传到 Hugging Face 进行测试。

我一直在尝试将这些检查点作为端点部署在 Azure 上，但尽管阅读并遵循了 Azure 文档，但并未成功。如果有人知道清晰的教程或有在 Azure 上部署此类模型的经验，我将非常感谢您的指导。此外，我很想知道如何将这些模型部署为 Azure 上的微服务。谢谢你。

我已阅读微软有关部署的文档，但找不到有关为神经机器翻译模型部署检查点的具体信息。

Answer 1

目前，此类基础模型可以从 Azure ML 中的

Hugging Face

注册表进行部署。

因此，您可以使用 Hugging Face 注册您的模型，并尝试将其部署到 Azure ML 中。

Azure ML 注册表中有一个组件，您可以将这些模型转换为

Mlflow

。检查此笔记本以获取更多信息。

转换后，您可以将其部署到端点。

但在这之前，您需要使用这些文件在 Hugging Face 中注册一个新模型。