如何将微调后的模型上传到 HuggingFace 并将其用作 API？或者我应该使用 GCP 吗？

Question

目标：我正在尝试在 Huggingface 上上传我的微调模型，然后我想将其用作我的 Android 和 IOS 应用程序的 API，但我不确定这个过程。我也尝试在 GCP 上四处查看，似乎他们有 Llama 2 等模型，但我没有看到任何上传我的模型并将其用作 API 的选项。

Answer 1

在 HuggingFace 中使用自定义模型的基本流程：

1. 使用 HuggingFace 转换器 [1] 微调模型。

2. 上传至 HuggingFace 模型中心

3. 在您的应用程序中使用接口 API。

您可以查看文档以获取更多信息 - 概述。

关于GCP，您可以使用Vertex AI作为替代：

• 从自定义训练模型中获取预测

• 从自定义训练模型获取在线预测

[1]。 https://cloud.google.com/vertex-ai/docs/predictions/get-online-predictions