在 AWS sagemaker 中部署微调的 gemma 作为端点时出现问题

Question

• 我使用 Lora 对 HuggingFace 的 gemma 7b LLM 进行了微调，并将模型存储为压缩的 .tar.gz 文件。
• 我已经在 sagemaker 中进行了本地微调。

---

• 这是我的微调模型的 .tar.gz 文件结构：

finetuned_gemma/model-00004-of-00004.safetensors

finetuned_gemma/tokenizer_config.json

finetuned_gemma/model.safetensors.index.json

finetuned_gemma/config.json

finetuned_gemma/model-00002-of-00004.safetensors

finetuned_gemma/ Generation_config.json

finetuned_gemma/special_tokens_map.json

finetuned_gemma/model-00001-of-00004.safetensors

finetuned_gemma/tokenizer.json

finetuned_gemma/代码/

finetuned_gemma/code/requirements.txt

finetuned_gemma/code/.ipynb_checkpoints/

finetuned_gemma/code/.ipynb_checkpoints/requirements-checkpoint.txt

finetuned_gemma/code/inference.py

finetuned_gemma/model-00003-of-00004.safetensors

---

微调后的模型也存储在 aws s3 中。

现在如何将模型部署为 sagemaker 端点？

顺便说一下，我使用了 Transformer 版本 4.38.0，因为它是 gemma tokenizer 的最低要求。

我想知道如何将其与图像 Uri 一起部署。 请帮忙

我尝试使用 sagemaker.huggingfacemodel，然后尝试部署它，但我面临很多困难。

Answer 1

密切关注此示例：在 SageMaker JumpStart 上微调 Gemma。

Answer 2

您可以使用支持 gemma 模型的 SageMaker 大型模型推理 (LMI) 容器。

https://docs.djl.ai/docs/serving/serving/docs/lmi/deployment_guide/deploying-your-endpoint.html#configuration---servingproperties