OSError：在目录中找不到名为 model.safetensors 的文件时出错

Question

我正在尝试加载以 Hugging Face 安全张量格式保存的 LLAMA2 模型。模型保存为两部分 model-part1.safetensors 和 model-part2.safetensors。

我正在使用 LlamaForCausalLM.from_pretrained() Hugging Face API 来加载模型。

当我传递包含模型文件的文件夹时，出现以下错误

OSError: Error no file named model.safetensors found in directory ..

如何使用 Hugging Face API 加载分片模型？

有人可以帮忙吗？

Answer 1

我找到了解决办法。我尝试了一些事情并发现，我们必须添加

model.safetensors.index.json 到零件保存模型时以安全张量格式保存模型的文件夹。

然后模型加载成功