在CPU上加载LLama 2

问题描述 投票:0回答:0

我正在尝试使用 CTransformers 在我的 CPU 上加载 LLama 2 模型,并遇到此 model_type 无法识别的问题。如果您知道如何解决这个问题或者可以建议另一种在我的 CPU 上加载模型的方法,请告诉我。谢谢。

代码: 从 langchain.llms 导入 CTransformers

llm = CTransformers(model="C:\Users\yalik\Downloads\llama-2-7b-chat.ggmlv3.q4_0.bin", model_type="LLama") 打印(llm(“你好LLama”))

错误:

不支持模型类型“LLama”。 回溯(最近一次调用最后一次): 文件“D:\LLama-2-poc\p,py.py”,第 3 行,位于 llm = CTransformers(model="C:\Users\yalik\Downloads\llama-2-7b-chat.ggmlv3.q4_0.bin", model_type="LLama") 文件“C:\Users\yalik\Desktop\lib\site-packages\langchain_core\load\serialized.py”,第 97 行,在 init 中 super().init(**kwargs) 文件“C:\Users\yalik\Desktop\lib\site-packages\pydantic 1\main.py”,第 339 行,在 init 中 值,fields_set,validation_error = validate_model(pydantic_selfclass,数据) 文件“C:\Users\yalik\Desktop\lib\site-packages\pydantic 1\main.py”,第 1102 行,在 validate_model 中 值=验证器(cls_,值) 文件“C:\Users\yalik\Desktop\lib\site-packages\langchain_community\llm

large-language-model llama ctransformers
© www.soinside.com 2019 - 2024. All rights reserved.