我正在尝试使用 CTransformers 在我的 CPU 上加载 LLama 2 模型,并遇到此 model_type 无法识别的问题。如果您知道如何解决这个问题或者可以建议另一种在我的 CPU 上加载模型的方法,请告诉我。谢谢。
代码: 从 langchain.llms 导入 CTransformers
llm = CTransformers(model="C:\Users\yalik\Downloads\llama-2-7b-chat.ggmlv3.q4_0.bin", model_type="LLama") 打印(llm(“你好LLama”))
错误:
不支持模型类型“LLama”。 回溯(最近一次调用最后一次): 文件“D:\LLama-2-poc\p,py.py”,第 3 行,位于 llm = CTransformers(model="C:\Users\yalik\Downloads\llama-2-7b-chat.ggmlv3.q4_0.bin", model_type="LLama") 文件“C:\Users\yalik\Desktop\lib\site-packages\langchain_core\load\serialized.py”,第 97 行,在 init 中 super().init(**kwargs) 文件“C:\Users\yalik\Desktop\lib\site-packages\pydantic 1\main.py”,第 339 行,在 init 中 值,fields_set,validation_error = validate_model(pydantic_self。class,数据) 文件“C:\Users\yalik\Desktop\lib\site-packages\pydantic 1\main.py”,第 1102 行,在 validate_model 中 值=验证器(cls_,值) 文件“C:\Users\yalik\Desktop\lib\site-packages\langchain_community\llm