有人可以列出在本地设置 llama 模型的步骤吗,该模型将在没有互联网的情况下在虚拟机上运行。 我正在使用下面的模型。 TheBloke/Llama-2-7B-Chat-GPTQ。
我尝试了文本生成方法,但不知道如何在没有互联网的情况下用Python代码连接它。
在 VM 中本地运行 TheBloke/Llama-2-7B-Chat-GPTQ 模型