大型语言模型（TheBloke/Llama-2-7B-Chat-GPTQ）

Question

有人可以列出在本地设置 llama 模型的步骤吗，该模型将在没有互联网的情况下在虚拟机上运行。 我正在使用下面的模型。 TheBloke/Llama-2-7B-Chat-GPTQ。

我尝试了文本生成方法，但不知道如何在没有互联网的情况下用Python代码连接它。

Answer 1

在 VM 中本地运行 TheBloke/Llama-2-7B-Chat-GPTQ 模型

1. 您需要至少 8GB 配置的 GPU。为此，我使用了 paperspace RTX 4000。
2. 检查机器上安装的CUDA版本。例如11.7
3. 从这里安装对应CUDA版本的torch：https://pytorch.org/get-started/locally/
4. 从源安装 AutoGPTQ。
5. 从这里运行代码https://gist.github.com/rajendrac3/a6feb71c94aff71a71ed7ee97ba94b8d