在 Windows 10 上使用 VS Code 启用 GPU 进行 Python 编程 (llama-cpp-python)

Question

在 Python 编程期间，在具有 4GB Nvidia P100 GPU 的 32GB Windows 10 计算机上启用 GPU 时，我遇到了很多困难。我的法学硕士在推理时没有使用我机器的 GPU。在花了几天时间之后，我想我会总结一下对我有用的逐步方法

1. 安装 C++ 发行版。我通过 Visual Studio 2022 安装程序完成此操作，并在“使用 C++ 进行桌面开发”下安装软件包，并选中选项“Windows 10 SDK (10.0.20348.0)，如图所示 ()。安装软件包。
2. 下载并安装 Nvidia CUDA 工具包 (https://developer.nvidia.com/cuda-downloads)
3. 确保在环境变量中设置 CUDA_PATH 变量
4. 在 Visual Studio Code 中，设置以下环境变量 $env:CMAKE_ARGS="-DLLAMA_CUBLAS=on" $env:CUDACXX="C:\Program Files\NVIDIA GPU 计算工具包\CUDA 12.2 in vcc.exe”
5. 最后运行 pip install llama-cpp-python --no-cache-dir --force-reinstall --upgrade

然后运行python程序时，你会看到BLAS被设置为1 ()

希望它也能帮助社区！！！

Answer 1

1. 安装 C++ 发行版。我是通过 Visual Studio 2022 安装程序完成的 并在“Desktop Development with C++”下安装软件包 检查选项“Windows 10 SDK (10.0.20348.0)，如此所示 图片
2. （）。安装软件包。 下载并安装 Nvidia CUDA 工具包 （https://developer.nvidia.com/cuda-downloads）
3. 确保在环境变量中设置 CUDA_PATH 变量
4. 在 Visual Studio Code 中，设置以下环境变量 $env:CMAKE_ARGS="-DLLAMA_CUBLAS=on" $env:CUDACXX="C:\Program 文件\NVIDIA GPU计算工具包\CUDA 12.2 in vcc.exe”
5. 最后运行 pip install llama-cpp-python --no-cache-dir --强制重新安装--升级