如何使用诗歌安装 llama-cpp-python 和 cuBLAS？

Question

我可以使用 pip 与 cuBLAS 安装 llama cpp，如下所示：

CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python

但是，我不知道在使用诗歌时如何与cuBLAS一起安装。可以安装，但 cuBLAS 加速不可用。
当我在我的环境中使用 pip 安装 cuBLAS 时，我检查了是否可以使用 cuBLAS。

我将 llama-cpp-python 依赖项添加到 pyproject.toml 文件中，如下所示：

[tool.poetry.dependencies]
python = ">=3.10, <3.13"
...
llama-cpp-python = "^0.2.13"
...

我试过了

CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 poetry install

还有

export CMAKE_ARGS="-DLLAMA_CUBLAS=on"
export FORCE_CMAKE=1
poetry install

Answer 1

我遇到了类似的问题并找到了解决方法。虽然 Poetry 不直接支持像 pip 这样传递环境变量，但我使用

poetry run pip install

作为临时解决方案。这种方法涉及设置必要的环境变量，然后运行：

poetry run pip install llama-cpp-python --upgrade --force-reinstall --no-cache-dir

此方法允许我安装支持 CU-BLAS 的

llama-cpp-python

，这是我仅通过 Poetry 无法实现的。需要注意的是，这会绕过 Poetry 的依赖解析，因此请谨慎使用它并将其记录在您的项目中。

我尝试使用https://github.com/volopivoshenko/poetry-plugin-dotenv/，但仍然无法正常工作。

希望这有帮助